腾讯云原生数仓研发工程师 - Shenzhen, 中国 - Tencent

Tencent Shenzhen, 中国

1周前

描述

腾讯云原生数仓研发工程师深圳分享

分享岗位

方式1:复制岗位链接

方式2:分享岗位海报

手机扫描二维码分享

收藏 CSIG 点击了解更多BG信息技术五年以上工作经验更新于年04月26日岗位职责

1.TCHouse是腾讯云商业级云原生数据湖仓,为腾讯云客户和腾讯内部业务提供全场景、一体化的数据智能分析服务;开放的生态兼容,智能化计算引擎,超大规模可靠存储,以及云原生架构,赋能客户完美挖掘数据价值;2.负责构建TCHouse智能优化器的核心能力,完善优化器Framework,打磨CBO/CRO/CHO工程实现,优化分布式查询计划,探索 learned optimizer;3.负责构建TCHouse离在线一体的极限速度分布式计算引擎,完善MPP+DAG融合计算引擎和智能优化技术,优化全并行计算效率、内存计算;4.负责构建TCHouse超大规模智能可靠存储,优化云原生数据湖智能管理,实现 OTFs 极致性能优化,研发高效多级存储以及数据缩减等高性价比存储技术;5.负责构建TCHouse智能云原生统一平台,实现容器化、秒级弹性、租户级资源隔离等云原生集群基础能力,研发超大规模集群自治、智能调度以及统一纳管能力,实现统一分布式元数据管理;6.负责构建TCHouse连接、入仓、查询等多模态接入能力,对接业界DMS、BI、ETL、DTS等相关生态集成,实现超高性能入仓;7.负责TCHouse架构持续演进以及极致工程技术落地,跟踪Data Infra前沿软硬件技术,挖掘和推动落地。

岗位要求

1.熟练掌握C/C++或者Go语言、数据结构和操作系统等基础知识,熟悉复杂软件工程开发流程;2.追求极致,对技术充满激情,对新技术有敏说的洞察力,具备在压力下解决复杂问题的能力;3.熟悉优化器相关理论和工程实现,对于优化器的可预测性、鲁棒性和有效性有实践经验,包括但不限于:计划缓存、计划管理、统计信息收集、代价模型、复杂查询优化,自适应查询等;4.熟悉大规模分布式计算,有在线、离线计算引擎的研发经验,对于数据仓库常用算子有实现及优化经验,熟悉Compilation/Vectorization/Prefetch/Pipeline等常用优化技术;5.熟悉大规模存储系统架构,有高性能存储引擎、分布式存储集群管理、分布式缓存等研发和运维经验,熟悉OTFs、行列混存、索引、事务以及数据缩减等技术;6.熟悉Kubernetes、Docker等相关技术,有大规模分布式集群管理平台和产品化经验,熟悉分布式元数据架构以及工程实现;7.熟悉加分项 1.有 Snowflake、BigQuery、Redshift、Databricks等产品研发经验;2.深度参与Starrocks、Doris、Spark、Impala等大数据类开源项目开发经验;3.有SIGMOD、VLDB、ATC、OSDI、 SOSP、FAST 等会议论文;4.有超大规模数据分析、数据库平台产品的0-1成功构建经验。

云原生数仓研发工程师(后台开发)

6天前

Tencent Shenzhen, 中国

云原生数仓研发工程师(后台开发) 深圳分享分享岗位 · 方式1:复制岗位链接 · 方式2:分享岗位海报 · 手机扫描二维码分享 · 收藏 IEG 点击了解更多BG信息技术两年以上工作经验更新于年03月26日岗位职责 1.结合游戏业务数据分析场景,负责云原生一体化数仓功能定制开发和性能优化,提供稳定高效的查询分析服务能力;2.负责稳定性保障工作,如监控分析体系,BUGFIX等;3.负责本产品与大数据领域其他生态组件进行融合及对接;4.参与公司内部和外部技术开源社区,打造开源技术影响力。 · 岗位要求 1.熟练掌握C++/Java ...
腾讯云异构计算研发工程师(深圳、北京、上海)

1周前

Tencent Shenzhen, 中国

腾讯云异构计算研发工程师(深圳、北京、上海) 深圳分享分享岗位 · 方式1:复制岗位链接 · 方式2:分享岗位海报 · 手机扫描二维码分享 · 收藏 CSIG 点击了解更多BG信息技术五年以上工作经验更新于年05月02日岗位职责 1.负责高性能计算集群的平台开发和建设工作,构建业界领先的集群算力调度能力、集群网络管理监控能力、集群故障发现和迁移自愈等能力;2.负责主流 AI 框架的云平台适配和性能调优工作,针对业界大模型训练,将主流加速框架(如DeepSpeed、Megatron-LM)结合云平台底层技术特点和优势,打造具备差异 ...
腾讯云高级研发工程师

2周前

Tencent Shenzhen, 中国

腾讯云高级研发工程师深圳分享分享岗位 · 方式1:复制岗位链接 · 方式2:分享岗位海报 · 手机扫描二维码分享 · 收藏 CSIG 点击了解更多BG信息技术五年以上工作经验更新于年04月04日岗位职责 1.负责腾讯云核心产品的设计与开发;2.负责系统的技术架构,设计和落地必要的工具和机制,保障系统的稳定性、可用性、安全性;3.负责平台的性能优化,系统地分析定位性能瓶颈,确保各性能指标保持业界领先。 · 岗位要求 1.计算机专业本科及以上学历,后台开发经验 ;2.熟练掌握linux环境下c++/c/golang/python ...
腾讯云大数据研发工程师

2周前

Tencent Shenzhen, 中国

腾讯云大数据研发工程师深圳分享分享岗位 · 方式1:复制岗位链接 · 方式2:分享岗位海报 · 手机扫描二维码分享 · 收藏 CSIG 点击了解更多BG信息技术五年以上工作经验更新于年04月24日岗位职责 1.负责腾讯云Elasticsearch产品相关管控平台及内核系统的研发、运营和日常维护工作;2.负责基于ES的信息检索、日志分析、APM等场景化平台服务相关研发。 · 岗位要求 1.计算机、通信等相关专业,本科及以上学历,3年以上大型互联网产品或分布式系统开发设计经验;2.扎实的java编程基础,熟悉Spring等开源框 ...
腾讯云微卡后台研发工程师

1周前

Tencent Shenzhen, 中国

腾讯云微卡后台研发工程师深圳分享分享岗位 · 方式1:复制岗位链接 · 方式2:分享岗位海报 · 手机扫描二维码分享 · 收藏 CSIG 点击了解更多BG信息技术五年以上工作经验更新于年04月15日岗位职责 1. 参与金融级支付系统的建设,为数以千万的C端用户提供高安全、高性能、高可用的支付服务。 ;2. 负责电子卡平台的设计和开发,构筑电子卡应用中台,为各行业客户打造一站式的管理、门禁、支付等解决方案。。 · 岗位要求 1. 3~5年后端研发经验,计算机或相关专业本科及以上学历 ;2. 熟练掌握 Golang/Java 等 ...
腾讯云大数据内核研发工程师(深圳/成都)

1周前

Tencent Shenzhen, 中国

腾讯云大数据内核研发工程师(深圳/成都) 深圳分享分享岗位 · 方式1:复制岗位链接 · 方式2:分享岗位海报 · 手机扫描二维码分享 · 收藏 CSIG 点击了解更多BG信息技术三年以上工作经验更新于年04月26日岗位职责 1.负责腾讯云大数据产品的内核优化,包括EMR等产品;2.通过客户侧内核疑难杂症以及优化需求的梳理和解决,促进腾讯云大数据内核能力演进优化。 · 岗位要求 1.计算机、通信等相关专业,本科及以上学历,4年以上大型互联网产品或分布式系统开发设计经验;2.对大数据相关开源组件,如spark,flink,ice ...
腾讯云官网控制台前端研发工程师(系统架构优化方向)

1周前

Tencent Shenzhen, 中国

腾讯云官网控制台前端研发工程师(系统架构优化方向) 深圳分享分享岗位 · 方式1:复制岗位链接 · 方式2:分享岗位海报 · 手机扫描二维码分享 · 收藏 CSIG 点击了解更多BG信息技术五年以上工作经验更新于年04月25日岗位职责 1.负责腾讯云官网控制台接入层和管理系统的技术方案设计、评审和开发工作;2.负责腾讯云官网控制台的服务性能优化,包括但不限于:压力测试、负载均衡、缓存策略、系统保护、前端性能;3.负责腾讯云官网控制台产品容灾架构的设计和落地,提升故障快速自愈的手段和能力;4.负责制定稳定性持续优化的架构方案,能够 ...
Associate Solutions Architect Intern

1周前

Beijing Century Joyo Information Technology Co., Ltd. Shenzhen Branch - C22 Shenzhen, 中国全职

At Amazon Web Services , we are working to be the most customer-centric company on earth. To get there, we need exceptionally talented, bright, and driven people. Amazon is continually evolving and is a place where motivated employees thrive and also where employee ownership and ...
腾讯游戏运营安全高级工程师(DevSecOps安全工程师)

5天前

Tencent Shenzhen, 中国

腾讯游戏运营安全高级工程师(DevSecOps安全工程师) 深圳分享分享岗位 · 方式1:复制岗位链接 · 方式2:分享岗位海报 · 手机扫描二维码分享 · 收藏 IEG 点击了解更多BG信息技术三年以上工作经验更新于年04月02日岗位职责 1.负责腾讯游戏的研发运营安全体系建设,持续挖掘潜在安全隐患提升安防水位,负责DevSecOps体系的方案设计、研发和实践落地;2.负责对腾讯游戏或业务系统开展安全评估、渗透测试、漏洞扫描,积极推动系统安全问题的解决方案及落地工作;3.参与腾讯游戏的应急响应,对安全事件进行溯源、分析,快速定 ...
Global多云基础设施架构规划高级工程师

4天前

Tencent Shenzhen, 中国

Global多云基础设施架构规划高级工程师深圳分享分享岗位 · 方式1:复制岗位链接 · 方式2:分享岗位海报 · 手机扫描二维码分享 · 收藏 Overseas Functional System 点击了解更多BG信息技术五年以上工作经验更新于年04月19日岗位职责 1.负责腾讯游戏全球的多云和自建IDC融合基础设施方案的规划和系统搭建,配合业务需求,实现灵活的区域资源调度能力;2.负责腾讯游戏全球多云环境的网络架构规划、跨区域的网络专线打通、区域网络覆盖质量的问题发现和优化,持续提升网络覆盖品质;3.负责腾讯游戏全球边缘区 ...
云原生安全产品运营工程师

4天前

Tencent Shenzhen, 中国

云原生安全产品运营工程师深圳分享分享岗位 · 方式1:复制岗位链接 · 方式2:分享岗位海报 · 手机扫描二维码分享 · 收藏 CSIG 点击了解更多BG信息技术五年以上工作经验更新于年05月06日岗位职责 1.负责腾讯云原生安全产品能力运营工作,持续提升产品安全方向竞争力,协助前场沟通客户,在客户竞测过程建立优势;2.协助失陷客户解决入侵溯源、病毒木马处理、安全加固、勒索病毒应急等问题;3.梳理攻防事件过程中产品表现,提炼用户建议和需求,体系化的持续评测发掘产品不足并进行改进。 · 岗位要求 1.熟悉网络攻防技术,熟悉主机 ...
高级云运营开发工程师

4天前

Tencent Shenzhen, 中国

高级云运营开发工程师深圳分享分享岗位 · 方式1:复制岗位链接 · 方式2:分享岗位海报 · 手机扫描二维码分享 · 收藏 Overseas Functional System 点击了解更多BG信息技术五年以上工作经验更新于年04月05日岗位职责 1.负责腾讯游戏海外业务流程管理系统设计、开发和优化,推进业务上线、评审流程落地实施;2.负责设计、开发多云环境基础设施调度平台,解决运营过程中质量和效率问题;3.负责设计、开发多云环境下的网络质量测速分析和优化工具平台,支持线上业务7*24小时的问题发现和调优。 · 岗位要求 1 ...
云主机安全客户端研发高级工程师

1周前

Tencent Shenzhen, 中国

云主机安全客户端研发高级工程师深圳分享分享岗位 · 方式1:复制岗位链接 · 方式2:分享岗位海报 · 手机扫描二维码分享 · 收藏 CSIG 点击了解更多BG信息技术五年以上工作经验更新于年03月12日岗位职责 1.负责腾讯云主机安全产品和容器安全客户端研发,提升主机安全产品漏洞检测,木马查杀,入侵防御等能力;2.分析产品性能,质量等指标,并给出优化方案并落地;3.负责主机安全客户端整体技术能力的提升。 · 岗位要求 1.5年以上工作经验,熟悉LINUX操作系统,熟悉seccomp, AppAmor, audit, ebp ...
云存储高级研发工程师

1周前

Tencent Shenzhen, 中国

云存储高级研发工程师深圳分享分享岗位 · 方式1:复制岗位链接 · 方式2:分享岗位海报 · 手机扫描二维码分享 · 收藏 TEG 点击了解更多BG信息技术两年以上工作经验更新于年04月15日岗位职责 1.负责分布式存储相关方向的技术研发以及运营,打造业界领先的超大规模存储系统;2.不断丰富产品功能,提升产品竞争力,满足不同行业客户的业务诉求;3.持续优化系统服务质量,提升系统性能,降低运营成本,为客户提供稳定可靠的云存储服务。 · 岗位要求 1.至少精通C/C++/GO其中一门编程语言,深入理解操作系统和网络基本原理,具备 ...
金融科技后台高级研发工程师(c/c++/go语言,深圳)

4天前

Tencent Shenzhen, 中国

金融科技后台高级研发工程师(C/C++/GO语言,深圳) 深圳分享分享岗位 · 方式1:复制岗位链接 · 方式2:分享岗位海报 · 手机扫描二维码分享 · 收藏 CDG 点击了解更多BG信息技术五年以上工作经验更新于年04月19日岗位职责 1.负责相关金融系统的云原生方案设计和研发,保证系统平稳迁移至云平台;2.对现网问题进行定位分析,解决上云过程中的问题;3.对海量高并发系统进行优化,提升性能和稳定性;4.结合云原生最佳实践,提升系统的研发和运维效率。 · 岗位要求 1.3年以上后台开发经验,精通C/C++/GO语言,有大型 ...
云存储高级研发工程师

4天前

Tencent Shenzhen, 中国

云存储高级研发工程师深圳分享分享岗位 · 方式1:复制岗位链接 · 方式2:分享岗位海报 · 手机扫描二维码分享 · 收藏 TEG 点击了解更多BG信息技术两年以上工作经验更新于年05月14日岗位职责 1.负责分布式存储相关方向的技术研发以及运营,打造业界领先的超大规模存储系统;2.不断丰富产品功能,提升产品竞争力,满足不同行业客户的业务诉求;3.持续优化系统服务质量,提升系统性能,降低运营成本,为客户提供稳定可靠的云存储服务。 · 岗位要求 1.至少精通C/C++/GO其中一门编程语言,深入理解操作系统和网络基本原理,具备 ...
网址安全后台策略开发工程师(深圳/北京/广州)

4天前

Tencent Shenzhen, 中国

网址安全后台策略开发工程师(深圳/北京/广州) 深圳分享分享岗位 · 方式1:复制岗位链接 · 方式2:分享岗位海报 · 手机扫描二维码分享 · 收藏 CSIG 点击了解更多BG信息技术两年以上工作经验更新于年03月13日岗位职责 1.负责腾讯安全网址安全能力建设,包括特征分析、模型研发以及体系建设,通过网址黑灰产分析与识别,提升反欺诈对抗打击能力;2.运营维护安全检测系统,包括举报申诉、防误报、告警等;3.通过对系统长期运营优化,提升系统稳定性,降低重大事故风险。 · 岗位要求 1.计算机、数学统计、安全风控等相关专业硕士以 ...
腾讯广告微信广告算法工程师

1周前

Tencent Shenzhen, 中国

腾讯广告微信广告算法工程师深圳分享分享岗位 · 方式1:复制岗位链接 · 方式2:分享岗位海报 · 手机扫描二维码分享 · 收藏 CDG 点击了解更多BG信息技术两年以上工作经验更新于年04月19日岗位职责 1.负责腾讯广告朋友圈和视频号流量,微信流量+非微信流量等场景的流量通投策略研发,如预算分配、分流量探索以及成本达成等策略机制,保障广告整体效果同时,充分提升多端流量利用率;2.探索流量协同策略,如不同流量的序列化触达机制,充分发挥微信朋友圈、视频号等社交流量优势,协同其他流量的特点,提升通投广告的效果;3.挖掘不同流量不 ...
通讯业务后台测试开发工程师

1周前

Tencent Shenzhen, 中国

通讯业务后台测试开发工程师深圳分享分享岗位 · 方式1:复制岗位链接 · 方式2:分享岗位海报 · 手机扫描二维码分享 · 收藏 CDG 点击了解更多BG信息技术三年以上工作经验更新于年03月22日岗位职责 1.负责腾讯手机充值领域产品的测试工作;2.独立完成后台接口自动化测试以及自动化测试体系的建设;3.承担安全、性能、可靠性、兼容性等专项测试工作;4.参与研究与探索前沿测试技术,辅助提升质量和效率。 · 岗位要求 1.本科及以上,3年以上测试工作经验;2.熟悉Unix/Linux工作环境,至少掌握一门常用脚本语言(如sh ...
微信大数据平台研发工程师

1周前

Tencent Shenzhen, 中国

微信大数据平台研发工程师深圳分享分享岗位 · 方式1:复制岗位链接 · 方式2:分享岗位海报 · 手机扫描二维码分享 · 收藏 WXG 点击了解更多BG信息技术一年以上工作经验更新于年05月08日岗位职责 1.参与微信湖仓系统的元数据管理与开发;2.参与微信海量数据集成系统的优化与运营;3.参与微信云原生大数据计算的持续优化和改进。 · 岗位要求 1.本科以上学历,计算机相关专业;2.算法与数据结构基础扎实;3.有大型数据仓库或数据湖系统建设经验,包括但不限于 hive、iceberg、hudi、delta 等;4.有计算框 ...