The posting
1. 核心引擎研发:参与 Lakehouse 引擎的设计、开发、测试与性能优化,解决高并发、低延迟场景下的性能瓶颈。 2. 系统底层优化: ※负责SQL计算引擎开发,提升优化器能力生成优化执行计划,提升执行器能力,充分利用硬件达到最佳性能。 ※负责海量数据存储系统的底层模块开发,提升 IO 吞吐效率和整体资源利用率。 ※负责元数据、分布式计算和调度开发,实现高弹性、高可靠、高并发的计算平台 3. 稳定性与一致性保障:应对分布式环境下的资源竞争、容错恢复、数据一致性等关键挑战,提升系统的可靠性与可运维性。 4. 前沿技术探索:关注 AI 驱动的数据处理趋势,积极探索新技术,推动产品技术栈的持续升级与领先。
1. 扎实的系统编程能力:熟练掌握至少一种系统编程语言(如 C++、Java、Scala 或 Rust),C++ 优先。 2. 大数据引擎经验:熟悉一个或多个主流大数据引擎的架构和使用方式(如 Spark、Flink、Presto、ClickHouse 等)。 3. SQL引擎理解:了解列式执行引擎的工作原理与细节,如ClickHouse,Velox,Impala等;了解SQL优化器原理与实现,如Calcite,ORCA等,有相关开源项目贡献者优先。 4. 存储格式理解:了解主流开放存储格式(如 Parquet、ORC、Iceberg、Delta 等),有相关开源项目贡献者优先。 5. 云原生技术:熟悉云原生相关技术,了解Kubernetes、云计算等 6. 系统基础扎实:对分布式系统、数据库、计算引擎、存储系统或查询优化器等有深入理解者优先(不要求全覆盖),具备调试复杂系统和进行性能调优的能力。 7. 技术热情与团队协作:对技术有热情,具备快速学习新技术的能力,乐于分享与团队合作,共同成长。
加分项(非必须) 1. 数据库或大数据系统如MongoDB,DuckDB,MySQL,PostgreSQL等有实战经验; 2. 有开源项目主力维护或核心贡献经历; 3. 熟悉LLVM、 Iceberg、Velox、Substrait、Arrow 等技术组件。



