The posting
岗位职责 1. Pipeline平台构建: – 构建统一数据Pipeline平台底座:任务编排与调度、批流一体加工引擎、链路依赖管理、失败重跑与断点续传,支撑三域(制造/产品/工程)数据加工与座舱采集数据后处理的规模化运行; – 建设样本/特征生产链路,为训练平台提供标准化数据供给。 2. 开发范式与组件沉淀: – 定义Pipeline开发模板、配置规范与可复用组件库,让领域链路开发(第1名Pipeline工程师及后续领域成员)以低代码/配置化方式上线新链路; – 将数据质量规则(完整性、一致性、时效性校验)内嵌到链路框架,实现质量问题自动拦截与告警。 3. 性能与成本优化: – 负责加工链路的资源调度优化、存储分层与计算成本控制;建立链路级SLA与可观测性(与评测观测岗协同)
任职要求 硬性门槛(一票否决项): - 5年以上数据工程/数据平台开发经验;本科及以上学历,计算机/软件相关专业; - 主导或核心参与过Pipeline平台/数据加工链路体系的 0→1 构建(非仅使用现成平台开发业务链路),须能讲清编排调度、依赖管理、失败恢复的设计取舍; - 精通 Spark/Flink 之一并有生产级调优经验;熟悉任务编排系统(Airflow/DolphinScheduler/Dagster 或同类);熟练使用 SQL 与 Python/Java/Scala; - 有数据质量规则工程化、数据血缘在Pipeline层落地的实证。
加分项: - 有湖仓一体(Iceberg/Hudi/Paimon)实践经验;有特征平台/样本库建设经验; - 有AI训练数据Pipeline(语料/多模态数据加工)经验;有汽车或制造行业数据工程背景。



