The posting
岗位介绍 我们正在建设面向多项目、多团队的一体化数据平台,覆盖数据接入、离线与实时同步、任务开发与调度、数据质量、元数据与血缘、权限管理及资源成本治理,为数据开发和业务分析团队提供稳定、高效、可自助使用的数据基础设施。 我们希望你具备扎实的平台研发和架构能力,能够主导关键模块设计与开发,推动平台从方案、原型走向生产应用。有技术团队管理或项目带领经验者,可承担团队技术负责人职责。
岗位职责 1. 负责数据平台架构与建设规划。结合业务需求和现有技术体系,制定平台架构、技术选型及分阶段实施计划,合理平衡功能、稳定性、研发投入和运行成本。 2. 主导数据接入与 ETL 平台研发。建设数据源管理、连接器接入、字段映射、任务配置、全量与增量同步等能力,支持多种数据库、消息队列及分析引擎。 3. 建设任务运行与运维体系。实现任务调度、执行器管理、资源组管理、运行状态跟踪、失败重试、补数恢复、日志与告警,提高任务运行的可靠性和问题定位效率。 4. 完善平台公共能力。建设项目空间、权限控制、环境隔离、开发发布流程及标准接口,支持不同团队安全、规范地开展数据开发与协作。 5. 推进数据质量与可观测性建设。落地完整性、准确性、及时性校验,以及元数据、血缘和影响分析能力,形成问题发现、定位、处理与恢复的闭环。 6. 推动性能优化和资源成本治理。建立任务、查询和存储的用量统计,支持按人员、项目、团队追踪资源消耗,为性能调优、容量规划和成本分摊提供依据。 7. 承担技术带领职责。参与核心代码开发、技术方案评审与代码评审,制定研发规范,指导团队成员,与产品、数仓、运维及业务团队协作,推动项目按计划交付。 8. 推动 AI 在平台研发与数据场景中的落地。将 AI Coding 融入开发、测试与代码评审流程,沉淀团队可复用的实践;结合实际需求推进 SQL 辅助开发、元数据检索、任务诊断等 AI Agent 能力建设,并持续评估准确性、稳定性、使用成本和效率收益。
任职要求 1. 计算机或相关专业本科及以上学历,具备 5 年及以上后端或数据平台研发经验,参与过生产级数据平台建设,并独立负责过关键模块的设计、开发与上线。 2. 精通 Java/python,具备扎实的后端工程能力,熟悉常用服务端框架、并发编程、数据库设计及分布式系统;能够独立完成核心服务和执行框架研发。 3. 熟悉数据采集、ETL、CDC、离线及实时处理链路,深入使用过 DataX、SeaTunnel、Flink 等一种或多种工具或框架,具备集成开发、扩展或故障排查经验。 4. 熟悉任务调度与分布式执行机制,能够处理任务依赖、幂等、重试、超时、并发控制、故障恢复及状态一致性等工程问题。 5. 熟练掌握 SQL,熟悉 MySQL、Kafka,以及 StarRocks、ClickHouse、AnalyticDB 等分析引擎中的一种或多种,具备数据同步与查询性能优化经验。 6. 理解数据仓库分层、元数据、数据血缘、数据质量及权限管理,能够将数据开发中的共性需求抽象为可复用的平台能力。 7. 具备良好的需求分析与方案落地能力,能够拆解复杂问题、明确实施优先级,对交付质量和线上稳定性负责。 8. 具备良好的沟通协作和技术推动能力,愿意参与核心编码,并指导团队成员解决复杂技术问题。 9. 具备 AI Coding 或 AI Agent 开发的实际应用能力:能够将 AI 编程工具用于需求拆解、代码开发、测试、重构及问题排查,并独立完成代码审查与结果验证;或能够基于大模型 API、工具调用、知识检索和工作流编排开发 Agent,完成与实际业务系统的集成,具备效果评估、异常处理及权限控制意识。



