The posting
我们正在寻找一位专注于数据集成领域的大数据平台后端工程师。您将作为核心成员,参与设计、构建和维护公司新一代的实时数据集成平台。负责从各类异构数据源(数据库、消息队列、文件等)中高效、可靠地同步海量数据至数据湖,为下游的数据分析、机器学习、实时应用提供统一、高质量的数据来源。
如果您对用技术解决复杂的数据流动问题充满热情,并渴望在Flink、CDC等前沿技术领域深入探索,那么这个职位将非常适合您。
主要职责 设计与开发: 1. 负责设计、开发和优化高性能、高可用的实时/批量数据同步服务与工具。 2. 深入研究和应用 CDC 技术,负责各类数据库的 CDC 数据采集 模块的设计与实现。 3. 基于 Apache Flink 构建稳定、高效的实时数据集成与ETL管道。 4. 负责数据集成平台核心功能的开发,包括任务调度、容错处理、数据校验、指标监控等。 平台与架构: 1. 参与数据集成平台的整体架构设计与演进,解决海量数据同步下的扩展性、稳定性和成本问题。 2. 持续优化数据同步的性能和延迟,提升平台服务等级协议。 运维与支持: 1. 保障线上数据集成任务的稳定运行,快速定位并解决生产环境中的技术问题。 2. 编写详细的技术文档,并为内部用户提供技术支持。
1. 精通 Apache Flink,有丰富的实战经验,深刻理解其运行时机制、状态管理和容错原理。 2. 深入理解 CDC 技术,具备至少一种主流数据库的CDC实践经验,例如:MySQL、PostgreSQL、Oracle、MongoDB 等。 3. 熟练掌握 Java 或 Scala 语言,具备良好的编程习惯和系统设计能力。 4. 熟悉至少一种关系型数据库和一种NoSQL数据库,了解其内部机制和事务原理。 5. 熟悉 Kafka、HDFS、Hive、Spark 等大数据组件中的至少两种。 优先考虑: 1. 有从零到一搭建或深度参与过数据集成/同步平台开发的经验。 2. 熟悉 Debezium、Canal、Flink CDC Connectors 等开源CDC项目,并有相关使用或二次开发经验。 3. 熟悉 Kubernetes 容器化部署和管理,有云平台经验者优先。 4. 了解数据血缘、数据质量管理等相关领域。



