The posting
岗位介绍 建设面向大规模机器人多模态数据的数据基础设施。团队当前的工作包括跨云湖仓、数据血缘、统一指标、全文与向量检索,以及稳定性和研发效能建设。 岗位职责 根据个人专长和团队分工,承担以下一个或两个方向的工作。 1.湖仓与数据治理 建设跨云湖仓及近实时数据同步链路,完善数据一致性校验、异常预警、重试和恢复机制。 推进湖仓数据分层、表结构和读写链路优化,兼顾查询性能、存储成本与可维护性。 建设统一 Catalog、元数据管理和数据血缘能力,让核心数据集可追溯、可解释。 2.指标平台与数据分析 建设统一指标体系和指标平台,支持业务运营、客户交付、众包分析及存储与云成本分析。 负责指标口径、数据模型、计算链路和质量校验,推动指标自动采集、上报和预警。 支持运营看板与全量数据分析,保证数据来源、加工过程和计算口径可治理。 3.多模态数据检索 建设面向百亿级 episode、亿小时级数据和千万级标签的检索能力。 负责全文检索、标签检索或向量检索的索引设计、数据更新、召回质量、性能优化及容量规划。 建立数据去重和多样性度量机制,支持大规模数据筛选、分析与交付。 4.研发效能与 DataAgent 建设数据平台的监控告警、可观测性、容量管理、故障响应和稳定性保障体系。 推动代码仓库统一纳管、编码规范、测试覆盖、代码质量门禁、CI/CD、灰度发布、自动回滚和发布审计。 参与 DataAgent 等数据分析工具建设,提升运营分析效率,并保证查询安全、结果可信和链路可追踪。
任职要求 1.计算机、软件工程或相关专业背景;专业或学历不完全匹配,但具有扎实项目经验者同样欢迎。 2.熟练使用 Java、Go、Python、C++、Scala 等至少一门编程语言,具备良好的数据结构、操作系统、网络和数据库基础。 3.有分布式数据系统、数据平台、搜索系统、后端平台或基础设施相关项目经验,能够独立负责模块设计、开发、上线和持续优化。 4.能结合数据规模、延迟、吞吐、可用性和成本做技术取舍,具备生产问题定位、性能分析和故障恢复能力。 5.重视代码质量和可维护性,有测试、代码评审、版本管理及自动化交付意识。 能与算法、产品、运营和交付团队清晰沟通,推动跨团队项目落地。 专项方向 以下方向至少具备一项较完整的项目经验,不要求全部具备。 1.湖仓与计算:理解开放表格式、事务一致性、分区与小文件治理、Compaction、增量读写或流批处理;使用过 Iceberg、Hudi、Paimon、Delta Lake、Flink、Spark、Trino/Presto 或同类系统。 2.分析与指标平台:有数据建模、指标口径治理、OLAP 查询优化或实时分析经验;使用过 Doris、ClickHouse、StarRocks、Druid、Kylin 或同类分析引擎。 元数据与血缘:理解 Catalog、元数据采集、作业血缘、字段级血缘或影响分析;使用过 OpenLineage、Apache Atlas、DataHub、Marquez 或同类平台与标准。 全文与标签检索:理解倒排索引、分词、相关性、分片、冷热分层及索引生命周期;使用过 Elasticsearch、OpenSearch、Solr 或同类搜索系统。 3.向量数据库与检索:理解向量索引、ANN、召回率与延迟权衡、增量更新或标量过滤;使用过 Lance/LanceDB、Milvus、Faiss、pgvector、Vespa、Weaviate 或同类系统。 4.SRE 与研发效能:有 Kubernetes、可观测性、容量治理、稳定性建设或 CI/CD 平台经验,能够推动测试、发布、回滚和质量门禁落地。 加分项 1.有百亿级记录、PB 级数据、超大规模索引或高并发数据服务的生产实践。 有跨云、混合云或对象存储上的数据平台建设经验,处理过一致性、带宽、容灾和成本问题。 2.有多模态数据治理、数据去重、数据质量、数据安全或成本治理经验。 3.参与过数据基础设施相关开源项目,或能提供有深度的技术文章、分享和项目案例。 4.有 DataAgent、Text-to-SQL、RAG 或数据分析智能体的工程落地经验。 5.有将内部技术能力产品化的经验,能同时关注技术深度、用户体验和交付效率。



