The posting
1. 负责科学多模态数据的采集、解析、清洗、标准化、结构化加工和质量评估。 2. 处理文本、图片、表格、公式、实验数据等多类型复杂数据。 3. 设计并开发稳定、可复用、自动化的数据处理 Pipeline,提升数据处理效率和工程化水平。 4. 使用 Python / SQL / Shell 及主流 AI 工具完成数据ETL和数据质量相关工作。 5. 基于大数据计算和分布式存储系统,处理大规模、多来源、多格式科学数据。 6. 输出数据分析报告、数据质量报告和问题归因,为产品研发、算法评估、知识库建设、信息检索、RAG、模型训练和业务决策提供数据支持。
1. 计算机、软件工程、数据科学、信息检索、人工智能等相关专业本科及以上学历。 2. 具备扎实的工程编码能力,熟练使用 Python / SQL / Shell,能够独立开发数据处理程序和自动化流程。 3. 熟悉 Linux / Git,具备良好的工程开发习惯,能够编写稳定、可维护、可复用的代码。 4. 熟悉大数据计算、分布式数据处理或分布式存储系统,了解分布式系统底层原理, 具备PB级数据处理经验。 5. 具备多模态数据处理经验,熟悉文本、图片、公式、科学数据等复杂数据处理。 6. 熟悉主流 AI 工具或 AI 编程工具,能够将 AI 用于数据处理、代码开发、问题排查、质量检查和分析报告生成,提高工作效率和产出质量。 7. 具备强烈的数据敏感度和责任心,具备Owner意识, 对输出数据的质量和决策影响负责。 8. 具备良好的沟通协作能力,善于和产品、算法、业务团队沟通,清晰表达数据问题、分析结论和改进建议。



