The posting
1、负责文本、图片、PDF、扫描件、表格等多模态数据的采集、清洗、解析、去重、过滤、结构化及质量控制,建设稳定的数据治理流程。 2、面向大模型及多模态模型训练、评测和智能体应用需求,制定数据处理规范和质量标准,完成训练数据、指令数据、评测数据等数据集建设。 3、负责复杂文档解析能力建设,包括 PDF 版面分析、OCR、表格/公式识别、图文关联、章节层级恢复及元数据抽取等。 4、建设自动化数据处理流水线和数据治理工具,支持大规模数据批处理、任务调度、质量检查、版本管理、数据追踪和问题回溯。 5、针对人文社科、历史文献等专业数据,协同领域专家完成数据加工规则设计,将人工经验转化为可规模化执行的数据处理流程。 6、建立数据质量评测体系,通过规则、模型和抽样审核等方式持续分析数据质量,定位数据链路中的主要问题并推动优化。 7、跟踪多模态数据治理、文档智能、合成数据及大模型数据工程相关技术,并结合实际业务进行落地。
1、计算机、人工智能、软件工程、数据科学等相关专业本科及以上学历。 2、熟练使用 Python,具备较好的 Linux、Shell 和工程开发能力,能够独立完成数据处理程序和自动化流水线开发。 3、熟悉常见数据处理技术,具备 JSON/JSONL、Parquet、数据库、对象存储等数据格式和系统的实际使用经验。 4、熟悉至少一种复杂文档或多模态数据处理技术,如 OCR、版面分析、PDF 解析、表格识别、图像处理、文档结构恢复等。 5、对大语言模型和多模态模型的训练数据有基本理解,了解预训练、SFT、评测等环节对数据格式和数据质量的不同要求。 6、具备较强的数据敏感度,能够针对重复、乱码、错序、信息缺失、解析错误、低质量样本等问题设计可执行的检测和治理方案。 7、具备良好的工程习惯和沟通能力,能够与算法工程师及领域专家协同推进数据建设工作。 加分项 1、有千万级及以上规模数据处理、数据平台或数据治理项目经验。 2、有 Docling、MinerU、PaddleOCR、PyMuPDF、Unstructured 等文档解析/OCR 工具使用或二次开发经验。 3、有大模型预训练、SFT、RL、RAG、Agent 数据集建设经验。 4、有网页、论文、图书、档案、古籍等复杂来源数据采集和治理经验。 5、有数据合成、数据质量模型、自动化数据评测或人工标注平台建设经验。 6、熟悉 Spark、Ray、DuckDB 等大规模数据处理框架。



