The posting
1.负责 PDF 及复杂文档预训练数据的质量研究、数据方案实现和版本化交付; 2.基于现有 PDF pipeline,研究解析质量、文档结构恢复和内容筛选策略对模型预训练效果的影响; 3.建设 PDF 和文档质量评价体系,包括 OCR 和文本抽取质量评估、阅读顺序恢复、页眉页脚/目录/引用清理、表格/公式/代码块识别、文档完整性/知识密度/专业性评分等; 4.对解析失败或被过滤的文档进行分类,研究通过重新解析、版面恢复、段落重组、内容修复或模型重写等方式恢复数据价值; 5.重点建设高质量 STEM、数学、教材、论文、技术报告及专业知识数据; 6.设计 PDF 数据与网页数据之间的去重、互补性分析和采样策略; 7.设计并执行数据消融和 proxy training 实验,评估 PDF 数据对 Knowledge、STEM、Math、Reasoning 及 Multilingual 能力的贡献。
1.计算机科学、人工智能、自然语言处理、数据科学等相关专业硕士及以上学历; 2.熟悉 PDF 和复杂文档常见问题,包括多栏布局、扫描件、公式、表格、乱码和阅读顺序错误; 3.能够结合规则、模型和统计方法建立文档质量评价和修复流程; 4.熟练使用 Python,能够独立完成数据分析、实验实现和数据版本交付; 加分项:具有图书、教材、论文、专利或技术文档处理经验;熟悉数学公式、表格或科学文献解析;具有多语言 OCR 或低资源语言文档经验;做过文档修复、结构化抽取或多模态文档理解。



