The posting
参与多模态科学文献解析大模型算法的开发与研究,从非结构化的科学文献中,抽取结构化的信息,并用于下游更广泛的应用。内容包括且不限于科学图表理解,表格解析,反应式解析,通用OCR,多模态VQA,多模态RAG等,并对流程中某些部分算法进行深入探究,并将研究成果转化为学术论文。 职位职责: 1.多模态大模型训练各阶段方法设计与研究,解决多模态科学文献解析任务中的问题和需求; 2.参与大规模训练数据集的构建,确保数据质量和多样性; 3.进行模型性能分析,识别和解决训练过程中的瓶颈,优化推理效率。
1.拥有扎实的编程能力,精通至少一种编程语言; 2.对计算机视觉或自然语言处理有一定经验和理解,两者都有最佳; 3.优秀的文献阅读能力与良好的沟通协作能力; 4.每周出勤不低于3天,可以base在北京/上海,亦可远程实习。
加分项: 1.熟悉多模态相关的算法和技术,具备多模态大模型训练经验,如QwenVL、InternVL、KimiVL、Gemma等 2.参与过多模态大模型相关重要开源项目,数据科学比赛优胜或发表相关论文。



