The posting
1.参与新一代面向AI的搜索引擎算法工作,负责数据团队的算法工作 2. 基于大模型进行索引页识别挖掘,为链接发现/时效性抓取提供保障 3. 基于大模型对千亿网页进行死链检测、色情/博彩/反动/低质识别 4. 设计训练链接质量模型,为万亿链接进行质量打分 5. 负责URL归一化, 对万亿链接进行去重归一,提高抓取效率,节约存储资源 基于大模型提升搜索数据全链路效率和质量,为AI搜索赋能
1. 熟悉c/c++、python等编程语言,有良好的编程能力 2. 有一定的数据挖掘算法经验,有一定的机器学习算法经验 3. 有hadoop/spark/hive 等大数据处理经验 4. 有良好的逻辑思维能力,具有一定的分析和解决问题的能力 加分项: 有大模型应用相关经验,prompt 经验,对算法感兴趣 有搜索/推荐/广告方向相关经验



