多语言大模型与跨语言能力1. 多语言能力是怎么来的1. 根源是预训练语料的语言构成哪种语言数据多哪种能力就强。2. tokenizer 也在投票英文主导词表下其他语言被切得很碎。3. 语言之间存在迁移高资源语言学到的推理和世界知识会跨语言共享。4. 指令微调若以英文为主其他语言的任务表现也要靠迁移撑。5. 所以多语言能力是数据配比 tokenizer 微调分布三者的合力。6. 模型规模越大迁移越明显小模型跨语言衰减更快。7. 面试要点能从数据和词表两个层面解释为什么英语强小语种弱。2. 为什么低资源语言效果差1. 数据稀缺互联网文本里小语种占比极低学不充分。2. tokenizer 压缩率差同样内容 token 数是英文的几倍窗口等效变小。3. 高质量指令数据少对齐和任务能力都是英文数据翻译迁移来的。4. 文化知识缺乏本地常识、地名人名在语料里出现频率太低。5. 评测也缺小语种基准少且质量参差改进难以度量。6. 结果是理解、生成、推理全面偏弱而不只是某一环。7. 优化路径扩词表、继续预训练、翻译增强语料、社区共建评测。3. 跨语言迁移和一致性问题是什么1. 同一个事实用不同语言问答案可能不一致甚至矛盾。2. 知识在参数里以语言绑定的形式存储跨语言对齐并不完美。3. 推理能力迁移好于知识迁移数学各语言都行本地知识各语言都弱。4. 训练时做跨语言一致性数据平行语料、翻译对齐能改善。5. 检索场景更明显中文知识库用英文问题查召回会掉。6. 产品上要做语言一致性测试不能假设能力全球均匀。7. 面试加分能区分能力迁移与知识对齐这两个不同层面。4. 中英混合code-switching输入怎么处理1. 真实用户输入经常中夹英品牌名、专业术语、缩写混在中文里。2. tokenizer 要能平滑处理混排不能因为切分问题破坏语义。3. 训练数据要有自然混排语料论坛、弹幕、技术社区不是纯单语。4. 提示词可要求输出语言跟随用户主语言避免语言跳变。5. 检索场景要做混合语言索引query 里英文关键词也能命中中文文档。6. 评测集专门构造混排样本术语混排、品牌混排、emoji 混排。7. 面试时强调混排是常态不是异常评测要反映真实分布。5. 翻译场景和通用多语言对话的要求差在哪1. 翻译要忠实原文允许直译的生硬对话要自然地道允许意译。2. 翻译评测有成熟指标和人工标准对话评测更主观更难。3. 翻译关注术语一致性、风格、格式的保留如代码注释、表格。4. 对话关注文化适配称呼、礼貌等级、节日常识这些不是翻译能覆盖的。5. 专门翻译模型和通用模型可以并存垂直翻译要精确控制时用专模型。6. 文档翻译的排版、术语库、记忆库是工程问题模型只是其中一环。7. 面试要点说清忠实度与地道度是两个不同的优化目标。6. 多语言怎么评测有什么坑1. 基准层面翻译用 FLORES 类集合理解用各语言版 MMLU 类。2. 坑一答案泄露语言——模型用英文思考后翻译成小语种掩盖真实能力。3. 坑二翻译腔评测数据考的是翻译不是语言能力。4. 坑三文化偏差本地常识题被按西方常识出题结果系统性错。5. 自建评测要用母语者标注至少覆盖核心市场的语言。6. 报告时按语言分别给分平均分会掩盖某个语言的塌方。7. 面试要点指出评测数据本身的翻译质量是常见盲区。7. 想支持一门新语言技术上怎么做1. 先评估 tokenizer 对该语言的压缩率太差就要考虑词表扩充。2. 收集该语言语料公开文本、翻译平行语料、领域数据。3. 继续预训练以不伤原有能力为前提混入足量英语数据做保鲜。4. 指令微调构建该语言的指令数据或从英文指令翻译增强。5. 评测先行用母语者建一套小而准的评测集全程用它做回归。6. 词表扩充是大动作涉及所有下游重训能不动就不动。7. 面试时按评测、数据、续训、回归四步答体现工程闭环。8. 文化与本地化为什么不只是翻译问题1. 同样的产品话术不同文化对礼貌、直接程度的预期不同。2. 法律合规差异数据展示、免责声明、隐私表述各地要求不同。3. 格式本地化日期、货币、地址、姓名顺序都有本地惯例。4. 敏感话题地图某地的节日、宗教、政治话题要有针对性护栏。5. 模型的世界知识本身带文化偏向本地常识可能真不知道。6. 本地化要母语者参与审核机器翻译审不出文化问题。7. 面试要点举一个翻译对了但文化上冒犯的例子最有说服力。9. 多语言 RAG 有什么特殊问题1. 跨语言检索query 语言和文档语言不一致时召回显著下降。2. embedding 模型的多语言对齐能力参差选型要实测跨语言召回。3. 方案一查询翻译成文档语言再检索增加一道工序和误差。4. 方案二多语言 embedding 直接跨语言检索依赖模型对齐质量。5. 知识库本身多语言时要做语言路由避免给用户错语言的引用。6. 生成端还要处理引用文档语言与回答语言的转换。7. 面试能画出query 语言识别 → 检索策略 → 回答语言控制这条链即可。10. 多语言场景下的安全有什么不同1. 越狱攻击在低资源语言上成功率更高因为安全训练数据少。2. 内容审核模型对非主流语言误判率更高漏放和误伤并存。3. 多语言测试要成为安全红队的固定科目不能只测中英文。4. 方言、俚语、拼音缩写等变体是绕过审核的常见通道。5. 翻译中间层可能引入语义漂移安全过滤放在哪一层要仔细设计。6. 各地区法规不同同一句话在某些市场违法要有地区化策略。7. 面试要点能说出安全能力也有语言不平等就是有洞察。11. 做多语言产品最容易踩的坑1. 只在英文/中文上测试就全球上线小语种市场体验崩塌。2. 用平均分评估多语言模型掩盖某个关键市场的塌方。3. 忽略 tokenizer 成本差异某些语言用户账单贵几倍。4. 知识库只有中文海外用户检索全靠硬扛。5. 本地化只做了界面翻译没审模型输出的文化适配。6. 评测集机器翻译凑数测出来的好成绩是假的。7. 安全护栏只在主语言生效其他语言成了绕过通道。包含的内容比较多这里只做了简单的截图介绍需要拿来学习的小伙伴查看下方图片 大模型面试题系列 · 持续更新INTRO_REMOVED长按识别二维码添加微信好友获取完整版面试题合集注明「面试」通过好友申请 
长河君 · 2026/10/29 11:11:13 · 阅读 1.2k 多语言大模型与跨语言能力
多语言大模型与跨语言能力1. 多语言能力是怎么来的1. 根源是预训练语料的语言构成哪种语言数据多哪种能力就强。2. tokenizer 也在投票英文主导词表下其他语言被切得很碎。3. 语言之间存在迁移高资源语言学到的推理和世界知识会跨语言共享。4. 指令微调若以英文为主其他语言的任务表现也要靠迁移撑。5. 所以多语言能力是数据配比 tokenizer 微调分布三者的合力。6. 模型规模越大迁移越明显小模型跨语言衰减更快。7. 面试要点能从数据和词表两个层面解释为什么英语强小语种弱。2. 为什么低资源语言效果差1. 数据稀缺互联网文本里小语种占比极低学不充分。2. tokenizer 压缩率差同样内容 token 数是英文的几倍窗口等效变小。3. 高质量指令数据少对齐和任务能力都是英文数据翻译迁移来的。4. 文化知识缺乏本地常识、地名人名在语料里出现频率太低。5. 评测也缺小语种基准少且质量参差改进难以度量。6. 结果是理解、生成、推理全面偏弱而不只是某一环。7. 优化路径扩词表、继续预训练、翻译增强语料、社区共建评测。3. 跨语言迁移和一致性问题是什么1. 同一个事实用不同语言问答案可能不一致甚至矛盾。2. 知识在参数里以语言绑定的形式存储跨语言对齐并不完美。3. 推理能力迁移好于知识迁移数学各语言都行本地知识各语言都弱。4. 训练时做跨语言一致性数据平行语料、翻译对齐能改善。5. 检索场景更明显中文知识库用英文问题查召回会掉。6. 产品上要做语言一致性测试不能假设能力全球均匀。7. 面试加分能区分能力迁移与知识对齐这两个不同层面。4. 中英混合code-switching输入怎么处理1. 真实用户输入经常中夹英品牌名、专业术语、缩写混在中文里。2. tokenizer 要能平滑处理混排不能因为切分问题破坏语义。3. 训练数据要有自然混排语料论坛、弹幕、技术社区不是纯单语。4. 提示词可要求输出语言跟随用户主语言避免语言跳变。5. 检索场景要做混合语言索引query 里英文关键词也能命中中文文档。6. 评测集专门构造混排样本术语混排、品牌混排、emoji 混排。7. 面试时强调混排是常态不是异常评测要反映真实分布。5. 翻译场景和通用多语言对话的要求差在哪1. 翻译要忠实原文允许直译的生硬对话要自然地道允许意译。2. 翻译评测有成熟指标和人工标准对话评测更主观更难。3. 翻译关注术语一致性、风格、格式的保留如代码注释、表格。4. 对话关注文化适配称呼、礼貌等级、节日常识这些不是翻译能覆盖的。5. 专门翻译模型和通用模型可以并存垂直翻译要精确控制时用专模型。6. 文档翻译的排版、术语库、记忆库是工程问题模型只是其中一环。7. 面试要点说清忠实度与地道度是两个不同的优化目标。6. 多语言怎么评测有什么坑1. 基准层面翻译用 FLORES 类集合理解用各语言版 MMLU 类。2. 坑一答案泄露语言——模型用英文思考后翻译成小语种掩盖真实能力。3. 坑二翻译腔评测数据考的是翻译不是语言能力。4. 坑三文化偏差本地常识题被按西方常识出题结果系统性错。5. 自建评测要用母语者标注至少覆盖核心市场的语言。6. 报告时按语言分别给分平均分会掩盖某个语言的塌方。7. 面试要点指出评测数据本身的翻译质量是常见盲区。7. 想支持一门新语言技术上怎么做1. 先评估 tokenizer 对该语言的压缩率太差就要考虑词表扩充。2. 收集该语言语料公开文本、翻译平行语料、领域数据。3. 继续预训练以不伤原有能力为前提混入足量英语数据做保鲜。4. 指令微调构建该语言的指令数据或从英文指令翻译增强。5. 评测先行用母语者建一套小而准的评测集全程用它做回归。6. 词表扩充是大动作涉及所有下游重训能不动就不动。7. 面试时按评测、数据、续训、回归四步答体现工程闭环。8. 文化与本地化为什么不只是翻译问题1. 同样的产品话术不同文化对礼貌、直接程度的预期不同。2. 法律合规差异数据展示、免责声明、隐私表述各地要求不同。3. 格式本地化日期、货币、地址、姓名顺序都有本地惯例。4. 敏感话题地图某地的节日、宗教、政治话题要有针对性护栏。5. 模型的世界知识本身带文化偏向本地常识可能真不知道。6. 本地化要母语者参与审核机器翻译审不出文化问题。7. 面试要点举一个翻译对了但文化上冒犯的例子最有说服力。9. 多语言 RAG 有什么特殊问题1. 跨语言检索query 语言和文档语言不一致时召回显著下降。2. embedding 模型的多语言对齐能力参差选型要实测跨语言召回。3. 方案一查询翻译成文档语言再检索增加一道工序和误差。4. 方案二多语言 embedding 直接跨语言检索依赖模型对齐质量。5. 知识库本身多语言时要做语言路由避免给用户错语言的引用。6. 生成端还要处理引用文档语言与回答语言的转换。7. 面试能画出query 语言识别 → 检索策略 → 回答语言控制这条链即可。10. 多语言场景下的安全有什么不同1. 越狱攻击在低资源语言上成功率更高因为安全训练数据少。2. 内容审核模型对非主流语言误判率更高漏放和误伤并存。3. 多语言测试要成为安全红队的固定科目不能只测中英文。4. 方言、俚语、拼音缩写等变体是绕过审核的常见通道。5. 翻译中间层可能引入语义漂移安全过滤放在哪一层要仔细设计。6. 各地区法规不同同一句话在某些市场违法要有地区化策略。7. 面试要点能说出安全能力也有语言不平等就是有洞察。11. 做多语言产品最容易踩的坑1. 只在英文/中文上测试就全球上线小语种市场体验崩塌。2. 用平均分评估多语言模型掩盖某个关键市场的塌方。3. 忽略 tokenizer 成本差异某些语言用户账单贵几倍。4. 知识库只有中文海外用户检索全靠硬扛。5. 本地化只做了界面翻译没审模型输出的文化适配。6. 评测集机器翻译凑数测出来的好成绩是假的。7. 安全护栏只在主语言生效其他语言成了绕过通道。包含的内容比较多这里只做了简单的截图介绍需要拿来学习的小伙伴查看下方图片 大模型面试题系列 · 持续更新INTRO_REMOVED长按识别二维码添加微信好友获取完整版面试题合集注明「面试」通过好友申请