本人情况
关于博主: 博主是过年某985研二，过完年打算找大厂实习offer，本次主要记录了本小菜研找实习的坎坷历程，
欢迎大佬们给建议!!!
应聘岗位: 腾讯大模型算法实习生
面试轮数: 第一轮 整体面试感觉:偏难
技术问题
- 分布式训练框架都了解哪些，能不能简单介绍一下?
- 你了解 deepspeed，那介绍zero1，2，3分别是什么，分析训练时候显存占用? 参考:【图解分布式训练(八)】
- 说-下 Transformer 的架构和其内部细节?【必考题】建议
把【Transformer常见面试篇】Transformer常见面试篇)里面的题目都刷一遍!!! - 介绍大模型推理过程中，可以通过调节哪些参数提高性能?参考:【大模型(LLMs)推理面】
- 你既然做过 RAG，能不能介绍一下 RAG，大模型在里面主要是起到什么作用?
- 大模型训练的三种并行是什么?通讯开销比?
- 手撕代码。给一个md维度的矩阵，m代表样本数量，d是样本的维度。请使用不超过mm复杂度的代码求解其亮亮的欧式距离?
- llama2中使用的注意力机制是什么?手写实现下分组注意力。
- 了解langchain吗?讲讲其结构。
- 对位置编码熟悉吗?讲讲几种位置编码的异同RLHF的具体工程是什么?包含了哪几个模型?
- 分别讲讲encoder-only、decoder-only、encoder-decoder 几种大模型的代表作。
- 具体讲讲 p-tuning、lora等微调方法，并指出它们与传统fine-tuning微调有何不同。
- 显存不够一般怎么解决的?
- 几种主流大模型的 loss 了解过吗?
- 有哪些异同?了解半精度训练吗?
- 展开讲讲。deepspeed 用过吗?展开讲讲。
《字节大模型算法实习生面试题》已经整理上传CSDN，还有完整版的大模型 AI 学习资料，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
PDF书籍： 完整版本链接获取
👉[CSDN大礼包🎁：《
字节大模型算法实习生面试题》免费分享（安全链接，放心点击）]👈
《字节大模型算法实习生面试题》已经整理上传CSDN，还有完整版的大模型 AI 学习资料，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
PDF书籍： 完整版本链接获取
👉[CSDN大礼包🎁：《
字节大模型算法实习生面试题》免费分享（安全链接，放心点击）]👈
