上周面试了一个大模型算法岗的女生，有点崩溃。。。
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。
汇总合集：《大模型面试宝典》(2024版) 发布！
组内最近一直在招人，上周就面了一个做大模型的女生，让我很崩溃！
问的都是大模型和NLP的基础问题，回答的有点差强人意，只能说明一点准备都没做，比较有点无力感
今天分享一些大模型常考的面试题，大家一定要复习复习，免得现场尴尬。。。
喜欢本文记得收藏、点赞、关注，文末可以参与技术交流。
- 为什么现在的大模型大多是decoder-only的架构？
- 解释LLM中token的概念
- 哪些因素会导致LLM中的偏见？
- 如何减轻LLM中的“幻觉”现象
- 解释ChatGPT的“零样本”和“少样本”学习的概念
- 请画图说明一下Transformer基本流程
- 为什么基于Transformer的架构需要多头注意力机制？
- LLaMA模型为什么要用旋转位置编码？
- 你训练的时候用float16，还是bfloat16，float32？为什么？
- 怎么解决训练使用float16导致溢出的问题？
- 预训练和微调任务有什么区别？两者的目的是什么?
- LLaMA模型在训练过程中如何处理梯度消失和梯度爆炸问题?
- LLaMA模型使用了哪种激活函数，为什么？,
- 介绍下lora和q-lora？
- 针对长序列，如何在Transformer中实现有效的位置编码？
- 训练数据集的过滤和去重是如何操作的?详细讲解下这些步骤的重要性及其对模型性能的潜在影响?
- 了解MOE吗?他的作用是什么?
- 解释一下大模型的涌现能力？
- 如何缓解大语言模型inference时候重复的问题?
- 对LLMs进行数据预处理有哪些常见的做法？
技术交流群
前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~
我们建了算法岗技术与面试交流群， 想要获取最新面试题、了解最新面试动态的、需要源码&资料、提升技术的同学，可以直接加微信号：mlc2040。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。
方式①、微信搜索公众号：机器学习社区，后台回复：加群
方式②、添加微信号：mlc2040，备注：技术交流
面试精选
-
一文搞懂 Transformer
-
一文搞懂 Attention（注意力）机制
-
一文搞懂 Self-Attention 和 Multi-Head Attention
-
一文搞懂 BERT（基于Transformer的双向编码器）
-
一文搞懂 GPT（Generative Pre-trained Transformer）
-
一文搞懂 Embedding（嵌入）
-
一文搞懂 Encoder-Decoder（编码器-解码器）
-
一文搞懂大模型的 Prompt Engineering（提示工程）
-
一文搞懂 Fine-tuning（大模型微调）
-
一文搞懂 LangChain
-
一文搞懂 LangChain 的 Retrieval 模块
-
一文搞懂 LangChain 的智能体 Agents 模块
-
一文搞懂 LangChain 的链 Chains 模块