大语言模型训练与推理模型构建源码解读(huggingface)
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档
文章目录
- 前言
- 一、llama训练模型构建源码解读
- 1、模型构建代码(自己搭建)
- 2、训练模型
- 3、模型调用方法
- 4、训练模型init方法(class LlamaForCausalLM(LlamaPreTrainedModel))
- 5、训练模型forward方法(class LlamaForCausalLM(LlamaPreTrainedModel))
- 6、训练模型loss方法(class LlamaForCausalLM(LlamaPreTrainedModel))
- 1、loss计算代码解读
- 2、构建模型输入内容与label标签
- 3、input_ids与labels格式
- 二、llam推理模型构建源码解读
- 1、模型构建代码(自己搭建)
- 2、推理模型
- 3、模型调用方法
- 4、推理模型init与forward方法(LlamaForCausalLM(LlamaPreTrainedModel))
- 三、类LlamaModel(LlamaPreTrainedModel)
- 1、LlamaModel(LlamaPreTrainedModel)的init方法
- 2、LlamaModel(LlamaPreTrainedModel)的forward方法
- 1、forward函数源码
- 2、forward源码解读
- 四、类LlamaDecoderLayer(nn.Module)源码解读
前言
我们已搭建了llama训练与推理方法，而llama模型来源huggingface提供。为此，本节来解读huggingface的llma模型训练与推理源码解读。
一、llama训练模型构建源码解读
我还是使用代码说下llama模型或大语言模型是如何调用llama模型，给出其对应构建流程，便于想深究的读者。
1、模型构建代码(自己搭建)
首先是模型搭建，我不在解读，如下代码：
model = AutoModelForCausalLM.from_pretrained(model_args.model_name_or_path,from_tf