大语言模型数据类型与环境安装(llama3模型)
文章目录
- 前言
- 一、代码获取
- 一、环境安装
- 二、大语言模型数据类型
- 1、基本文本指令数据类型
- 2、数学指令数据类型
- 3、几何图形指令数据类型
- 4、多模态指令数据类型
- 5、翻译指令数据类型
- 三、vscode配置
- 四、相关知识内容
- 1、理解softmax内容
- 2、torch相关函数
- nn.Embedding函数
- torch.nn.functional.scaled_dot_product_attention
- torch.multinomial函数
- 五、llama3相关内容说明
- 1、llama3的权重文件夹
- 2、模型文件对比
- 六、huggingface相关内容
- 1、huggingface的generate方法
- 2、tokenizer.decode(s, skip_special_tokens=True)方法
前言
简单给出环境安装与数据类型及vscode运行配置，其中vscode运行配置是便于我们调试代码。
一、代码获取
llama3的代码非常好下载，但是获取权重难度较大，而我这个教程也是为了解读大语言模型内容。为此，我找了一个github开源好下载权重的代码做为基准研究，其网址：https://github.com/WJC262/Chinese-LLaMA-Alpaca-3-main。其内容形式如下图显示：
你可放心使用，我已训练一个数学模型，效果还是不错的！
一、环境安装
我讲解有2个代码，一个是github提供，一个是我通过transformer构建的llama架构，而环境安装是非常简单的，只需cd到相应文件夹路径，直接下面一句话，可实现环境安装，如下：
pip install -