大语言模型(LLM)技术名词表(一)

LLMs on a Phone：指在手机设备上运行的大型语言模型。

Scalable Personal AI：指用户可以在个人设备上对AI模型进行微调的技术。

Responsible Release：发布AI模型时考虑社会、法律和伦理影响的做法。

Multimodality：AI模型能处理和理解文本、图像、声音等多种类型数据的能力。

LLaMA：Meta公司开发的大型语言模型，社区泄露后引发创新和开发。

RLHF (Reinforcement Learning from Human Feedback)：通过人类反馈训练AI模型的方法。

LoRA (Low Rank Adaptation)：一种通过低秩分解降低更新矩阵大小的模型微调技术。

Chinchilla：可能指提高大规模语言模型效率的技术或模型结构。

Stable Diffusion：一个开源图像生成AI项目，使用生成对抗网络（GANs）产生高分辨率图像。

Dall-E：OpenAI开发的根据文本描述生成图像的AI模型。

Fine-tuning：在预训练模型基础上进一步训练优化特定任务性能的过程。

Stackable：指微调方法可堆叠应用，逐一叠加不同微调以提升模型表现。

Low rank：指矩阵中非零奇异值数量较少，微调时改变部分参数，保持结构大体不变。

Full-rank updates：更新模型所有参数的方法。

Datasets and tasks：机器学习模型训练所需的数据样本集合和模型需要完成的特定问题。

Distillation：一种模型压缩技术，训练小型神经网络模仿大型网络行为。

Model weights：连接神经网络神经元的参数，训练中学习得到，用于预测。

ULM (Universal Language Model)：设计处理、理解、生成不同任务和领域内文本的模型。

Instruction Tuning：优化语言模型以更好理解并执行自然语言指令的过程。

Conversation Tuned：优化语言模型以提高进行自然语言对话的能力。

Alpaca：斯坦福大学发布的项目，对LLaMA模型进行指令调整。

alpaca-lora：GitHub代码库，使用低秩微调技术在RTX 4090上数小时内训练模型。

Quantization：减少模型权重位数，以减小模型大小并加速推理的过程。

Vicuna：发布与Bard功能相当的13B参数模型的跨大学合作项目。

GPT-4-powered eval：使用GPT-4模型评估技术，对其他模型输出进行定性比较。

ChatGPT API：提供外部开发者和应用程序访问ChatGPT功能的接口。

GPT4All：Nomic创建的模型及生态系统项目。

μ-parameterization (Micro-parameterization)：模型规模优化方法，提高性能。

Parameter Efficient Fine Tuning (PEFT)：参数高效微调技术，用较少可学习参数有效微调模型。

LLaMA-Adapter：使用PEFT技术，对LLaMA模型添加指令调整和多模态能力，快速训练。

ScienceQA：针对多模态科学问答的基准测试，评估模型性能。

Koala：加州大学伯克利分校发布的对话模型，使用公开数据训练。

Pythia-12B：12B参数的语言模型，用于LLaMA之外的实验和开发。

ChatGPT：OpenAI发行的基于GPT架构的大型对话式语言模型。

Data quality scales better than data size：优质数据对模型影响大于数据量增加的原则。