书生·浦语大模型全链路开源体系----(1)
书生·浦语大模型全链路开源体系
什么是大语言模型？
- 大语言模型是指具有大规模参数和强大语言理解能力的机器学习模型。这些模型通常使用深度学习技术，特别是递归神经网络（RNN）或变换器（Transformer）等架构。这些模型被训练以理解和生成自然语言，能够处理广泛的语言任务，包括文本生成、机器翻译、问答系统、语言理解等。
- 大语言模型的训练通常分为两个阶段：预训练和微调。在预训练阶段，模型通过大量的文本数据进行自我监督学习，学习语言的结构、语法和语义。在微调阶段，模型根据特定任务的标记数据进行进一步训练，以适应特定应用领域的需求。
大模型成为关键词的原因
大模型的发展时间线
以OpenAi 为代表的大模型发展
为什么怎么火？
大模型成为发展通用人工智能的重要途径
- 专用模型：针对特定任务，一个模型解决一个问题
- 通用模型： 一个模型应对多种任务，多种模态
书生·浦语大模型开源历程
书生·浦语大模型开源系列
书生·浦语大模型开源性能
从模型到应用
书生·浦语大模型开源开放体系
书生·浦语大模型开源开放数据
书生·浦语大模型开源开放-预训练
书生·浦语大模型开源开放-微调
大语言模型的下游应用中，增量续训和有监督微调是经常会用到的两种方式，
增量续训
使用场景：让基层模型学习到一些新只是，如某个垂直领域知识
训练数据： 文章，书籍，代码等
有监督微调
使用场景：让模型学会理解和遵循各种指令，或者加入少量领域知识
训练数据：高质量的对话，问答数据
书生·浦语大模型开源开放-评测
书生·浦语大模型开源开放-部署
书生·浦语大模型开源开放-智能体
Lagent
AgentLego
总结
