大语言模型学习指南：入门、应用与深入
0x00 学习路径概述
本文将学习路径划分为三个部分：入门篇、应用篇、深入篇。每个章节针对不同的学习需求，帮助你从基础知识入手，逐步掌握大语言模型（LLM）的使用、应用开发以及技术原理等内容。
学习目标
-
入门篇：
- 了解大语言模型的基础知识及常见术语
- 学会使用编程语言访问 OpenAI API 等模型接口
- 面向非专业背景用户的大模型普及
-
应用篇：
- 搭建开源模型推理环境
- 学习大语言模型应用开发框架（如 LangChain、Dify 等）
- 掌握 Prompt 工程、RAG、Agent 等应用开发模式
-
深入篇：
- 了解大模型的技术原理、训练微调、数据工程和推理优化
- 探索大语言模型的前沿技术和应用进展
根据自身需求，可以选择关注相应的章节。如果对大语言模型的原理不感兴趣，可以直接学习入门篇和应用篇。
0x10 入门篇
基础学习资源
-
申请 OpenAI API
- 请访问 OpenAI Quickstart，并确保有良好的国际互联网访问条件。
- 推荐使用 OpenRouter 来访问多种闭源和开源模型。
-
入门课程推荐：
- ChatGPT Prompt Engineering for Developers：
- 适合入门者，内容简单，提供中英双语字幕。
- 中英双语字幕资源。
- OpenAI Quickstart 【必看】：
- OpenAI 官方文档及 API Reference。
- State of GPT：【必看】
- GPT 联合创始人演示，涵盖 GPT 的训练及应用。
- 视频 | PPT
- ChatGPT Prompt Engineering for Developers：
0x20 应用篇
应用开发与框架
-
系统构建教程：
- Building Systems with the ChatGPT API：学习如何构建 ChatGPT API 应用。提供中文字幕。
-
大语言模型应用框架：
- LangChain：最火的大语言模型应用开发框架。
- LangChain for LLM Application Development：中文字幕。
- Dify：开源的应用编排工具。
- GPT best practices：OpenAI 官方最佳实践。
- openai-cookbook：OpenAI 官方 Cookbook，含大量实用示例。
- Brex’s Prompt Engineering Guide：Prompt 工程简介。
- LangChain：最火的大语言模型应用开发框架。
0x30 深入篇
0x31 大模型技术基础
- 深度学习入门：
- 《动手学深度学习》 配合 李沐 B 站视频【必看】。
- 台湾大学李宏毅深度学习课程：幽默且内容深入。
- 3blue1brown 深度学习视频【必看】。
0x32 大模型技术原理
- 大语言模型综述【必看】：
- 大语言模型综述：最好的中文综述。
- 大语言模型：最好的大语言模型书籍。
- 大规模语言模型：从理论到实践：另一本不错的中文书籍。
- 清华大模型公开课第二季【必看】。
- GPT 系列论文精读。
- Llama3.1 论文精读。
- 复杂推理：大语言模型的北极星能力。
- ICML 2024 Tutorial: Physics of Language Models【必看】。
0x33 大模型训练与微调
- 训练大模型【必看】：
- Build a Large Language Model (From Scratch)。
- LLaMA-Factory：个人推荐的微调工具。
- MAP-NEO：开源中文大模型微调工具。
0x34 大模型数据工程
- 数据处理与生成：
- 如何合成微调数据。
- 中文行业预训练语料 IndustryCorpus 2.0：科学的数据处理流。
- 数据处理工具 FlagData。
0x35 大模型推理优化
- 推理速度与性能分析【必看】：
- 长上下文 Transformer 部署挑战：性能瓶颈分析。
- 大模型量化解析。
0x36 大模型应用
- Prompt 工程与 RAG：
- Prompt 工程综述。
- Modular RAG：RAG 系统优化。
- LLM Powered Autonomous Agents。
总结：本文为大语言模型的学习者提供了从基础到深入的全方位资源，涵盖了模型的基本使用、开发框架、技术原理、微调以及推理优化等多个方面。根据自己的需求选择相应的章节进行学习，逐步掌握大语言模型的相关技术和应用开发。