ChatGPT漫谈(二)

        ChatGPT“脱胎”于OpenAI在2020年发布的GPT-3，任何外行都可以使用GPT-3，在几分钟内提供示例，并获得所需的文本输出。GPT-3被认为是当时最强大的语言模型，但现在，ChatGPT模型似乎更强大。ChatGPT能进行天马行空的长对话，可以回答问题，它具备了类人的逻辑、思考与沟通的能力，并且它的沟通能力在一些领域表现得相当惊人，能与人进行堪比专家级的对话。ChatGPT和GPT-3类似人类的输出和惊人的通用性只是优秀技术的结果，而不是真正的“聪明”。它在本质上只是通过概率最大化不断生成数据而已，而不是通过逻辑推理来生成回复。

ChatGPT是如何炼成的

1.1 出色的NLP模型

        本质上，ChatGPT是一个出色的NLP新模型。说到NLP，大多数人先想到的是Alexa和Siri这样的语音助手，因为NLP的基础功能就是让机器理解人类的输入，但这只是技术的冰山一角。NLP是人工智能（AI）和机器学习（ML）的子集，专注于让计算机处理和理解人类语言。虽然语音是语言处理的一部分，但NLP最重要的进步在于它对书面文本的分析能力。它其中的Transformer模型提供了一种并行计算的方法，使得ChatGPT能够快速生成回答。

1.2 庞大的数据训练

         基于Transformer模型，ChatGPT的开发者们开展了大量的数据训练。在ChatGPT出现以前，OpenAI已经推出了GPT-1、GPT-2、GPT-3。虽然前几代声量不大，但模型都是极大的。GPT-1具有1.17亿个参数，OpenAI使用了经典的大型书籍文本数据集进行模型预训练。20