跟踪大型语言模型的思想：对语言之间共享；提前规划；cot

跟踪大型语言模型的思想：对语言之间共享；提前规划；cot

像 Claude 这样的语言模型不是由人类直接编程的，而是在大量数据上进行训练的。在培训过程中，他们学习自己的解决问题的策略。这些策略编码在模型对其写入的每个单词执行的数十亿次计算中。他们来到我们这些模型的开发者面前高深莫测。这意味着我们不了解模型是如何完成它们的大部分工作。

了解像 Claude 这样的模型如何思考，可以让我们更好地了解他们的能力，并帮助我们确保他们按照我们的意愿行事。例如：

Claude 会说几十种语言。它使用的是什么语言（如果有的话）？
Claude 一次写一个字的文本。它只专注于预测下一个单词还是提前计划？
Claude 可以一步一步地写出它的推理。这个解释是否代表了获得答案所采取的实际步骤，或者它有时是否为已成定局的结论捏造了一个合理的论点？

Claude 有时会在语言之间共享的概念空间中思考，这表明它有一种普遍的“思想语言”。我们通