引言
在上一次的文章《ChatGPT是怎么被训练出来的？》中，我介绍了以ChatGPT为代表的大多数大型语言模型（LLM）的训练过程。这一过程本身已经清晰地展示了ChatGPT的优劣势。在这篇文章中，我将进一步探讨人类的思维模式与LLM之间的差异，并说明如何弥补LLM的“思维缺陷”，以便它更好地完成任务。本文的大部分观点来源于OpenAI联合创始人Andrej Karpathy的演讲，你也可以直接观看他的演讲视频：Andrej的演讲点这里。我还制作了一个B站视频讲解本次文章的内容，你可以点这里前往观看。
人类思维VS ChatGPT思维
许多人在使用ChatGPT时容易陷入两类误区。一类人认为ChatGPT非常强大，能够流畅地聊天，甚至理解量子力学和哲学讨论，进而认为可以将所有工作和学习内容交给它。然而，当他们真正尝试这样做时，往往会遇到许多问题。另一类人则认为ChatGPT被过度吹捧，认为它很愚蠢，因为它无法回答诸如“鲁迅和周树人有什么分歧”这种问题，甚至连简单的乘法如89x78都算不对。
这两类观点其实都是片面的。它们都是基于对ChatGPT某些特性的片面了解，进而推及全部，认为那就是ChatGPT的完整特征。这种思维问题在于，我们用人类一般具备的能力和常识去评价ChatGPT，因为ChatGPT在对话中表现出的逻辑能力和表达能力太像人了。
然而，ChatGPT并不是人。它的思维模式和优缺点与人类存在巨大的差异。我们先来看看人类的思维模式是什么样的。
人类思维示例：常识、反思、工具使用
假设你要写一篇财经类文章，需要写这样一句话：“截止6月28日，拼多多的市值是B站的xx倍”。
在写这句话时，你首先会启动反思能力，知道要比较拼多多和B站的市值，最好是找到最新的市值数据，而不是直接搜索拼多多的市值是B站的多少倍。你知道自己的大脑里没有这种数据，但你知道雪球等网站可以查到这些数据。于是你查到，截止昨天，拼多多的市值是932.8亿美元，B站的市值是63.6亿美元。
接下来，你会用计算器算一下，发现拼多多的市值是B站的14.7倍。你可能会惊讶于拼多多比B站值钱这么多，但你会再确认一遍信息来源和数字，确保无误。
然后你开始写这句话：“拼多多比B站股价贵14.7倍”。你会实时反思，觉得这句话不准确，于是重新调整措辞，加上时间限制，使描述更准确：“截止6月28日，拼多多的市值是B站的14.7倍”。
这就是你写一句简单话时可能经历的全过程。而对于ChatGPT来说，它的过程完全不同。它会根据你输入的信息进行层层分解，然后预测下一个单词应该是什么，并在每写一个字时，纳入之前的字进行思考，逐字生成完整的句子。你可以从我上一期介绍ChatGPT训练过程的视频中了解更深的文本生成机制。
因此，人的思维过程和ChatGPT有巨大的差异。提示词工程（prompt engineering）的本质就是弥合这种差异，最大化发挥ChatGPT的优势，规避其缺陷。
提示词工程的策略
1、提供充足背景和知识
你知道自己不知道什么，但ChatGPT不知道自己不知道什么。因此，在与ChatGPT沟通时，需要完整地提供任务背景信息和它需要的知识。
2、给ChatGPT提供工具
你知道自己不擅长什么，会使用搜索引擎、计算器等工具帮自己完成任务。ChatGPT也是如此。当你需要它完成需要2021年9月以后知识的任务时，应该使用带web browsing功能的插件。其他如数学计算、阅读PDF文本、买机票等任务也需要不同的插件。
3、允许ChatGPT回溯和反思
ChatGPT的生成机制导致它不能回溯发现自己的错误，但你可以要求它回溯。例如，在ChatGPT回答完问题后，你可以问它是否觉得自己的回答准确，是否完成了你的要求，这样可以让它进行反思和分析。
4、激发ChatGPT的“系统二”慢思维模式
ChatGPT的生成过程类似于人类的“系统一”快思考模式。如果你看过诺贝尔经济学奖得主丹尼尔·卡尼曼的《思考，快与慢》，你会知道人类有“系统一”直觉式的快思考和“系统二”审慎的慢思考两种模式。在一些复杂任务上，你可以让ChatGPT采用慢思考的方式。有几种方法可以让ChatGPT慢下来思考：把复杂任务拆解成多个小任务，使每个任务都有足够的token去思考。例如，你可以先问它截止昨天拼多多的市值是多少，再问B站的市值是多少。用few-shot少示例提示让ChatGPT模仿你的思维过程。例如，你可以先告诉它你是如何得到“北京的常驻人口数量是香港的3倍”这个结果的。告诉模型step by step思考，让它把思维过程一步步展现出来，相当于让每个token承担更少的思考任务。
5、ChatGPT不想要成功，但你可以要求成功
ChatGPT拥有丰富的知识，但它学习的大量互联网公开资料中，80%以上都是质量一般的。因此，为了生成的文本内容接近它训练语料的质量，它通常不会给出最好的结果，尽管它可以。OpenAI联合创始人Andrej Karpathy对此有一个生动的说法：ChatGPT并不想要成功，但你可以要求成功。具体做法是，根据你期望ChatGPT完成的任务，告诉它它是这个领域的专家，让它以专家视角输出结果。
希望这些策略对你有所启发。