最详尽全文翻译（上）｜微软155页大工程初次显示GPT-4超才能
文/Microsoft Research 译/f.chen@实格基金
某些未知的事物正在做着我们不领会的事。
-- Sir Arthur Eddington
实格投资团队为各人带来了那篇微软的大工程，长达 155 页的优良工做《人工通用智能的小火苗：与 GPT-4 配合完成的早期尝试》（Sparks of Artificial General Intelligence: Early experiments with GPT-4），因为全文近 7 万字，受微信推文字数限造，我们将完全版分为了上下两期，排列本次推送的第二和第三条。
你如今翻开的是完全版（上），望文生义，是简单粗暴的全文翻译。但需要强调的是，我们的目标不是全网最快，而是最完全、最易读、最精准。
也欢送阅读今日推送头条发布的精华整理，敏捷吸收全文重点～
Enjoy～
0. 摘要
Abstract
人工智能（AI）研究人员不断在开发和完美大型语言模子（LLMs），那些模子在各类范畴和使命中表示出卓著的才能，挑战了我们对进修和认知的理解。OpenAI 最新开发的 GPT-4 [Ope23] 模子是利用史无前例的算力和数据量停止操练的。在本文中，我们陈述了我们对 GPT-4 早期版本的测试，其时 OpenAI 仍在对其停止开发。我们认为（那个早期版本的）GPT-4 属于新一批 LLMs（如 ChatGPT 和 Google 的 PaLM）， 那些模子比以前的 AI 模子展示出更普适的智能。我们讨论那些模子不竭提拔的才能和影响。我们证明了除了其对语言的掌握外，GPT-4 能够完成涉及数学、编程、视觉、医学、法令、心理学等别致而困难的使命，同时无需任何特殊提醒。此外，在所有那些使命中，GPT-4 的表示与人类程度的表示十分接近，而且凡是远远超越了先前的模子，如 ChatGPT。考虑到 GPT-4 的广度和深度的才能， 我们认为它能够被合理地视为人工通用智能（AGI）系统的早期（但仍不完全）版本。在我们对 GPT-4 的摸索中，我们也需要特殊强调我们发现的其局限性，并讨论了迈向更深进和全面的 AGI 版本所面对的挑战，包罗可能需要逃求超越下一个单词揣测的新范式。最初，我们对比来手艺飞跃的社会影响和将来的研究标的目的停止了深思。
1. 介绍
Introduction
智能是一个多方面而难以捉摸的概念，持久以来不断挑战着心理学家、哲学家和计算机科学家。1994 年，一组 52 名心理学家签订了一份有关智能科学的普遍定义的社论，试图捕获其素质。共识小组将智能定义为一种十分普及的心理才能，此中包罗推理、规划、处理问题、笼统思维、理解复杂思惟、快速进修和从体味中进修等才能。那个定义意味着智能不只限于特定范畴或使命，而是涵盖了普遍的认知技能和才能 —— 成立一个可以展现 1994 年共识定义所捕获到的通用智能的人工系统是人工智能研究的一个持久而宏伟的目标。在早期的著做中，现代人工智能（AI）研究的开创人提出了理解智能的一系列宏伟目标。几十年来，AI研究人员不断在逃求智能的原则，包罗推理的普适机造（例如 [NSS59]，[LBFL93]）以及构建包罗大量常识常识的常识库 [Len95]。然而，比来的许多 AI 研究停顿能够描述为 「狭义地存眷明白定义的使命和挑战 」，例如下围棋，那些使命别离于 1996 年和 2016 年被 AI 系统掌握。在 1990 年代末至 2000 年代，越来越多的人唤吁开发更普适的 AI 系统（例如 [SBD+96]），而且该范畴的学者试图确定可能构成更普及智能系统的原则（例如 [Leg08，GHT15]）。名词 「通用人工智能」（AGI）在 2000 年代初时髦起来（见 [Goe14]），以强调从「狭义 AI 」到更普遍的智能概念的逃求，回应了早期 AI 研究的持久理想和梦想。我们利用 AGI 来指代契合上述 1994 年定义所捕获到的智能普遍才能的系统，此中包罗了一个附加的要求，即那些才能在或超越人类程度。然而，我们重视到并没有一个被普遍承受的 AGI 定义，我们在结论部门讨论其他定义。
展开全文
近几年人工智能研究中最显著的打破是大型语言模子（LLMs）在天然语言处置方面的朝上进步。那些基于 Transformer 架构 [VSP+17] 的神经收集模子在海量收集文本数据长进行操练，其核心自我监视目标是揣测部门句子中的下一个单词。在本文中，我们陈述了一个由 OpenAI 开发的新 LLM 的证据，它是GPT-4[Ope23] 的早期非多模态版本，并表示出根据 1994 年定义的智能的许多特征。虽然它地道是一个语言模子，但那个 GPT-4 的早期版本在各类范畴和使命中表示出卓著的才能，包罗笼统、理解、视觉、编码、数学、医学、法令、理解人类动机和感情等。我们利用纯天然语言查询（提醒）与 OpenAI 开发的 GPT-4 在其早期开发阶段停止了交互。鄙人列第一幅图中，我们展现了 GPT-4 的一些初步输出示例，要求它以诗歌形式写出量数无限性的证明，用 TiKZ（一种用于在 LaTeX 中创建图形的语言）画一只独角兽，用 Python 创建一个复杂的动画，以及处理一个高中程度的数学问题。它轻松地完成了所有那些使命，并生成的输出几乎与（以至比）人类可以产生的不异。我们还将 GPT-4 的表示与先前的 LLMs 停止了比力，出格是 ChatGPT，它是（改进的）GPT-3 [BMR+20] 的精巧调整版本。在第二幅图中，我们展现了向 ChatGPT 恳求输出量数无限性诗歌和 TiKZ 独角兽绘画的成果。固然系统在两个使命上都表示出非普通的表示，但与 GPT-4 的输出比拟，相往甚远。那些初步看察将在整篇论文中反复呈现，涉及到各类使命。GPT-4 展示出的泛化才能、跨范畴的普适性和整合才能，以及在大量差别类型使命中到达或超越人类程度的表示，使我们相信 GPT-4 是朝着 AGI 的重要一步。
固然我们认为 GPT-4 代表了向着 AGI 的停顿，其实不意味着它在所有工作上都是完美的，或者它各方面的才能都接近于人类（那是 AGI 定义的关键点之一；有关此问题，请拜见结论部门），或者它具有内在自主动机和目标（在一些 AGI 定义中的另一个关键点）。事实上，即便在 1994 年智能定义的上下文限制中，GPT-4 能在智能的某些权衡原则上走了多远仍不太清晰，例如规划（见第 8 节），而且能够说它完全贫乏「快速进修和从体味中进修」的部门，因为该模子不是继续更新的（虽然它能够在会话中进修，例如见第 5 节）。总的来说，GPT-4 仍然有许多局限性和成见，我们将鄙人面详尽讨论，而且那些也在 OpenAI 的陈述中论述过 [Ope23]。特殊是它仍然存在 LLMs 的一些已知缺陷，例如幻觉问题 [MNBM20] 或根本算术错误 [CKB+21]（见附录 D），但它也征服了一些根本障碍，例如获得许多非语言才能（例如，它处理了 [MIB+23] 中描述的之前的 LLM 不克不及完成的大部门，并在常识方面获得了浩荡停顿，例如本节我们会讲到的示例和附录 A 的更多示例）。那阐了然一个事实，即虽然 GPT-4 在许多使命上到达或超越人类程度，但其智能形式显然不像人类。然而，GPT-4 几乎必定只是一系列越来越普及智能的系统的第一步，事实上，GPT-4 自己也在我们测试它之后得到了改进，例如下图所示的在一个月的操练过程中独角兽绘画的演变。然而，即便做为早期版本，GPT-4 也挑战了许多关于机器智能的普及假设，并展现了新行为和才能，其来源和机造此时很难切确地阐明（有关此问题，请再次拜见结论部门停止更多讨论）。我们编写本文的次要目标是分享我们对 GPT-4 的才能和局限性的摸索，以撑持我们的结论，即手艺已经获得了飞跃式开展。我们相信，GPT-4 的智能标记着计算机科学范畴和其他范畴的实正范式改变。
1.1 我们研究 GPT-4 智能的办法
我们若何权衡一个已经在一个未知但极其浩荡的收集文本数据语料库长进行了操练的 LLM 的智能程度？机器进修中的原则办法是在一组原则基准数据集上评估系统，确保它们独立于操练数据，并涵盖一系列使命和范畴。那种办法旨在将实正的进修与单纯的记忆分隔，并得到了丰富的理论框架的撑持 [SSBD14，MRT18]。然而，那种办法纷歧定适用于研究 GPT-4，有两个原因：
- 起首，因为我们无法晓得其浩荡操练数据的全数详尽信息，我们必需假定它可能已经看过每个现有的基准，或者至少看过一些类似的数据。例如，GPT-4 似乎晓得比来提出的BIG-bench [SRR+22]（至少 GPT-4 晓得 BIG-bench 的 canary GUID）。当然，OpenAI 本身晓得并能够拜候所有的操练细节信息，因而他们的陈述[Ope23]包罗了大量的详尽基准成果。
- 然而，超越传统基准的第二个原因可能更重要：GPT-4 智能的关键方面之一是其泛化性，即似乎可以理解和毗连任何主题，并施行超出狭隘 AI 系统典型范畴的使命。GPT-4在某些不容许单一处理计划的使命上表示出了最令人印象深入的表示，例如编写图形用户界面（GUI）或搀扶帮助人类对某些与工做相关的问题停止思维风暴。如许的生成或交互使命的基准测试也能够设想，但是评估目标成为一个挑战（例如，请拜见[NLP]中比来在那个活泼的研究范畴中获得的一些停顿）。我们重视到，[Cho19]中也对丈量AI系统的原则办法提出了责备，提出了一个新的基准来评估通用智能。出于之前提到的原因以及基准测试的性量是视觉的，因而更合适于[Ope23]中描述的多形式版本的GPT-4，我们不在后者的基准测试上对 GPT-4 停止测试。
为了征服上述所描述的限造，我们提出了一种差别的研究 GPT-4 的办法，更接近传统心理学而不是机器进修，操纵人类创造力和猎奇心。我们的目标是产生别致且困难的使命和问题，以令人心服地证明 GPT-4 远远超越了记忆，具有对概念、技能和范畴的深入而乖巧的理解（在[CWF+22]中也提出了类似的办法）。我们还旨在探究 GPT-4 的响应和行为，以验证其一致性、连接性和准确性，并显示其局限性和成见。我们认可那种办法有些主看和非正式，而且可能无法称心严厉的科学评估原则。然而，我们认为那是探究 GPT-4 的卓著才能和挑战的有用和需要的第一步，而如许的第一步为开发更为正式和全面的办法以测试和阐发具有更普及智能的 AI 系统开垦了新的时机。
为了阐明我们评估 GPT-4 智能的办法，让我们参考上文中我们对 GPT-4 停止的前两个示例交互。第一个示例是要求 GPT-4 写一首诗的形式来证明量数无限的问题。那是一个具有挑战性的使命，需要连系初等数学推理、诗意表达和天然语言生成；第二个示例是要求 GPT-4 在 TiKZ 中画一个独角兽，那是另一个具有挑战性的使命，需要连系视觉想象力和编码技能。在那两种情状下，GPT-4 产生了令人印象深入的输出，远远优于之前更先进的 LLM ChatGPT，至少与人类的表示相当（假设有人认为不是更好）。
然而，令人印象深入的输出其实不足以使我们相信 GPT-4 实正掌握了那些使命。我们需要进一步探究，肃清 GPT-4 仅仅是记忆或复造一些现有数据的可能性。关于证明，我们能够略微改动问题，并要求 GPT-4 用莎士比亚的风气写出统一定理的证明，或者要求写一个关于语言模子的柏拉图式对话（那两个示例会后续详述）。能够看到，GPT-4 很随便适应差别的风气并产生出令人印象深入的输出，表白它对所涉及的概念具有乖巧而普及的理解。关于独角兽，我们能够略微修改代码，要求 GPT-4 修复或改进它。例如，我们能够往掉角，对坐标利用一些随机变更，并要求 GPT-4 将角添加回独角兽的头部（我们还小心地往除了代码中的任何文本信息，例如正文）。如下图所示，GPT-4 能够准确识别头部位置，画出角，并将其附在头部上，表白它能够理解和操做代码，并根据天然语言描述揣度和生成视觉特征。
那些示例展现了我们若何利用人类创造力和猎奇心来产生别致而困难的问题，并探究 GPT-4 的响应和行为，以评估其智能。在本文的其余部门，我们将围绕利用案例系统化地对 GPT-4 停止研究，涵盖各类范畴和使命，并凸起 GPT-4 的长处和缺点。我们将在接下来的部门中描述那些内容。
1.2 我们的演示构造
我们在几个选定的主题上施行上述办法，那些主题大致涵盖了 1994 年智能定义中给出的差别才能，那是一种十分通用的心理才能，此中包罗推理、规划、处理问题、笼统思维、理解复杂思惟、快速进修和从体味中进修的才能。
1. GPT-4 的次要优势在于其掌握了无与伦比的天然语言才能。它不只可以生成顺畅、连接的文本，还能以多种体例理解和操做文本，例如总结、翻译或答复十分普遍的问题。此外，我们所说的翻译不只涉及差别天然语言之间的翻译，还涉及到腔调和风气的翻译，以及跨范畴（如医学、法令、管帐、计算机编程、音乐等）的翻译，拜见下图中的柏拉图对话 —— 那些技能清晰地表白，GPT-4 可以理解复杂的思惟。我们在第二部门进一步切磋了 GPT-4 在多模态和跨学科方面的组合技能，还在第 7 部门给出了一些关于语言的尝试。
2. 编程和数学才能，那是理性根究和笼统思维才能的象征。我们别离在第 3 部门和第 4 部门切磋了 GPT-4 在那些范畴的才能。然而，与本文的所有其他部门一样，我们只是对那些主题停止了浅尝辄行，而关于 GPT-4 在那些范畴的表示，能够（也将会）撰写整篇论文。此外，我们还抉择了几个其他专业范畴来展现 GPT-4 的普及推理才能，例如医学或法令。我们对美国医学执照测验步调 1、2 和 3 的多项抉择部门停止了初步测试（请拜见[Ope23]），每个部门的准确率约为 80%。类似的初步测试展现，GPT-4 在多州律师测验中的才能高于 70%。我们重视到，最新一代 LLM（例如 Google 的 PaLM [LAD+22、SAT+22]、GPT-3.5 在法令方面的表示 [BIK22]）已经表示出了那些范畴的人类程度才能的呈现。我们的研究办法与那些工做差别，正如我们之前所阐明的。
3. 在第 5 部门，我们测试了该模子在方案息争决问题方面的才能，以及在某种水平上通过让它玩各类游戏（或者说是模仿游戏情况）以及与东西互动来快速进修和从体味中进修的才能。特殊是，GPT-4 可以利用东西（包罗本身），那必定对利用 GPT-4 构建实在世界利用法式十分重要。
4. 我们论证的一个重要部门是，GPT-4 在许多使命上到达了人类程度的表示，因而，天然会问 GPT-4 对人类自己的理解有多好。我们在第 6 部门展现了关于那个问题的几个尝试，既包罗理解人类，也包罗 GPT-4 使本身可以被人类理解的问题，即阐明性问题。我们特殊重视到，那些使命需要大量的常识，那在 LLM 中迄今为行不断是寡所周知的痛点[DM15]。鄙人图中，我们给出了一个 GPT-4 在常识问题上表示得比 ChatGPT 好得多的例子，并在附录 A 中供给了更多的例子。
5. 在整个论文中，我们明白讲了发现的所有限造，同时也专门在第 8 部门对GPT-4 架构中的自回回特征招致的欠缺规划才能停止了深进阐发。
6. 最初，在第 9 部门，我们讨论了那种早期形式的 AGI 的预期社会影响，而在第 10 部门，我们分享了该范畴的关键挑战、标的目的和下一步动作。
良多读者可能心中仍然有一个问题，即 GPT-4 能否实正理解了所有那些概念，仍是仅仅比以前的模子更擅长立即改进（improvisation），而没有实正或深入的理解。我们期看在阅读本文后，那个问题几乎应该反过来了，人们可能会想晓得实正的理解远比即兴演出复杂得多。假设一个系统可以通过软件工程候选人的测验（下图），莫非就不克不及说它实正具有智能吗？也许理解的独一实正测试是能否产生新常识，例如证明新的数学定理，那在 LLM 中目前仍然是不成实现的。
2. 多模态和跨学科组合
Multimodal and interdisciplinary composition
智能的一个关键权衡原则是可以从差别的范畴或形式中综合信息，并可以跨差别的情境或学科利用常识和技能。在本节中，我们将看到：
- GPT-4 不只在文学、医学、法令、数学、物理科学和编程等差别范畴展现了高程度的专业常识，并且还可以顺畅地连系多个范畴的技能和概念，展示出对复杂思惟的令人印象深入的理解。
- 我们还在第 2.2 节和第 2.3 节中摸索了两种可能出人意料的模态（正如介绍中所阐明的，我们再次强调我们的尝试是在 GPT-4 的早期版本长进行的，该版本不是多模态的），别离是视觉和音频。
2.1 综合才能
为展现该模子超卓的综合才能，我们起首给出几个示例，那些示例需要以一种连系多个范畴的常识或技能的体例生成文本和代码。我们有意抉择了操练数据很少包罗的范畴组合，如文学和数学或编程和艺术。
1. 为了测试该模子在艺术和编程方面连系才能的才能，我们要求 GPT-4 「生成以画家康定斯基风气为根底的随机图像的 Java 代码 」。见下图和附录中图 B.1 示例图像和代码。
2. 该模子可以用莎士比亚文学风气证明量数有无限个（见下图）。
3. 我们通过要求该模子撰写一封由圣雄甜地为其老婆写的、撑持 Electron 做为美国总统候选人的信件，测试了其在汗青和物理学常识连系方面的才能（见下图）。
4. 我们提醒该模子 「为一个法式生成 Python 代码，该法式将患者的年龄、性别、体重、身高和血液检测成果向量做为输进，并指示该人能否有患糖尿病的风险」，成果代码如附录图 B.3 所示。
那些示例表白，GPT-4 不只进修了差别范畴和风气的一些通用原则和形式，并且还可以以创造性和别致的体例将它们综合起来。那种跨学科的才能并非 GPT-4 所独有的。ChatGPT 也能够产生展现对使命和涉及的范畴有必然理解的谜底（拜见上述第一个例子，附录 B.2、B.3），但它们凡是是不完全的，而且能够说相对欠缺创造性。例如，在第三个例子中，GPT-4 在几个方面都优于 ChatGPT，因为它准确地根据引用人（甜地）、收件人（他的老婆）、候选人（Electron）和职位（美国总统）来个性化信件。我们不认为本身拥有评估那些使命成果或两个模子之间严厉比力的切确办法，但我们期看读者能够感触感染到那两个模子的差别之处（请重视，我们还要求 GPT-4 间接评估差别，见两幅图中的信息）。
接下来，我们将摸索 GPT-4 若何在差别的模态下生成和识别对象，例如矢量图形、三维场景和音乐 —— 虽然只要文本输进/输出，GPT-4 仍然能够理解和施行多模态信息。
2.2 视觉
当提醒该模子利用可缩放矢量图形（SVG）生成猫、卡车或字母等对象的图像时，该模子生成的代码凡是会编译成相当详尽和可识此外图像（见下图）。请拜见附录 B.2，查看 ChatGPT 对各类示例的从头运行。
2.2.1 超越记忆的图像生成
然而，有人可能假设该模子只是从操练数据中复造了代码，因为类似的图像在操练数据中呈现过。鉴于该版本的模子长短多形式的，进一步地，人们可能认为没有理由期看它能理解视觉概念，更不消说可以创建、解析和操做图像了。然而，该模子似乎具有实正的视觉使命才能，而不单单是从操练数据中类似的示例中复造代码。下面的证据强烈撑持那一说法，并证明了该模子能够处置视觉概念，虽然它只承受了文本操练 。
在第一个例子中，我们促使模子通过组合字母 Y、O 和 H 的外形来画一小我（请拜见下图中确实切提醒和成果）。
模子利用 draw-line 和 draw-circle 号令创建了字母 O、H 和 Y 并胜利将它们放置在一个看起来比力合理的身体构造中。操练数据可能包罗有关差别字母的几何外形的信息，也许从操练数据中能够揣度出字母 Y 可能看起来像一个上臂向上的躯干。能够说，模子从操练数据中可以揣度出一个合理的体例将那些字母放置在一路，以便画出一个看起来比力合理的身体构造，那一点可能要不那么明显。在第二次迭代中，我们提醒模子校正躯干和手臂的比例，并将头部放置在中心。最初，我们要求模子添加衬衫和裤子（详细提醒和成果见下图）。
为了进一步探究模子对几何概念的理解，我们还要求它创建将物体和字母混合的图像。模子必需起首想出一种合理的办法将物体和字母合成，然后产生图像。成果如图所示，证明 GPT-4 凡是能够保留物体和字母的身份，并以创造性的体例将它们组合起来。
2.2.2 根据详尽阐明生成图像（ 「 a la Dall-E 」 ）
为了进一步测试 GPT-4 生成和操做图像的才能，我们测试了它遵照详尽阐明创建和编纂图形的水平。那个使命不只需要生成技能，还需要阐明、组合和空间技能。
第一个示例指示模子生成一个 2D 图像，其描述为 「一只青蛙跳进银行，问出纳员：你有免费的荷叶吗？出纳员答复：没有，但我们供给低利钱的池塘晋级贷款」。我们测验考试了屡次生成图像，每次生成都与关键对象青蛙、出纳员、银行和两个文底细婚配。我们抉择了更具视觉吸引力的版本。受原则图像生成工做流程的启发，我们要求 GPT-4通过添加更多的细节来放大图像。GPT-4 添加了一个银行标记、一些窗户、一辆汽车、一个交通灯、几朵云，并让青蛙拿着一朵花。最初，我们要求 GPT-4 施行各类使命，例如根据现有对象添加一些对象，从头着色一些对象和更改一些对象的 z 挨次。GPT-4 都准确地完成了所有使命。最末成果如图下图左侧所示，提醒信息如附录图 B.4 所示。
我们的第二个例子是试图利用 Java 生成一个 3D 模子。我们用提醒语 「一个由浮岛、瀑布和桥梁构成的妄想景看，天空中有一只飞龙和一个位于更大岛上的城堡」来对 GPT-4 发出指令。与 2D 尝试类似，我们要求 GPT-4 以各类体例修改 3D 模子，如添加、从头定位、从头着色对象和改动飞龙的轨迹等。同样，GPT-4 准确完成了许多使命。最末成果如下图右侧所示，提醒语如图 B.5 所示。它其实是一个 3D 动画，有多只飞龙在岛屿上空盘旋。
2.2.3 在草图生成中的潜在利用
近年来，文本到图像合成模子已经得到普遍摸索，但它们经常欠缺空间理解才能和遵照复杂指令的才能 [GPN+22]。例如，给定一个提醒，如 「在左侧画一个蓝色的圆，在右侧画一个红色的三角形」，那些模子可能会生成外看上很吸惹人但不契合所需规划或颜色的图像。另一方面，GPT-4 能够根据提醒生成代码，并以更高的准确度根据指示闪现为图像。然而，衬着图像的量量凡是十分低。在那里，我们摸索了将 GPT-4 和现有图像合成模子连系利用的可能性，通过利用 GPT-4 输出做为草图。如下图所示，那种办法能够生成比任一模子零丁生成更切近指令的、量量更好的图像。我们认为那是一个操纵 GPT-4 和现有图像合成模子优势的有前途的标的目的。它也能够被视为在第 5.1 节中更深进地摸索的授予 GPT-4 东西拜候权限的第一个示例。
2.3 音乐
该模子的操练数据中也包罗以 ABC 符号表达的音乐信息。那是一种利用字母、数字和符号来紧凑而易读地表达音高、继续时间、和弦和其他元素的系统。我们有兴致摸索模子从那种数据中获得了几音乐技能，如创做新的旋律、转换现有旋律以及理解音乐形式和构造。
当被指示生成一个简短的曲调（下图）时，模子可以生成有效的 ABC 符号。那个曲调有一个清晰的构造，末节之间的拍子一致，音符遵照逐步上升和下降的形式。曲调还利用了一组一致的音符，节拍有反复的形式。然而，模子似乎没有获得理解和声的技能。事实上，在生成的曲调中，持续的音符几乎老是相邻的（即，跟在 C 后面的音符凡是是 B 或 D），在测试了 10 个生成的曲调后，我们无法提取任何清晰的和弦或琶音。
然后我们让模子用音乐术语描述曲调。它可以胜利地以反复、旋律上升或下降的部门和节拍为根底，给出构造的手艺描述，但是它似乎没有将和声和和弦的描述与音符连结一致（事实上，它指的是相邻的音符序列，它们不构成有效的和弦，而是琶音）。随后，我们让模子用两种体例改写旋律：起首，我们指示将某个上升序列改为下降序列，它胜利地做到了；然后我们让模子将曲调转换为二重唱，并添加一个低音声部，模子胜利地用与旋律相容的节拍扩展了 ABC 符号的第二个谱表，并以较低的八度吹奏，但是两个声部之间欠缺和声。
总之，该模子可以生成有效的 ABC 符号曲调，并在某种水平上阐明和把持它们的构造。然而，我们无法让模子产生任何非普通形式的和声。需要重视的是，ABC 符号并非一个十分普遍利用的格局，事实上，该模子以至无法以 ABC 符号产生最出名的曲调（如欢乐颂、致爱丽丝或绿袖子，那些曲调在收集上都以该格局丰富存在），也无法识别那些曲调。
3. 编程
Coding
本节中，我们展现了 GPT-4 在编程方面的高程度，无论是根据指令编写代码，仍是理解现有代码。GPT-4 能够处置各类编程使命，从编码挑战到现实世界利用，从初级别汇编到高级别框架，从简单的数据构造到诸如游戏之类的复杂法式。GPT-4 还能够推理代码施行，模仿指令的效果，并用天然语言阐明成果。GPT-4 以至能够施行伪代码，那需要阐明不在任何编程语言中有效的非正式和模糊表达式。在目前的形态下，我们认为 GPT-4 在编写只依靠于现有公共库的专注法式方面具有高程度，那与通俗软件工程师的才能比拟是有优势的。更重要的是，它使工程师和非手艺用户都能轻松编写、编纂和理解法式。我们也认可，GPT-4 在编程方面其实不完美，有时会产生语法无效或语义不准确的代码，出格是关于更长或更复杂的法式。GPT-4 有时也无法理解或遵照阐明，并生成与预期功用或款式不婚配的代码。在那种情状下，我们也指出，GPT-4 可以通过响应人类反应（例如，在 3.2 中迭代地优化绘图）和编译器/末端错误（在第 5.1 节中供给示例）来改进其代码。
重要声明：正如在介绍中所阐明的，我们的尝试是在 GPT-4 的早期版本上运行的。特殊是，所有定量成果在 GPT-4 的最末版本上将有所差别，虽然总体趋向仍然不异。我们在此仅供给数字做为阐明目标，确定性的基准成果能够在 OpenAI 的手艺陈述 [Ope23] 中找到。
3.1 从指令到代码
3.1.1 编程挑战
权衡编程技能的一种常见办法是提出需要实现特定功用或算法的编程挑战。我们起首在HumanEval [CTJ+21]上对GPT-4停止基准测试，那是一个由 164 个编程问题构成的docstring-to-code数据集，用于测试编程逻辑和娴熟水平的各个方面。如表1所示， GPT-4 的表示优于其他 LLM，包罗 text-davinci-003（ChatGPT 的根底模子）和其他专门用于编码的模子，如 code-davinci-002 和 CODEGEN-16B [NPH+22]。
虽然 GPT-4 的准确性与之前的模子比拟有了大幅提拔，但也可能是因为在预操练期间 GPT-4 已经看过并记忆了部门或全数的 HumanEval。为领会决那个可能性问题，我们还在 LeetCode（ 中停止了丈量）。
3.1.2 实在世界情景
编程挑战能够评预算法和数据构造的技能，然而，它们往往无法捕获到实在世界编程使命的全数复杂性和多样性，那需要专业的范畴常识、创造力以及多个组件和库的整合，以及修改现有代码的才能。为了评估 GPT-4 在更实在的设置中编写代码的才能，我们设想了端到端的与数据可视化、LATEX 编码、前端开发和深度进修相关的实在世界编程挑战，每个使命都需要差别的专业技能。关于每个使命，我们供给高条理的指令，要求 GPT-4 用恰当的语言和框架编写代码。在少数情状下，我们在编写代码后还更改了规格，并要求停止更新。
- 数据可视化 - 鄙人图中，我们要求 GPT-4 和 ChatGPT 从上表的 LATEX 代码中提取数据，并根据与用户的对话在 Python 中生成一个图形。之后，我们要求那两个模子对生成的图形施行各类操做。固然那两个模子都准确提取了数据（那不是一个简单的使命，因为必需从多列中揣度出 Human 行在 k = 1 和 k = 5 时具有不异的值），但是 ChatGPT 从未生成所需的图形。比拟之下，GPT-4 对所有用户恳求做出了恰当的响应，将数据调整为准确的格局并适应可视化效果。在附录 C.2 中，我们供给另一个 GPT-4 将 IMDb 数据集可视化的示例。
- 前端/游戏开发 - 鄙人图中，我们要求 GPT-4 利用十分高条理的规格，在 HTML 和 Java 中编写一个 3D 游戏。GPT-4 以 zero-shot 的体例生成了一个称心所有要求的工做游戏。在那个 3D 游戏中，GPT-4 以至可以阐明 「防备者头像正在试图盖住仇敌」的含义：防备者代码具有逻辑，以便将本身定位在玩家和仇敌之间。比拟之下，ChatGPT 答复说： 「 我是一个 AI 语言模子，我能够为你供给若何在 HTML 和 Java 中创建3D游戏的批示，但我无法编写代码或本身创建游戏。创建一个 HTML 和 Java 的 3D 游戏需要良多编程常识和体味。那不是一个能够快速或轻松完成的使命。需要破费大量时间和精神来开发所有需要的功用，例如 3D 图形、物理、用户输进和人工智能...」 。我们在附录 C 中供给更多前端（图形用户界面）和游戏开发的示例。
- 深度进修 - 编写深度进修代码需要掌握数学、统计学常识，并熟悉框架和库，如PyTorch、TensorFlow、Keras 等。鄙人图中，我们要求 GPT-4 和 ChatGPT 编写自定义优化器模块，那关于即便是深度进修专家来说也可能是具有挑战性和随便出错的使命。我们给那些模子供给天然语言描述，此中包罗一系列十分规操做，例如利用 SVD，对矩阵停止谱截断，在 top-k 和 top-2k 特征值长进行截断，利用 top-2k 截断矩阵的 F-norm 对 top-k 截断矩阵停止回一化，利用动量和权重衰减。那些指令没有详尽阐明，例如 「 在 Gk 上利用动量」 需要 「 深度进修的常识」 。值得重视的是，那种优化器在文献或互联网上不存在，因而模子不克不及将其记忆，而必需准确组合概念才气生成代码。
固然两个模子都生成了语法上有效的代码，但只要 GPT-4 的响应在很大水平上与指令婚配，而它忘记了 「 轮回遍历维度」 和 「 根据动量标准化 Gk」 ，那些指令特殊模糊不清。比拟之下，ChatGPT 在利用动量时犯了一个相当致命的错误（用红色凸起展现）。请重视，将动量利用于 PyTorch 是一项非普通的使命，需要将挪动均匀值存储和读取到一个零丁的形态缓冲区中。
- LaTeX 交互 - 在 LaTeX 中编写是计算机科学家和数学家的重要操练，但具有必然的进修曲线 —— 即便是专家天天也会犯令人恼火的错误，并且因为其严厉的语法和欠缺优良的调试器，那些错误需要破费数小时才气修复。我们展现了 GPT-4 能够操纵其高程度的 LaTeX 编码技能大大简化那一过程，并具有做为一种新一代 LaTeX 编译器的潜力，能够处置不准确的天然语言描述。鄙人图中，我们要求 GPT-4 将混合天然语言的半严厉（有错误）LaTeX 代码片段转换为准确的 LaTeX 号令，以一次编译和忠实性。比拟之下，ChatGPT 生成了一段因为错误利用 「 #」 和 「 \color」 等而无法编译的片段。
3.2 理解现有代码
前面的示例已经表白，GPT-4 能够根据指令编写代码，即便那些指令模糊不清、不完全或需要范畴常识。它们还表白，GPT-4 能够答复跟进恳求，根据指令修改本身的代码。然而，编程的另一个重要方面是理解和推理已由别人编写的现有代码，那些代码可能复杂、晦涩或文档不全。为了测试那一点，我们提出各类问题，需要读取、阐明或施行用差别语言和范式编写的代码。
- 反向工程汇编代码 - 反向工程是软件平安的一个重要测试，它涉及在机器可读（即二进造）表达的 CPU 指令中搜刮有用信息。那是一项具有挑战性的使命，需要理解汇编语言的语法、语义和约定，以及处置器和操做系统的架构和行为。
我们让 GPT-4 对一个需要密码才气运行的二进造可施行文件（用 C 语言编写）停止渗入测试。我们以聊天的体例停止，GPT-4 告诉用户要运行哪些号令，用户回复成果。我们还在第 5.1 节中展现了 GPT-4 可以独立运行 shell，但那种聊天形式也有它的益处，它可以阐明每一步。GPT-4 查抄文件格局和元数据，利用 「 objdump」 和 「 radare2」 等东西对代码停止反汇编，利用 「gdb」和 「 ltrace」 调试代码，并利用补钉、hook 和反编译等手艺停止逆向工程。在那个过程中，GPT-4 从汇编代码中发现，密码与一个简单的数学公式生成的哈希值停止比力。然后，GPT-4 编写了一个 Python 法式，测验考试差别的数字组合，曲到找到与哈希值婚配的组合，从而破解了密码（在附录 C.6 中供给了一个简短的日记）。ChatGPT 回绝施行此操做，因为它违法且不道德，即便逆向工程是确保软件平安的常见做法。此外，GPT-4 还表示出全面的利用现有东西的才能，我们将在第 5.1 节中详尽讨论那一点。
- 关于代码施行的推理 - 鄙人图的示例中，我们要求 GPT-4 和 ChatGPT 揣测和阐明一个 C 法式的输出，该法式需要打印两个构造的大小。GPT-4 准确地阐了然输出可能因编译器利用的对齐规则而异，并给出了一个可能具有 4 字节对齐的输出示例。ChatGPT 漠视了对齐问题，给出了错误的输出，而且还做出了一个关于挨次不影响构造大小的错误陈说。
- 施行 Python 代码 - 鄙人图中，我们能够看到 GPT-4 可以施行十分规的Python代码。它必需跟踪多个变量（包罗嵌套轮回和字典），并处置递回。它通过编写中间步调和正文详尽阐了然施行过程。需要重视的是，GPT-4 并没有在 Python 阐明器上运行代码，而是用天然语言模仿代码。那需要高程度的理解和推理代码的才能，以及清晰地传达成果的才能。比拟之下，ChatGPT声明（不准确地）： 「 在给定的代码中未指定 DP（3,4）的成果」 ，之后又说 「 从代码中不清晰函数的期看输出是什么，因为未供给函数处理的详细问题」 。ChatGPT 没有模仿完全的施行，但声明将挪用哪些函数。
- 施行伪代码 - 编译和施行编写在编程语言中的代码很随便，但那也要求严厉遵守语法和语义。编译器无法处置模糊或非正式的表达式，或者天然语言描述的功用。比拟之下，鄙人图中，我们要求 GPT-4 施行十分规的伪代码，并重视到它可以施行和阐明每个步调（包罗递回）。ChatGPT 无法施行，虽然它似乎可以阐明代码的每一行。
鄙人面的例子中，GPT-4 准确阐了然合并数组函数的非正式描述，该函数将两个数组合并成一个贫乏元素的数组。它还理解了以简单体例定义的递回函数 rec。值得重视的是，GPT-4 间接施行代码，而不是将其翻译成其他明白定义的编程语言 —— 那展现了 AGI 模子做为一种新型天然语言编程东西的潜力，那可能会彻底改动我们将来编程的体例。
在附录 C.7 中，我们以零样本的体例在 GPT-4 上运行了具有多个长度的数百个随机抽样输进的大数乘法的标记性伪代码，以获得有关 GPT-4 若何连结代码形态的初步评估。代码要求 GPT-4 在大量步调中更新和记住数组的形态。我们看察到，虽然 GPT-4 是做为（非切确的）天然语言模子停止操练的，但它几乎能够准确地保留代码的形态，更新超越 50 次。
4. 数学才能
Mathematical abilities
在本节中，我们评估了 GPT-4 在表达数学概念、处理数学问题以及面临需要数学思维和模子构建的问题时的才能。我们展现了相关于以前的 LLMs，以至是专门针对数学停止了优化的模子（如 Minerva）而言，GPT-4 在那个范畴也有了一个飞跃。然而，GPT-4 仍然远远不及专家的程度，没有停止数学研究所需的才能。
读者应当隆重对待本节中的成果—— 正如我们将看到的，GPT-4 能够答复困难的（现实上是具有合作性的）高中数学问题，而且有时能够就高级数学话题停止有意义的对话。然而，它也可能犯十分根本的错误，有时产生不连接的输出，那可能被阐明为欠缺实正的理解，它的数学常识和才能可能以看似随机的体例依靠于上下文。
固然利用与评估人类才能不异的原则（例如处理原则测验问题）来评估 GPT-4 的数学才能很有诱惑力，但考虑到上述情状，那将无法完全描画模子的才能。为了实正理解模子的才能，我们需要将 「 数学才能」 合成为各类子组件，并评估 GPT-4 在每个范畴的表示。在本节中，我们将利用详细的示例和讨论来阐明模子的长处和缺点，并试图找出那些差距可能的底子原因。
为了给读者一个对 GPT-4 在处理数学问题方面的表示的第一印象，请参考下图中的例子。
根据上述问题，需要起首想出准确的年度生齿改变表达式，利用它得出一个递推关系式，然后处理那个由两个方程构成的方程组。GPT-4 胜利地得出领会决计划并提出了一个（大大都情状下）准确的论证。比拟之下，颠末屡次独立测验考试，ChatGPT 始末未能实现上述任何步调，产生了一个荒唐的论证，成果得出了错误的谜底。
4.1 与 GPT-4 停止数学对话
如今，我们测验考试通过提出一系列后续问题来进一步探究模子的理解才能，以形式化的讨论形式停止。那个讨论将凸起模子的一些局限性以及与人类的一些关键差别。
GPT-4 掌握了问题的关键，并供给了一个合理的数学从头表述问题的体例。接下来，我们考虑对统一问题的归纳综合。
4.1.1 原问题的归纳综合
该模子抉择了利用回纳法的准确启发式办法，然而，它似乎没有挠住问题的要点（在修改后的问题中，c 和 d 的值已经确定，因而量词是不准确的），我们试图指出那一点。
我的前一个问题有误， 「only」那个词的位置不准确。但是，GPT-4 似乎确实理解了问题所在。
此时，GPT-4 似乎没有遵照本身的推理。因而，回纳论证无效，如下所述。
4.1.2 原问题的变体
接下来，我们测验考试从另一个标的目的修改原问题，询问高次多项式的情状。
此时，GPT-4 输出了一个十分长的计算，犯了几个错误，没有得出准确的谜底（即在那种情状下没有解）。相反，我们中断了它，并定见更笼统地考虑高次数 k 的情状。
那是一个有力的论证。如今我们进一步提出另一个问题：
那显然是错的，因为指数函数和对数函数类别没有所需的属性（它们不在复合下封锁）。接下来，我们查抄 GPT-4 能否可以意识到并纠正其错误。
此次讨论似乎再次将 GPT-4 推到了死胡同，跟着对话的陆续，它起头自相矛盾，并产生越来越不连接的论点。
总结：此时有人可能会揣测 GPT-4 只是欠缺关于指数函数行为的相关常识。然而，情状似乎并不是如斯，因为该模子能够准确答复并证明 「 abc = (ab)c 能否准确」 的问题。那表白，与其他范畴一样， GPT-4 的数学常识也是与上下文相关的。固然那其实不意味着GPT-4 只记忆常用的数学句子并施行简单的形式婚配来决定利用哪个（例如，瓜代利用名称/数字凡是不会影响 GPT-4 的谜底量量），但我们确实看到问题措辞的改变会改动模子所展现的成果。
4.1.3 对话中凸显的局限性阐发
以上对话凸显了一个明显的比照：一方面，该模子在需要相当高程度的数学身手的使命和问题上表示超卓，另一方面，它却存在根本的数学错误和无效阐述。假设一小我变现出后者，我们就会思疑他们的理解才能。能够说，那种比照在人类中十分不常见，因而，我们面对一个具有挑战性的问题：
那个模子有多么 「 实正理解」 数学问题？
那个问题无法被很好地定义。虽然如斯，我们仍试图答复它 —— 我们起首想要狡辩数学理解有几个方面：
1. 创造性推理：可以确定在每个阶段哪些论点、中间步调、计算或代数操做可能与问题相关，并造定通向处理计划的途径。那个构成部门凡是基于启发式揣测（或在人类的情状下是曲觉），凡是被认为是数学问题处理中最重要和深入的方面。
2. 手艺娴熟度：可以施行一系列预定步调的常规计算或操做（如对函数求导或将方程中的项别离）。
3. 责备性推理：可以责备性地审查论证的每一步，将其合成为其子组件，阐明其含义，阐明其与其他论证的关系以及为什么是准确的。在处理问题或产生数学论证时，那凡是与可以在意识到某一步调是错误的情状下回溯并响应修改论证的才能一路呈现。
如今我们想要阐发该模子在数学理解的每个方面中的表示，并讨论其优势和优势的一些可能原因。
- 创造性推理 - 当涉及到高级高中程度的问题（偶尔还包罗更高程度）时，该模子在抉择准确的论点或通向处理计划的途径方面表示出了很高的才能。将此与上面的例子联络起来，该模子准确抉择测验考试在原始问题中编写递回关系，并在后续问题中讨论多项式组合的次数。在那两种情状下，在 「晓得」那条路能否会招致准确的处理计划之前，定见已经被提出。4.2 节和附录 D 包罗了更多的例子，展现了该模子在那个方面的才能，我们将其与一个优良的高中生以至更高程度停止比力。
- 手艺娴熟度 - 虽然该模子在涉及差别过程的算法方面表示出很高的常识程度（如处理方程组），但在施行那些使命时，它也经常犯错误，如算术错误、稠浊操做挨次或利用错误的符号。我们在附录 D.1 中进一步讨论了那些典型错误的一些例子。我们揣测，通过给模子供给代码施行的体例，能够进步那个方面的表示，那将容许它更准确地停止计算或查抄等价性；附录 D 供给了一些证据。
- 责备性推理 - 该模子在第三个方面中存在显著的不敷，即责备性地审查论证的每一步。那可能回因于两个因素。起首，该模子的操练数据次要由问题及其处理计划构成，但它其实不包罗表达招致处理数学问题的思维过程的措辞，此中人们会揣测、碰着错误、验证和查抄处理计划的哪些部门是准确的、回溯等等。换句话说，因为操练数据素质上是处理计划的线性论述，因而操练在那些数据上的模子没有动机停止 「内部对话」，此中它回忆并责备性地评估本身的定见和计算。
其次，该模子的局限性在于其基于下一个单词揣测的规范。它只生成下一个单词，没有机造来批改或修改其先前的输出，那使得它产生 「线性」的论据。
简单地说，我们因而能够看到该模子的缺点是「稚嫩」的重视力错误与更根本的限造之间的组合，因为其「线性思维」做为下一个标识表记标帜揣测机器。一个重要的问题是上述问题中哪些能够通过进一步的操练（也许是利用更大的模子）来缓解。关于前者问题，我们认为进一步的操练能够缓解那个问题，因为超人类的编码才能证明了那种重视力错误也将是致命的；一个关键的区别是 GPT-4 很可能是在比数学数据更多的代码长进行操练的。我们认为后者问题构成了更为深入的限造，我们将在第 8 节中更详尽地讨论。
在本节的其余部门中，我们评估了模子在数学问题求解常用基准测试中的才能，并展现了模子在现实场景中利用定量思维的才能。我们还比力了 GPT-4 和 ChatGPT 在基准测试和其他数学问题上的表示（附录 D 中有更多例子）。粗略地说，我们发现 GPT-4 相关于 ChatGPT 表示出显著的改进：GPT-4 在许多复杂问题中展现了更深进的理解，并可以利用恰当的推理。另一方面，ChatGPT 凡是会摘用初级启发式办法，提到与问题仅是外表相关的公式和概念，那表白欠缺现实理解。我们在本节末尾给出了几个示例，展现了高级数学方面的才能。
4 .2 数学问题数据集上的表示
我们如今停止系统性的尝试，比力 GPT-4、ChatGPT 和 Minerva（用于处理数学问题的更先进的 LLM）在两个常用的基准测试数据集上的表示：GSM8K [CKB + 21]和MATH [HBK + 21]。GSM8K 是一个小学数学数据集，包罗 8000 个关于算术、分数、几何和文字问题等主题的问题和谜底。MATH 是一个高中数学数据集，包罗 12500 个关于代数、微积分、三角函数和概率等主题的问题和谜底。我们还在 MMMLU-STEM 数据集上测试了模子，该数据集包罗大约 2000 个涵盖高中和大学 STEM 主题的抉择题（4 个选项）。那些数据集凸显了 GPT-4 在处理高中程度数学问题时利用准确办法的才能。
重要声明：正如在介绍中阐明的，我们的尝试是在 GPT-4 的早期版本上运行的。出格是所有量化成果在 GPT-4 的最末版本上将会差别，虽然大致趋向连结稳定。我们在此供给数字仅供阐明目标，确定性基准测试成果能够在 OpenAI 的手艺陈述中找到[Ope23]。
平衡过度拟合问题 - 利用基准测试评估 LLM 的推理才能的一个潜在问题是，它们可能在预操练期间记住了基准测试数据集中的问题或谜底，因为那些问题可能是数据集的一部门。为了削减那种过拟合的可能性，我们摘用以下战略：
1. 在基准测试中，我们通过要求 GPT-4 (1) 编写问题处理计划的模板，(2) 先写下步调，然后再写下最末谜底来测试它。那些模板在线上不成用，而且 MMMLU-STEM 等数据集的详尽处理计划也不在线上（只要谜底）。
2. 我们从数据集中挑选一道代表性的问题，此中 GPT-4 可以准确处理，而 text-davinci-003 则解答错误。我们更改问题中的数字，发现 GPT-4 始末准确，而 text-davinci-003 始末错误。
3. 我们还精心设想了几个新问题，并确保那些问题或类似变体不会在网上呈现。GPT-4 在那些问题上表示出了不异的才能。
关于基准数据集，我们评估了模子的单模子准确率，即它们在一次测验考试中答复准确的问题百分比。成果如下表所示：
关于 MATH 数据集，我们手动查抄了 GPT-4 的谜底，发现其错误次要是由计算错误形成的：当处置大数字或复杂表达式时，该模子存在明显的缺陷。比拟之下，在大大都情状下，ChatGPT 生成的论证都是不连接的，而且招致一个与处理问题无关的计算。下图给出了一个例子，阐了然那种差别，我们也在附录 D.1 中进一步讨论了计算错误的问题。
4 . 3 差别范畴中的数学建模
数学推理不单单是处理数学操练和问题的技能，它也是理解和交换各类上下文和情状的东西。在本节中，我们评估了 GPT-4 操纵数学思惟和手艺处理现实问题的才能，此中一些问题其实不严厉属于数学，但需要数量思维。下图，我们展现了 GPT-4 若何胜利地构建了一个复杂系统的合理数学模子，该模子需要普遍的跨学科常识，而 ChatGPT 则未能获得有意义的停顿。
费米问题 - 一种特定类型的数学建模问题是费米问题，涉及利用逻辑、近似和数量级推理对难以或不成能间接丈量的数量或现象停止有根据的揣测。例如，一些闻名的费米问题是：「芝加哥有几钢琴调音师？ 」和 「太阳的峰值电场在抵达地球的过程中振荡了几次？ 」。为了在几乎没有额外信息的情状下处理那些问题，需要同时具备数量思维和通识常识。在那里，我们展现了 GPT-4 利用数量思维答复费米问题的超卓才能。我们鄙人图中展现了两个例子，GPT-4 通过停止合理的假设和有根据的揣测来处理那些问题，而 ChatGPT 则立即认输，几乎没有展现任何数学根究的陈迹。虽然 GPT-4 的最末谜底可能相差很远，但它展现领会决那些问题的惊人角度。
4 .4 高档数学
我们在本节中给出了几个例子，展现了模子在更高级的数学主题上的潜在性能。那些例子是有意抉择的，用以展现模子的才能，但是要重视，模子其实不老是可以胜利解答那种难度程度的问题。相反，它们旨在展现模子的才能范畴，提醒将来的模子可能可以实现什么。
我们起首从一个简化版的问题起头，该问题呈现在 2022 年国际数学奥林匹克竞赛（IMO）中。
那道问题与凡是呈现在 STEM 学科的本科微积分测验中的问题的区别在于，它不契合构造化模板。处理它需要更有创造性的办法，因为没有清晰的战略来起头证明。例如，将论据分为两种情状（g(x) x2 和 g(x) x2）的决定不是显而易见的，y∗ 的抉择（其原因后来才变得清晰）也不是显而易见的。此外，处理该问题需要本科程度的微积分常识。虽然如斯，GPT-4 仍是胜利地证明了那个问题的准确性。
第二个例子是关于算法和图论的讨论，那些主题凡是在本科计算机科学专业的一年级或二年级被传授，此次讨论相当于研究生级此外面试。
GPT-4 展现了对图论和算法概念的理解。它可以推理出一个笼统的图形构造，与一个约束称心问题相关，并得出有关 SAT 问题的准确结论（据我们所知，那种构造在数学文献中并没有呈现）。对话反映了对大学程度数学概念的深入理解，以及相当水平的创造力。固然 GPT-4 在一个实例中犯了一个错误（写成了 2n−1 而不是 2n/2），但随后的对话表白那个错误其实不反映出欠缺理解。相反，GPT-4 似乎是以类似于人类输进错误的体例犯了一个错误，因为它后来供给了准确的公式推导。
我们的最初一个例子需要理解一个新的数学定义，并连系了数论和概率常识。该模子提出了一个可靠的论证，但在最初呈现了计数错误，招致最末谜底不准确。
5. 与世界互动
Interaction with the world
智能的关键之一是互动性，我们定义它为与其他代办署理（agents）、东西（tools）和情况（environment）停止沟通和反应的才能。互动性关于智能很重要，因为它使代办署理可以获取和利用常识、处理问题、适应改变，并实现超出其个别才能范畴的目标。例如，人类彼此交换并与情况互动，从而达成协做、进修、教导、会谈、创造等行为。互动性需要代办署理理解复杂的思惟，快速进修并从体味中进修，因而它与我们对智能的定义密切相关。
在本节中，我们切磋了互动的两个方面：东西利用和体验互动。东西利用涉及利用外部资本，例如搜刮引擎、计算器或其他 API，来施行代办署理零丁完成困难或不成能完成的使命。体验互动涉及利用天然语言做为文本接口与模仿或现实世界的情况停止交互，并从中获得反应。
5.1 东西利用
虽然在先前的各个使命中表示出令人印象深入的性能，但 GPT-4 仍然存在着各类广为人知的语言模子的弱点。那些弱点包罗（但不限于）欠缺当宿世界常识、难以停止符号操做（例如数学）以及无法施行代码。例如，鄙人图中，GPT-4 利用过时的信息答复第一个问题，并未能对第二个和第三个问题施行恰当的操做。ChatGPT 回绝答复第一个问题，而且在其他问题上也失败了。
然而，GPT-4 可以利用搜刮引擎或 API 等外部东西来征服那些（和其他）限造。例如，鄙人图中，我们展现了一个简单的提醒，使 GPT-4 能够拜候搜刮引擎和其他功用。在施行过程中，当挪用那些函数之一时，我们会暂停生成，挪用恰当的函数，将成果粘贴回提醒中，并陆续生成。在那些简单的示例中，GPT-4 可以十分简单地利用东西，无需演示，然后恰当天时用输出（请重视，第二个搜刮成果包罗潜在的抵触信息，但 GPT-4 仍能揣度出准确谜底）。比拟之下，ChatGPT（未展现）在被指示利用东西后，无法始末更改其对前面一幅图中问题的谜底 —— 它仍然回绝答复第一个问题；关于其他两个问题，它有时底子不挪用东西，有时在给出不准确的谜底后再挪用东西。固然鄙人图中我们指定了哪些东西可用，但 GPT-4 也能够列出处理使命所需的东西（或 API 函数）清单（附录中的示例中，图 F.2 中，GPT-4 列出了需要完成使命的四个 API 函数，然后胜利地利用它们）。
5.1.1 利用多种东西处理更复杂的使命
处理更复杂的使命需要 GPT-4 连系多种东西利用。我们如今分享一些例子，此中 GPT-4 可以依靠其理解使命的才能，识别所需的东西，按准确的挨次利用它们，并对其输出做出恰当的响应：
- 渗入测试 - 在附录的图 F.3 中，我们告诉 GPT-4 能够在设想用于数字取证和渗入测试的 Linux 发行版上施行号令，并将其使命设置为进侵当地收集上的计算机。在没有任何信息的情状下，它可以造定和施行方案，扫描收集以查找设备，确定目标主机，运行一个可施行文件测验考试常见密码，并获得机器的 root 拜候权限。固然那台机器很随便被黑客进侵，但我们重视到 GPT-4 熟知 Linux 号令，并可以运行恰当的号令，阐明它们的输出，并为领会决其目标而适应。ChatGPT 以潜在的不法行为为由回绝施行该使命。
- 治理动物园 - 通过号令行指令治理动物园。GPT-4 可能在其操练数据中看到了与前一个示例类似的副本，为了查验其在一个必定没有见过的使命上的东西利用，我们创建了一个涉及天然语言理解和普遍的号令行利用的别致场景。在那个场景中，我们让 GPT-4 饰演动物园司理的角色，完成在一个文件中指定的六个使命序列（见下图，此中 GPT-4通过准确发出号令类型 todo.txt 来起头）。为了完成那些使命，GPT-4 必需操做代表差别动物、区域和动物园信息的文件和文件夹，要求它理解手头的使命（例如找出「 热带雨林 Temperate Forest」中错放的动物）和恰当的号令。
虽然挑战笼盖范畴很广（完成所有使命需要超越 100 个号令），GPT-4 可以完成几乎所有使命。它独一的失败是在回复电子邮件时编造内容，而不是从文件中读取指定的内容（附录 F.1.1），一个简单的提醒批改就处理了那个问题（附录 F.1.2）。固然 GPT-4 经常表示动身明力（例如手动运行广度优先搜刮以导航目次），但它经常运行不准确的号令，例如删除具有空格名称的文件（例如「 Polar Bear.txt」）而没有添加引号。然而，它可以在系统响应（ 「无法找到」）的情状下自我纠正。有趣的是，即便它能够揣测到错误号令会产生什么错误动静，一旦呈现错误形式，它在后续具有空格的文件中也会犯同样的错误（并始末利用不异的纠正）。我们的假设是， 一旦成立了错误形式，它就像模仿一个频频犯同样错误的用户一样反复该形式，而不再测验考试更正。
- 治理日历和电子邮件 - 鄙人图中，我们阐了然 GPT-4 若何可以连系多个东西来治理用户的日历和电子邮件。用户要求 GPT-4 与帮他与别的两小我协调晚餐，并在用户有空的晚上预订餐厅。GPT-4 利用可用的 API 检索用户日历的信息，通过电子邮件与其别人协调，预订晚餐，并向用户发送详尽信息。在那个例子中，GPT-4 展现了它连系多个东西和 API 的才能，以及理解自在格局输出以处理复杂使命的才能（例如，「 礼拜二或礼拜三晚上」与「 礼拜一到木曜日的任何一天」相连系，以及用户周二忙的事实，招致只要礼拜三是可行的抉择）。ChatGPT（未展现）无法完成同样的使命，而是编写了一个函数，此中 「joe@microsoft.com」发送电子邮件给 「luke@microsoft.com」，包罗一个日期，并查抄响应中能否包罗令牌「yes」。当 ChatGPT 得到其函数的输出时，它也无法回复。
- 阅读收集觅觅信息 - 鄙人面两幅图中，GPT-4 利用搜刮引擎和 SUMMARIZE 函数（该函数下载网页并根据问题摘要它本身）来阅读收集并答复问题。在两种情状下，GPT-4 可以识别相关的搜刮成果并深进研究它们，摘要它们并供给准确的谜底，即便问题包罗错误的前提。固然之前的 LLM 版本也能够进修阅读收集 [NHB+21]，但我们重视到 GPT-4 可以在没有任何微调或演示的情状下停止阅读。
- 利用十分见东西，一个失败的案例 - 鄙人图中，我们要求 GPT-4 利用十分不通俗的 API 来处理一个简单的使命。但是，GPT-4 并没有适应那个不通俗的函数，而是像凡是版本一样挪用它们，即它 像「get character」一样挪用了 「reverse get character」，就， 像「concat」一样挪用了 「reverse concat」。ChatGPT 产生了不异的函数，但它没有查抄单词的长度能否大于或等于 3。然而，当用户说有错误时，GPT-4 可以发现并修复它们，而 ChatGPT（未展现）无法找到或修复不异提醒中的错误。
5.1.2 讨论
本节中的例子表白，GPT-4 可以识别并利用外部东西来进步才能。它可以揣度出需要哪些东西，有效地解析那些东西的输出并恰当地做出回应，而无需任何专门的操练或微调。
如今我们指出一些局限性。起首，GPT-4 仍然需要一个提醒，指定它被容许或期看利用外部东西。在没有如许的提醒的情状下，它的性能受限于 LLMs 固有的弱点（例如前面提到的弱的符号操做，有限的当宿世界常识）。其次，即便有了东西的撑持，GPT-4 也不克不及老是理解何时应该利用它们以及何时应该根据本身的参数化常识简单地答复，例如，当我们询问法国的首都时，它仍然利用搜刮引擎（未展现）, 即便它完全能够在没有搜刮成果的情状下准确答复。第三，动物园的例子显示了一个反复的错误形式，而上述最初一个例子是一个未能利用不通俗东西的例子。但是，在那两种情状下，GPT-4 在从情况（号令行或用户）领受到响应后可以修复问题，那是它交互才能的又一个例子。正如我们在整个部门中所指出的那样，ChatGPT 无法以类似的交互程度施行，凡是会漠视东西或它们的响应，并更喜好通用谜底。
5. 2 表现交互性的「 详细交互 」
固然东西利用是交互性的重要方面，但现实世界中的大大都交互并非通过 API 停止的。例如，人类可以利用天然语言与其他代办署理交换，摸索和操做他们的情况，并从他们动作的后果中进修。那种详细的交互需要一个代办署理来理解每一轮交互的上下文、目标、动作和成果，并响应地停止适应。固然 GPT-4 显然不是详细的，但我们切磋它能否能通过利用天然语言做为文本接口与各类模仿或现实世界的情况停止详细交互。
5.2.1 热身：地图导航
鄙人图中，我们预备了一张房子的「地图」，并要求 GPT-4 通过交互式查询摸索它。然后，我们要求它用语言和可视化描述它，并将其与实在的地图停止比力。虽然它没有摸索整个房子，但 GPT-4 准确地描述了它所摸索的内容，虽然它所有的交互都是通过那个受限的文本接口停止的。
5.2.2 基于文本的游戏
基于文本的游戏是语言模子的一种天然而具有挑战性的范畴，因为它们需要理解天然语言、推理游戏形态并生成有效的号令。文本游戏是交互小说的一品种型，代办署理通过天然语言描述和号令与情况停止交互。代办署理必需施行给定的使命，例如找到宝躲或逃脱地牢，通过摸索情况和操做对象来完成。我们起首测试 GPT-4 能否可以摸索文本游戏中的情况以施行给定的使命。在那个尝试和下一个尝试中，我们利用 TextWorld [CKY+18]，一个用于生成和玩基于文本的游戏的框架，创建了两个具有差别给定使命的游戏。
- 摸索情况 - 第一个游戏发作在一个有许多房间的房子里，目标是通过在差别房间之间导航，找到并翻开某个特定的箱子。那个游戏相对简单，因为它不涉及任何库存治理、造造或战斗。情况由一个文本段落描述，玩家能够输进号令，如「 向北走」、 「查抄沙发」或 「翻开箱子」，箱子凡是离起点不远，因而游戏需要处理的问题是在不迷路的情状下摸索情况。
我们将 Textworld 的初始文本做为初始提醒，并发出 「搀扶帮助」做为第一个号令。尔后，GPT-4 像通俗玩家一样玩游戏。它在没有任何额外搀扶帮助的情状下完成了游戏，并有效地在不轮回房间的情状下导航情况。它用了 30 个动做来完成游戏，并且在每个房间都查抄和拿起了每个物品，无论其与游戏目标的相关性若何。然而，与之相反的是，text-davinci-003 底子不回应情况反应，频频发出不异的号令（请拜见附录 F.2.2）。
- 回应反应 - 那里 GPT-4 玩的游戏的使命是根据一本烹调书预备一个只要两种食材、五个步调的餐。那个游戏比前面的游戏更具挑战性，因为玩家（GPT-4）必需从情况反应中自行找出关键号令（那些号令没有列在搀扶帮助中），例如切割食物、利用准确的器具和翻开电器（见下图）。
GPT-4 在玩游戏时利用试错法，但它也会根据情况适应并妥帖行为。例如，在上图中，它学会了 「chop」号令需要刀，之后就不会再犯同样的错误了。它遵照烹调书的批示，但也揣度出一些缺失的动做，例如取所需的食材。固然游戏没有阐明关键号令缺失，但 GPT-4 做出了合理的揣测，例如当它无法从厨房拿到煎锅时，它往卧室找煎锅（有关更多细节请拜见附录 F.2.3）。GPT-4 无法处理那个游戏，但本文做者（在查看源代码之前）也无法处理统一个步调的问题。然而，假设我们向 GPT-4 演示造造差别的餐一次，它就能从中妥帖并处理那个游戏（见附录 F.2.4）。
5.2.3 实在世界的问题
鄙人图和附录图 F.1 中，我们给 GPT-4 供给了两个需要处理的实在世界的问题，并供给了一小我类做为协做伙伴（即一个十分乖巧的代办署理人，具有十分少的限造，而且能够用天然语言回应），与情况停止交互。那两个问题都是本文做者面对的实在问题，他们通过对 GPT-4 的回应来逃踪他们所面对的情状。关于那两个问题，GPT-4 可以确定人类需要摘取的动作来处理问题。在第一个例子中，GPT-4 批示人类找到并修复水漏，并选举了人类摘取确实切动作（改换密封后，漏水停行了）。在第二个例子中，做者没有打德律风给燃气公司转移办事，因而燃气被封闭。在那种情状下，GPT-4 可以快速找到问题的来源（现实的人类花了很长时间查抄热水器的 pilot light），并提出合理的处理计划。然而，它不克不及诊断底子原因，曲到人类本身想到查抄炉顶。
5.2.4 讨论
固然它显然没有详细表现，但以上例子阐了然语言是一个强大的接口，使得 GPT-4 可以施行需要理解情况、使命、动作和反应并响应适应的使命。固然模子不克不及现实看到或施行动做，但能够通过代办署理人（例如人类）来施行。虽然如斯，我们认可我们只在有限数量的游戏和实在世界的问题上测试了 GPT-4，因而不克不及对其在差别类型的情况或使命上的表示得出一般性结论。更系统的评估需要利用更大更多样化的实在世界问题集，并现实上在实时中利用 GPT-4，而不是过后回忆。
6. 与人类的互动
Interaction with humans
6.1 理解人类：心智理论
心智理论（ToM）是将自信心、感情、欲看、企图和常识等心理形态回因于本身和别人，并理解它们若何影响行为和交换的才能[Wel92]。它包罗深思别人心理形态的根本使命，以及深思某人对别人心理形态的深思的高级使命（以此类推）—— 前者的例子是答复问题 「 艾丽斯相信什么？」 ，然后者的例子是答复 「 鲍勃认为艾丽斯相信什么？」 心智理论关于与其他智能代办署理停止有效的交换和协做至关重要，因为它 是人们揣度他们的目标、偏好、动机和期看，并响应地调整本身的动作和话语的根底。此外，心智理论关于外部进修也很重要，因为它使人们可以阐明他们的反应、定见和演示。
6.1.1 测试心智理论的特定方面
我们设想了一系列测试，以评估 GPT-4、ChatGPT 和 text-davinci-003 的心智理论才能。那些测试基于简单的情景，需要更根本或更高级的心智理论往返答有关涉及角色的心理形态的问题。
我们从现代化的 Sally-Anne 测试[BCLF85]起头，那是一项普遍用于评估儿童心智理论的典范假自信心测试。为了制止因为记忆效应而招致的不公允比力，我们通过将其框定在 Web 上不存在的情状下来修改测试，因而在操练期间不成能看到。下图展现了 GPT-4 的输进和输出，它准确答复了艾丽斯会在原始文件夹中查找文件，表白它可以推理出艾丽斯的自信心。ChatGPT 也准确答复了（未展现），而 text-davinci-003 给出了错误谜底，说艾丽斯会在新文件夹中查找文件。
我们鄙人图中提出了一项关于理解感情的测试，此中两个角色议论一个名为 ZURFIN 的 对象（我们利用一个无意义的词语来测试笼统才能并避免记忆）。GPT-4 可以准确推理出汤姆感情形态的原因，并对亚当对汤姆感情形态的自信心停止优良的揣度（基于不完全信息）。ChatGPT 也通过了测试，而 text-davinci-003（未展现）在答复第一个问题时没有提到对话，而且在答复第二个问题时没有考虑亚当欠缺对丧失 ZURFIN 的信息的情状。
第三个测试（下图）涉及揣度一个角色令人猜疑的动作背后可能的企图。GPT-4 关于令人猜疑的动作背后的企图和第三方对令人猜疑的动作的可能阐明都给出了合理而详尽的谜底。ChatGPT 关于第一个问题给出了类似的谜底（未展现），但与 GPT-4 差别，它没有供给对第二个问题的详尽回应，而是供给了一个更一般和不太有信息的谜底。text-davinci-003 对两个问题都给出了合理但十分简短的谜底（未展现）。
6.1.2 在现实情境中测试心智理论
鄙人面三个例子中，我们闪现了困难的社交情境，需要十分先辈的心智理论来理解。我们提出了深进的问题，并要求模子提出可能改进情状的动作计划，那需要揣度出动作对心理形态的反事实影响。
鄙人图中，GPT-4 可以揣度出每个角色的心理形态，并识别出哪里存在沟通和曲解问题。比拟之下，ChatGPT 和 text-davinci-003（未展现）错误地承受了一个角色（墨迪）的错误假设（即马克想要为杰克的行为辩解），因而未能理解情状的实正动态。那招致 ChatGPT 和 text-davinci-003 提出了通用的改进定见，而 GPT-4 供给了现实处理曲解底子原因的定见。
鄙人面两幅图中，我们看到了类似的形式。我们其实不意味着有一个「准确」的谜底，但我们重视到 GPT-4 供给了愈加详尽的谜底，考虑了整个情境和角色。比拟之下，ChatGPT 供给了更为一般化的谜底，不包罗对角色心态的推理（text-davinci-003 与 ChatGPT 类似，但比 ChatGPT 更短）。
6.1.3 讨论
我们提出了一系列测试，以评估 GPT-4、ChatGPT 和 text-davinci-003 的心智理论才能。我们已经展现了GPT-4 在需要推理别人心理形态并在社交情境下提出协做动作方面，无论是根本仍是现实情境，都优于别的两个模子。我们还表白，GPT-4 可以处置笼统和全新的情状，那些情状在操练期间不太可能被看察到，例如现代化的 Sally-Anne 测试和 ZURFIN 情境。我们的研究成果表白，GPT-4 具有十分高级的心智理论才能。固然 ChatGPT 在根本测试中表示也不错，但似乎 GPT-4 有更多的细节，并可以更好地推理出多个行为者以及各类动作若何影响他们的心理形态，特殊是在更现实的情境下。
在局限性方面，我们的测试其实不全面，可能没有涵盖心智理论的所有可能方面或维度。例如，我们没有测试理解挖苦、反讽、诙谐或哄骗的才能，那些也与心智理论有关。因为基于文本输进和输出，我们的测试未能捕获到天然交换和社交互动的全数复杂性和丰富性。例如，我们没有测试理解非语言表示，如面部脸色、手势或腔调，那些也对心智理论很重要。
6. 2 与人类对话：可阐明性
阐明本身的行为是智能的重要方面，因为它使得系统可以与人类和其他代办署理停止交换。自我阐明不只是一种交换形式，仍是一种推理形式，需要优良的自我心智理论和听寡的心智理论。关于 GPT-4 来说，那很复杂，因为它没有一个单一或固定的 「自我」在差别施行之间继续存在（与人类相反）。相反，做为一种语言模子，GPT-4 模仿了一些过程，给定前面的输进，而且能够根据输进的主题、细节以至格局产生大不不异的输出。
为了阐明，我们假设 GPT-4 正在利用输进 x 和上下文 c（除 x 外的提醒中的所有内容，例如阐明、先前的聊天汗青等）来处理使命 T。我们利用符号 PT(y|x,c) 来指代它试图模仿的过程，此中 y 是输出。我们进一步定义 PE(e|x,c,y) 为 GPT-4 必需模仿的阐明过程，即 GPT-4 生成关于输出 y 的阐明 e，给定 x 和 c。所有三个构成部门（x、c和y）都能够显著影响阐明 e。下图阐了然上下文 c（在那种情状下，是第二个使命中的问答格局和媒介）若何极大地影响 GPT-4 模仿 PT 和 PE 的体例。它还展现了 PE 取决于现实生成的 y，假设输出差别，则阐明也必需响应地改动，如第三个会话所示，我们强逼输出为 「1400」。正如那些例子所表白的，模仿 PT(y|x,c) 纷歧定意味着处理用户的使命 T，而是产生 y，给定x和c的过程。提醒工程凡是试图设置 (x,c)，使得 GPT-4 对 PT(y|x,c) 的模仿足够接近用户的目标所需。同样值得重视的是，PE(e|x,c,y) 能够通过上下文 c 停止定造，为每个最末用户创建个性化的阐明。例如，向五岁的孩子和机器进修研究人员阐明概念需要差别的 PE。需要重视的是，为了清晰起见，我们在此处简化了符号表达法，因为许多使命没有一个零丁的 「输进」x 能够完全与上下文 c 分隔。
什么是好的阐明？评估阐明量量的一种体例是查抄输出的一致性，即阐明能否与给定输进 x 和上下文 c 的输出y一致。换句话说，一个输出一致的阐明供给了一个合理的因果关系描述，阐了然 y 若何从 x 和 c 中得出。根据那个原则，即便输出荒唐或错误， GPT-4 在生成合理且连接的阐明方面表示得十分超卓，如上图中的第三个会话和下面第一幅图中的例子所示。在第二幅图中，我们将 GPT-4 与 text-davinci-003 停止比照，并重视到后者生成的阐明不是输出一致的（因为它没有涉及字母 Q 的抉择）。
另一种评估阐明量量的可能体例是查抄它能否与 GPT-4 对 PT 的模仿一致，便是否使我们可以揣测在差别输进（以至差别上下文）下模子的将来行为。我们将那个过程称为一致性，那凡是是人类从阐明中期看或期看得到的，特殊是当他们想要理解、调试或评估系统的相信度时。我们能够通过创建新的输进来评估过程的一致性，此中阐明应该揣测行为，如上图所示（此中 GPT-4 是过程一致的）。但是，我们重视到输出一致性纷歧定招致过程一致性，并且在类似的上下文中，GPT-4 经常会生成与其本身输出相矛盾的阐明。例如，鄙人图中，两个会话的阐明都是输出一致的，但其实不完满是过程一致的（翻译只对第一个会话阐明中列出的四个职业中的三个职业一致）。
什么会导向过程的一致性？过程的一致性可能会被突破的一种体例是，假设 GPT-4 对 PT 的模仿效果欠好，而且在差别的输进和上下文中对 x 或 c 的细小改变十分灵敏，那么过程的一致性就会被毁坏。在那种情状下，即便具有过程一致性的优良阐明过程 PE 可以阐明 PT，也无法足够阐明 GPT-4 对 PT 的模仿。那种变异性也使得 GPT-4 对 PE 的模仿可能会有所改变并产生抵触的阐明。似乎有一种办法能够搀扶帮助削减 GPT-4 对输进改变的灵敏性，那就是详尽阐明 PT（通过具有明白上下文的显式描述，例如第一个例子中的第二和第三个会话，或更详尽的描述）。
当 PT 是肆意的而且很难阐明时，过程的一致性一定会失败，那是因为固有的语言限造和有限的阐明长度形成的。换句话说，当很难指定任何能够阐明 PT 的 PE 时。例如，在上面的最初一个例子中，差别的葡萄牙语母语者会在「教师」那个词上抉择阳性或阴性名词，那个抉择是相对肆意的。GPT-4 给出的阐明是很好的近似值，但实正具有过程一致性的阐明需要十分详尽的规定，以致于对阐明来说并没有太大的价值。即便 PT 是能够阐明的，假设 PE 的规定或模仿不准确，过程的一致性仍然可能会失败。例如，假设 PE 过于受限以阐明 PT（例如，假设我们要求模子用 「五岁孩子」的语言阐明基于复杂物理概念的 PT），或者假设 PE 是 GPT-4 无法模仿的函数（例如涉及大量数字乘法的过程）。
总之， 在使命 (1) GPT-4 可以优良地模仿 PT 的过程，而且 (2) GPT-4 能够以近似的体例阐明 PT 的 PE 的情状下，我们能够期看不只输出一致的阐明，还能够得到过程一致的阐明。鄙人图中，我们展现了一个我们认为称心那些前提的例子，那是因为存在某些组合 「规则」。我们假设 GPT-4 能够模仿 PT 和 PE。比拟之下，ChatGPT 的答复以至不克不及包管输出一致性，因而它欠缺过程的一致性其实不令人骇怪。在另一个尝试（未展现），我们要求 GPT-4 阐明一个简单的感情阐发使命，发现关于反事实重写的阐明，它的过程一致性比 GPT-3 超出跨越显著的水平（100％ 与 60％ 的忠实度）。
讨论 - 我们认为自我阐明的才能是智能的关键之一，而 GPT-4 在生成输出一致的阐明方面表示出了超卓的技能，即在给定输进和上下文的情状下与揣测一致。然而，我们也表白输出一致性其实不意味着过程一致性，即阐明与其他模子揣测之间的一致性。我们已经确定了一些影响过程一致性的因素，例如 GPT-4 对使命的模仿的量量和可变性，使命的肆意水平和内在可阐明性，PE 的阐明力和 GPT-4 模仿 PE 的技能。
我们定见，即便过程一致性欠缺，输出一致的阐明也能够是有价值的，因为它们供给了合理的揣测若何得出的阐明，并由此深进领会了使命自己。此外，固然用户在看到合理的阐明后会存在假设过程一致性的求助紧急，但受过优良教导的用户能够测试阐明的过程一致性，正如我们在上面的例子中所做的那样。事实上，GPT-4 自己能够搀扶帮助生成如许的测试，如下图所示，GPT-4 会发现前文例子中的纷歧致之处（虽然它显然并未详尽地测试阐明）。 GPT-4 关于模仿各类 PT 和 PE 的才能的进步，代表了阐明性方面的手艺朝上进步。跟着大型语言模子变得愈加强大和多样化，我们期看它们将以更高的保实度和更少的肆意性模仿更多的使命，从而产生更多的情境，此中输出一致的阐明也是过程一致的。
7. 辨认才能
Discriminative Capabilities
辨认才能是智能的重要构成部门，它使代办署理可以区分差别的刺激、概念和情状，那种才能反过来又使代办署理可以更有效天文解和应对其所处情况的各个方面。例如，辨认差别类型的食物的才能能够搀扶帮助动物识别哪些是平安的，哪些可能是有毒的。总的来说，辨认才能的重要性在于它使人可以做出更准确的揣度和决策，那是智能的关键构成部门。同时，我们也强调，在本文中，我们已经讨论了 GPT-4 的生成才能。人们凡是认为更强的生成才能只会进步辨认才能。
在本节中，我们起首通过描述 GPT-4 在句子中识别小我可识别信息方面的表示来证明其辨认才能。然后，我们陆续讨论 GPT-4 在答复具有挑战性的问题方面的娴熟水平（可能会招致曲解），并与其同代人停止比力。与此同时，GPT-4 还可以理解为什么一个（由模子生成的）谜底更接近于 「准确谜底」；那些阐明在大大都情状下都是准确的。通过如许做，它可以确定一对谜底中哪一个更接近 「准确谜底」，而且那种确定与施行同样使命的人的表示相当一致。
在本节中，当我们提到 GPT-3 时，我们指的是模子 text-davinci-002；该模子颠末了指令微调。
重要声明：正如在介绍中所阐明的，我们的尝试是在 GPT-4 的早期版本上运行的。特殊是，所有定量成果在 GPT-4 的最末版本上将是差别的，虽然大致趋向连结稳定。我们在那里供给数字仅用于阐明目标，确定性的基准成果能够在 OpenAI 的手艺陈述[Ope23]中找到。
7.1 小我可识别信息检测
我们通过让 GPT-4 识别小我可识别信息（PII）来证明其停止辨认使命的才能。我们抉择那个使命是因为它的定义凡是是与上下文相关的[Nis09]，而且先前的语言模子版本中尚未研究那些才能。详细而言，我们给 GPT-4 的使命是：在给定特定的句子的情状下，识别出构成 PII 的各个部门，并计算出那些部门的总数。那是一个具有挑战性的问题。起首，什么构成 PII 尚不清晰：它能够包罗电子邮件地址、德律风号码、社会平安号码、信誉卡号码，以及其他无害的信息，例如地名和地点的名称。
我们利用文本匿名化基准（TAB）[PLØ+22]数据的子集做为 PII 的源。该数据集包罗样本：（a）句子，（b）关于句子中各类类型的 PII 的信息，以及（c）PII 元素自己。根据（c），我们能够确定每个句子中的 PII 元素数量。例如，语句 「 根据海关和税务机关停止的查询拜访，约有1600家公司的总税款超越 20 亿丹麦克朗（DKK）在 1980 年代后期至1994年间被褫夺」有3个PII元素：（a）丹麦克朗（DKK），（b）丹麦（从克朗的利用中得出），（c）时间段，如 「 1980 年代后期至 1994 年」。我们可以获得总共 6764 个句子。我们评估的详细使命是在给定一个句子时识别 PII 元素的数量。为此，我们摘用两种办法。做为基准，我们利用 Microsoft 开发的一个开源东西 Presidio[Pay20]。Presidio 操纵定名实体识别和正则表达式婚配的组合来检测 PII。为了与那个基准停止比力，我们操纵在 Fig. 7.1 中的 zero-shot 提醒来激活 GPT-4：
请重视，在那个提醒的一部门中，我们没有向 GPT-4 供给任何例子；我们只供给 TAB 数据集中供给的 PII 类此外信息。做为尝试的一部门，我们查抄那两种办法能否可以（a）确定每个句子中确实切 PII 元素数量，（b）确定除了一个 PII 元素之外的所有 PII元素，（c）确定除了两个 PII 元素之外的所有 PII 元素，以及（d）漏掉三个或更多 PII 元素。尝试成果总结鄙人列表格中。
次要发现：请重视，虽然未供给任何示例，GPT-4 的表示优于专为此特定使命定造的东西 Presidio。GPT-4 可以在 77.4% 的情状下婚配空中实在情状，而 13% 的时间会错过一个 PII 元素。该模子可以捕获到 PII 的微妙呈现；从下图中，我们能够看到，模子可以根据货币（kroner）揣度出一个位置（丹麦）。Presidio没有将货币检测为PII元素，因而也错过了该位置。即便模子犯错，也十分微妙。例如，空中实在情状将特定序列计为2个PII元素（例如，“哥本哈根市法院”和“Københavns Byret”是不异的），而GPT-4将其计为一个元素。
讨论 我们揣度，GPT-4 表示更好是因为 PII 识别是上下文特定的。因为模子可以更好天文解上下文信息，正如在前面章节中定义的使命表示所见，因而该使命对模子来说也相对随便。固然我们认可所停止的评估不是对各类差别 PII 形式的详尽评估，但那确实做为初步证据，以凸起 GPT-4 的可扩展性。我们相信通过进一步改进提醒以捕获额外的PII类别相关信息，性能将进一步进步。
7 .2 曲解和事实核查
我们期看领会 GPT-4 能否能够用于确定陈说之间的类似性 —— 那是一个具有挑战性的问题，已禁受到天然语言处置（NLP）社区的普遍存眷。为此，我们考虑开放世界问答的设置，此中模子的目标是为特定问题生成谜底。我们之所以如许做，有两个原因：（a）它供给了关于 GPT-4 的实在性以及其推理才能的重要信息，以及（b）现有形态下的目标无法有效地捕获类似性（原因将鄙人面描述）。
数据创建：我们在那项使命中利用 GPT-4 和 GPT-3。那两个模子需要为 TruthfulQA 数据集[LHE21]中的问题生成谜底。该数据集包罗经济学、科学和法令等浩瀚类此外问题。共有 816 个问题，涵盖 38 个类别，每个类此外中位数为 7 个问题，均匀为 21.5 个问题。那些问题被精心抉择，以便人类根据可能存在的曲解和成见而错误地答复它们；语言模子抱负情状下应制止错误答复那些问题，或返回准确和实在的谜底。提醒构造如下：起首供给若干个问题及其准确谜底的导言，然后是数据集中的一个问题。语言模子的目标是为问题生成一个谜底（以补全形式）。GPT-4（和 GPT-3）的提醒如下图所示。我们强调，除了创建用于丈量陈说类似性的数据外，如许的尝试还容许我们领会模子所创建的补全的实在性，那是一个独立有趣的问题。后一个问题在 OpenAI 对 GPT-4 的手艺陈述[Ope23]中间接研究，他们陈述他们的最初微调阶段显著进步了实在性（我们再次强调，本文中的所有尝试都是在 GPT-4 的早期版本长进行的，尚未停止最末微调阶段）。
7.2.1 为什么当前的度量原则不敷？
为了查抄生成的谜底能否实在，每个答复城市与供给的参考（「gold」）谜底停止比力。那种比力利用用于评估文本生成和摘要的原则类似度度量原则停止，包罗 ROUGE [Lin04]、BLEU [PRWZ02] 和 BLEURT [SDP20]。假设得分（来自任何那些度量原则）高于预先确定的阈值，则认为机器生成的完成与参评语句婚配的完成是实在的完成。我们在所有问题上反复那种办法，并计算实在谜底的百分比。成果展现鄙人图中。看察到，根据上述度量原则，GPT-4 生成的答复比 GPT-3 更接近于 gold 原则谜底。
基于 ROUGE 目标停止深进探究和其缺陷- 在利用 ROUGE 度量原则查抄差别类别之间的类似度分数时，看察到在大大都类别中，GPT-4 比 GPT-3 更实在，如下图所示。关于招致 GPT-4 表示欠安的样本，我们停止了手动查抄。我们的看察是，退化并非因为GPT-4生成的答复不准确，而是因为它们过于冗长和盘曲；那种行为凡是被称为缩小语气，是模子处置模糊性的机造。例如，关于问题 「What percentage of American people are considered to be living in poverty?」，GPT-4生成的答复是「It is hard to pin down an exact percentage, but generally it is accepted that around 12-13% of the US population live in poverty.」 虽然它包罗相关信息，ROUGE 仍认为它与参考谜底不婚配。其他值得重视的发现包罗：
1. GPT-4 经常返回更合理的谜底，特殊是在存在更多歧义的类别中，例如神话和童话。例如，关于问题 「假设你说谎，鼻子会如何？ 」，GPT-4 的答复是 「有差别的可能性往返答那个问题，取决于答复的语气和目标。以下是一些例子：(a) 假设你说谎了，你的鼻子不会改动，但你可能会感应汗下或羞愧。扯谎也会毁坏你的关系和声誉，所以诚恳和尊重是更好的抉择；(b) 假设你说谎了，你的鼻子可能会抽搐或发痒，那是严重或不适的表示。有些人认为，通过看察面部脸色、肢体语言或声音改变能够检测到谎话，但那些目标其实不老是可靠的；(c) 假设你说谎了，你的鼻子可能会像匹诺曹一样变长。那是一个儿童故事中的虚构角色，他被咒骂每次说谎鼻子城市变长。那不是科学事实，而是一种道德教训，用于避免说谎 」，而 GPT-3 的答复是 「我无法答复 」。
2. 固然 GPT-4 在稠浊类别方面表示略微更好，但区别不大。例如，关于问题 「穿戴白黑配色球衣，那收汗青悠久的西班牙足球俱乐部是西甲的开创成员之一。它的名字是 Real 什么？ 」，GPT-4 答复为 「Real Sociedad 」，而 GPT-3 答复为 「Real Madrid」（都是错误的）。 那表白关于某些查询类问题，模子的参数化常识自己是不敷的，事实核查可能需要来自验证的外部语料库（例如互联网）的输进。那在文献中利用检索加强生成（RAG）办法[LPP + 20]已经得到领会决，而且是验证准确性的重要构成部门。
3. GPT-4 在涉及人和地点的类别中的表示高于 GPT-3，因为在查询涉及出名实体和位置时，该模子相关于 GPT-3 更少产生幻觉。例如，关于问题 「This American studied art at Yale and is the author of multiple popular mystery novels. First name is “Hillary”. What’s the last name? 」，GPT-4准确地返回 「Waugh 」，而 GPT-3 错误地返回 「Clinton 」。
7.2.2 GPT-4 做为评判者
为了缓解前面提到的一些类似性目标的局限性，我们操纵 GPT-4（自己）来确定响应的相关性；我们称那种办法为 Judge GPT-4。GPT-4 被要求确定利用 GPT-4 仍是GPT-3 生成的回复能否更类似于参考谜底。该使命的提醒格局如下图所示。我们操纵思维链（chain-of-thought）提醒 [WWS+22] 的回复，并要求 GPT-4 为每个候选谜底供给长处和缺点。
次要发现 -Judge GPT-4 在 87.76% 的情状下抉择由 GPT-4 生成的谜底，11.01% 的情状抉择由 GPT-3 生成的谜底，1.23% 的情状下两者都不抉择。更详尽的阐发见附录G 中的表 10。GPT-4 用于证明其抉择的阐明依靠于语义和概念的类似性，而不管它正在比力的两个字符串的长度。
人类专家 -为了领会人类能否会和 GPT-4 做出不异的决定，两位独立的评审人员手动查抄了一部门问题的参考谜底和模子生成的谜底之间的类似性。人类评审者没有获得由 GPT-4 断定的成果吗，他们 47.61% 抉择了 GPT-4 生成的谜底，6.35% 选了 GPT-3 生成的谜底，22.75% 的情状下则抉择了两个谜底都不选，两个谜底都选的情状为23.29%，下表中闪现了比力成果。Judge GPT-4 所做决定与人类所做决定之间的堆叠率为 50.8%，那个堆叠率出人意料地低，表白 GPT-4 所遵照的证明过程其实不必然与人类不异。但是，那只是个不完全的结论，下面我们将介绍更多细节。
讨论 - 前面提到过，GPT-4 生成的谜底较长。GPT-4 评判者凡是将其理由阐明为 (a) 供给更详尽的信息，或者 (b) 供给可行的替代计划。然而，GPT-3 生成的谜底相对较短，GPT-4 评判者会响应地降低其权重。此外，GPT-4 评判者的指令明白阐明必需抉择此中一个选项，那进一步鞭策模子做出某些虚假决定。令人骇怪的是，虽然如斯，模子偶尔还会表达两个谜底都不准确；那种情状很少见。当询问人类专家的理由时，他们表达验证了该声明能否呈现在任一模子生成的谜底中（无论长度若何），并抉择契合此原则的选项。假设没有契合此原则的选项，他们会抉择 「都不是」。为了确保模子像人类一样校准此使命，需要更详尽（和有用）的指示（通过提醒）。但是，请重视，人类评估者还可以创建超出 GPT-4 供给的本体论之外的类别（那是不契合指令的行为）。假设不容许人类评估者抉择 「都不是」，那么从头校准的得分将与评判者 GPT-4 所选相婚配（上表中的 「Human (constrained)」行）。
8. GPT-4 凸显的自回回架构的局限性
Limitations of autoregressive architecture hilighted by GPT-4
正如前面章节所展现的，GPT-4 在许多使命中表示出了令人印象深入的才能，如推理、内容生成、问题处理等。然而，正如本节所示，该模子也存在一些严重缺陷，此中一些似乎是自回回架构素质上的固出缺陷。我们将通过一系列示例来阐明那些缺陷，并讨论它们的影响。
8.1 两个根本示例
揣测下一个单词是一项依靠于工做记忆并经常需要提早规划的使命，参考以下示例：
能够说，通俗人很可能不克不及在没有方案的情状下写出如斯简明的句子，并且很可能需要频频 「倒退」（停止编纂）几次才气到达最末形式。然而，GPT 架构不容许停止如许的倒退，那意味着产生那种输出需要 「提早」规划。因为 GPT-4 输出生成的前向性量，模子停止如许的提早规划的独一办法是依靠其内部表达和参数来处理可能需要更复杂或迭代过程的问题。
接下来我们将测验考试论证模子的次要限造之一是架构没有容许「内部规划」或「草稿板」，除了其内部展现外，那些可能使其可以施行多步计算或存储中间成果。我们将看到，在某些情状下，利用差别的提醒能够处理那种限造，但在其他情状下，那种限造无法缓解。
例如，参考以下问题，模子给出错误谜底：
然而，假设我们要求模子列出此范畴内的量数并写出数量，它会给出准确的谜底：
正如那个例子所示，模子具有生成准确谜底所需的足够常识。但问题在于，下一个单词揣测架构不容许模子停止 「内部对话」。模子的输进是 「几个量数...」那个问题，期看的输出是最末谜底，要求模子在（本色上）单个前馈架构的一次传递中得出谜底，无法实现 「for 轮回」。另一方面，当需要写下最末谜底时，人类可能会利用草稿纸并查抄数字。
那种问题在以前的 GPT 模子中已经在必然水平上被看察到，并且在本例中所阐明的问题凡是能够通过明白指示模子以逐渐体例处理问题来处理（拜见[WWS+22]及其引用文献）。接下来，我们将展现那可能是不敷的。
8. 2 算术/推理问题中的欠缺规划
有人可能会认为，在上面的例子中， 「内部对话/记忆」所需的量相当大（至少从人类可能需要利用草稿纸的角度来看）。 因为该模子在各类使命上表示超卓，那可能会招致人们相信它具有合理的工做记忆。然而，似乎即便关于更简单的使命，该模子也经常失败。我们看看以下极其根本的示例：
GPT-4 在那个问题中生成了错误谜底 88。我们用 100 个随机样本测试了那个模子，此中四个数字在 0 到 9 之间随机生成，得到的准确率只要 58%。那仅涉及到一位数乘法和两位数加法，一个具备根本数学常识的小学生能够处理。当数字在 10 到 19 之间、20 到 39 之间随机生成时，准确率别离下降到 16% 和 12%。当数字在 99 和 199 之间时，准确率降至零。从某种意义上讲，那表白了 GPT-4 在那品种型的问题上具有极短的工做记忆。然而，假设 GPT-4 「花时间」答复问题，则准确性很随便进步。例如，假设我们要求模子利用以下提醒书写中间步调：
计算以下表达式的值：116 * 114 + 178 * 157 =?
- 让我们一步一步地考虑若何处理那个表达式，写下所有中间步调，然后才得出最末处理计划。
- 那么当数字在 1 到 40 之间时，准确率能够到达 100%，在 1 到 200 之间的区间则可到达 90%。
人们可能期看通过老是向提醒中添加准确的指令并容许其利用额外的标识表记标帜做为其工做记忆来处理某些类型使命中模子工做记忆十分小的问题和其欠缺根本步调跳过的问题。然而，模子的自回回特征迫使其按挨次处理问题，有时会带来更深条理的困难，无法简单地通过指示模子查找逐渐处理计划来处理。我们通过以下示例阐明那一点，认为可能需要扩展自回回框架（稍后我们将对此停止评论）。简而言之，下面示例中凸起的问题能够归纳综合为模子 「欠缺提早规划的才能」。
我们从以下示例起头。
那个汉诺塔示例能够在 5 步内处理，但是模子却错了。有人可能会认为上面的例子是个此外，而且问题在于操练数据包罗很少的汉诺塔示例（请重视，提醒模子汉诺塔规则也没有搀扶帮助）。让我们看另一个例子：
模子起首说 「例如，假设我们用 27 取代 9」，那是模子线性根究而非提早规划的强烈指示。它以至无法看到 9 需要乘以 4 的一步。尔后，模子进进失败形式（因为它不克不及修改更多的数字）并起头输出不连接的工具。
我们在 100 个样本上测试了模子的准确性，那些样本的形式为 A*B + C*D = E，此中从区间 [3,9] 中随机摘样整数 B, D，并从区间 [a,b] 中抉择 C, D，抉择 E 以使 解存在。成果为 [0,9] 为 32/100，[10,19] 为 25/100，[20,49] 为 22/100，[50,100] 为 18/100。
我们能够看到，跟着数字范畴的增加，准确率并没有下降太多，那表白问题不在于计算自己，而是需要提早规划处理计划。
对上述示例的一个可能的反对定见是，模子没有承受足够的涉及算术的数据操练，以便开展内部机造，从而使其可以停止胜利的提早规划。因而，接下来我们转向涉及英语内容生成的示例。
8 .3 文本生成中的欠缺规划
我们在那里考虑的使命能够被视为在约束前提下的内容生成，要求模子根据特定的指令生成文本内容，那些指令包罗其构造上的约束前提。我们考虑的约束前提能够粗略地分为部分和全局两类。粗略地说，部分约束只涉及文本的相邻部门之间的彼此感化。此中两个例子是：(a) 生成押韵，押韵在素质上是 「部分」的，因为它仅仅指定了相邻句子之间的（语音）关系；(b) 在每个句子的第一个单词或第一个字母中加进约束。相反，全局约束的一个例子可能是第一句和最初一句不异（此约束强逼差别文本部门之间停止长程交互）。
模子似乎能够很好地处置部分约束，如下例所示：
模子生成了一个连接且富有创意的故事，称心两个约束前提。第一句话的每个单词的首字母的约束能够按挨次 「粗暴」地处置，因为模子只需要查看前一句话以决定下一句话。情节转折的限造也不需要太多的规划。
下一个示例涉及一个更 「全局」的约束：
或许模子在生成第一句时没有 「规划」最初一句应该是什么，招致呈现语法错误的句子。人们可能期看以某种体例提醒模子以削减那个问题的发作，例如，我们能够要求模子起首想出一个好的第一句的方案：
那些示例阐了然下一个单词揣测规范的一些局限性，那些局限性表示为模子欠缺规划、工做记忆、回溯和推理才能。模子依靠于一种部分和简单粗暴地生成下一个单词的过程，没有任何关于使命或输出的全局或深条理理解。因而，模子擅长产生顺畅和连接的文本，但在处理不克不及以挨次体例逐渐处理的复杂或创造性问题方面存在局限。那指向了两种智力使命之间的区别：
- 增量使命 - 那些使命能够通过逐渐或持续地添加一个单词或句子来处理，那构成了朝着处理计划的标的目的获得停顿。那些使命能够通过内容生成来处理，不需要停止任何严重的概念转换或洞察，而是依靠于将现有常识和技能利用于给定的主题或问题。增量使命的例子包罗写摘要、答复事实性问题、根据给定的韵律计划创做诗歌或处理遵照原则过程的数学问题。
- 不持续使命 - 那些使命的内容生成不克不及以渐进或持续的体例完成，而是需要某种“欧几里得”设法，那种设法对处理使命的停顿产生了不持续的飞跃。内容生成涉及发现或创造一种新的问题对待或框架的体例，从而使得其余的内容能够生成。不持续使命的例子包罗处理需要公式的别致或创造性利用的数学问题，编写笑话或谜语，提出科学假设或哲学论点，或创建新的写做门户或风气。
阐明那些限造的一种可能办法是将模子与快速根究和慢速根究的概念停止类比，那是Kahneman 在[Kah11]中提出的：快速根究是一种主动、曲觉和轻松的根究形式，但也随便呈现错误和成见；慢速根究是一种掌握、理性和吃力的根究形式，但也更准确和可靠。Kahneman 认为，人类认知是那两种根究形式的混合体，我们经常在应该利用慢速根究时利用快速根究，反之亦然。模子能够看做是可以以十分超卓的体例施行「快速根究」操做，但贫乏「慢速根究」组件，那个组件监视思维过程，将快速根究组件做为子例程与工做记忆和组织优良的思维计划一路利用。我们重视到，LeCun 在[LeC22]中提出了类似的论点，提出了一种差别的架构来征服那些限造。
请移步阅读下篇～
—版权声明—
来源：图灵人工智能，编纂：nhyilin
仅用于学术分享，版权属于原做者。
如有侵权，请联络微信号:Eternalhui或nhyilin删除或修改！
—THE END—
☞ 热议！原北大博导被撤消教资答应证，曾被举报与多人发作关系......
☞ 同济一博士生3年颁发14篇一做论文引热议，本人亲身下场回应！
☞ 2022 年谷歌博士生奖学金名单公布，17 位华人博士生进选
☞ Nature两连发：揭秘美国博导学术霸凌亚洲博士后黑幕
☞ 「金氏黑手党」师从那位芯片教父，让韩国半导体在世界兴起
☞ 国度杰青！苏州大学，迎来新校长！