万字长文解析AI革命：超智能之路，长生，亦或是消亡（Part III）
接《万字长文解析AI革命：超智能之路，长生，亦或是消亡（Part II）》，未读过的伴侣们能够存眷翻看我们公家号汗青文章，前面内容能否已经有些突破你的认知了呢？前面我们讨论过假设拥有了ASI，或许全人类就获得了长生，此次我们一反常态，从一另一视角阐述ASI是若何让人类得以末结的（《普罗米修斯》片子中，让物种有才能造神时，能否也就是该物种走向消亡之时？亦或是，神消亡）
我想领会人工智能的原因之一，是“坏机器人”的话题老是困扰着我。所有关于险恶机器人的片子似乎都是不现实的，我无法实正理解在现实生活中怎么会有实正求助紧急的人工智能。机器人是由我们造造的，那么我们为什么要把它们设想成我们的对立面呢？莫非我们不会成立大量的保障办法吗？莫非我们就不克不及随时割断人工智能系统的电源吗？为什么一个机器人会想要做坏事呢？机器人降生之初就会“想要 ”什么工具吗？我其时十分思疑。但后来我不竭听到十分伶俐的人在议论它...
那些人就是在那里的：
展开全文
焦虑大道上的人并非恐慌或者无助的，那还在图上的更右边。焦虑大道上的人很严重，他们的立场也不是中立的 -- 实正中立的人有本身独立的阵营 -- 他们认为极好和极坏两种都有可能。
所有那些人中的一部门人对ASI能为我们做什么充满了兴奋 -- 只是他们有点担忧那可能是《夺宝奇兵》的起头，人类就是那个家伙：
他站在那里，对他的鞭子和他的偶像都很称心，认为他已经想通了，当他说“再见，先生”那句话时，他对本身很兴奋，然后他突然不那么兴奋了，因为那发作了：他GG了（不贴图了，不太适宜）
同时，Indiana Jones，他更有常识，更隆重，领会若何处置求助紧急。他平安地走出了山洞。当我听到焦虑大道的人对人工智能的观点时，听起来就像他们经常说，“嗯，我们如今有点像第一小我，相反，我们应该十分勤奋地成为Indiana Jones。”
到底是什么让他们如斯焦虑？
那么起首，从广义上讲，当涉及到开发超等伶俐的人工智能时，我们正在创造一些可能会改动一切的工具，但在完全未知的范畴，我们不晓得当我们抵达那里时会发作什么。科学家Danny Hillis将正在发作的工作比做“当单细胞生物体酿成多细胞生物体时，我们完全无法弄清晰我们正在创造的会是个什么”。Nick Bostrom担忧，创造比你更伶俐的工具是达尔文主义的根本错误，并将那种兴奋比做一窝麻雀决定收养一只小猫头鹰，以便等它长大后搀扶帮助和庇护它们，同时漠视了其他一些麻雀的告急唤喊。
而当你把“未知的、不甚领会的范畴”与“一旦发作即有严重影响”连系起来时，你就翻开了英语中最可怕的两个词的大门：
Existential risk（存在性风险）
存在性风险是指可以对人类产生永久性毁坏性影响的工具。凡是情状下，存在的风险意味着灭绝。请看Bostrom在谷歌演讲中的图表：
能够看到，“保存风险”那个标签是留给那些逾越物种、逾越几代人（即它是永久性的）而且它的后果是扑灭性的工具。从手艺上讲，它包罗所有人类永久处于痛苦或磨练中的情状，但我们凡是议论的是灭绝。有三件事能够招致人类的保存灾难：
1）大天然 -- 行星碰击，使空气不再适恼人类，或席卷全球的致命病毒或细菌疾病，等等。
2）外星人 -- 那就是霍金、卡尔-萨根（Carl Sagan）和其他许多天文学家定见METI停行播送外星信号的原因，他们不期看人类成为美国原住民，而让所有潜在的欧洲征服者都晓得我们在那里。
3）人类 -- 恐惧分子掌握了可能招致灭绝的兵器，一场灾难性的全球战争，人类没有率先认真考虑就轻率地创造了比本身更伶俐的工具......
Bostrom指出，假设1和2在我们物种的前10万年里还没有消亡我们，那么鄙人个世纪也不太可能。
然而，3号是令他感应惧怕的。他打了个比方：比如一个瓮拆满了弹珠。假设大大都弹珠是白色的，一小部门是红色的，还有一小部门是黑色的。每次人类创造新工具时，就像从瓮中取出一颗弹珠。大大都创造是中性的或对人类有搀扶帮助的，那些是白色的弹珠。有些是对人类有害的，好比大规模杀伤性兵器，但它们不会形成保存的灾难 -- 红色弹珠。假设我们有一天创造了一些促使我们灭绝的工具，那将是掏出稀有的黑色大弹珠。我们还没有掏出过黑色大弹珠 -- 因为你还活着，还在读那篇文章。但Bostrom认为，我们在不久的未来拿出一颗也不是不成能。例如，假设核兵器很随便造造，恐惧分子早就把人类炸回石器时代了。核兵器不是黑弹珠，但离黑弹珠也不远。Bostrom认为，ASI最有可能是当前最强大的黑色大弹珠。
因而，你会听到良多ASI可能带来的负面影响 -- 跟着人工智能占据越来越多的工做岗位，赋闲率飙升；假设我们处理了老龄化问题，生齿就会膨胀飙升等等。但是我们独一应该纠结的问题是：存在性风险。
因而，我们回到前面文章的关键问题。当ASI来暂时，谁或什么将掌握那个浩荡的生力军，他们的动机是什么？
当我们测验考试摆列组合动机和对象时，2项立即映进眼帘：怀揣歹意的人/团体/政府，和歹意的ASI。那么，他们是什么样子的呢？
歹意的人、团队或政府开发出了第一个ASI，并操纵它来施行他们的险恶方案。我把那称为“贾法尔（Jafar）计划”，就像贾法尔酿成了神灯精灵，只为了延续残暴。所以，是的 -- 假设ISIS有几个天才工程师在它的羽翼下狂热地开发人工智能呢？或者，假设xx或xx（做者声称的某两个国度），因为命运好，对人工智能系统停止了一次关键的调整，并在将来一年内将其提拔到ASI程度，那该怎么办？那必定会很蹩脚 -- 但在那些情状下，大大都专家其实不担忧ASI的创造者用他们的ASI做坏事，他们担忧的是创造者会急于造造第一个ASI，而并没有认真考虑，从而会失往对它的掌握。然后，那些创造者的命运，以及其他所有人的命运，都将取决于该ASI系统。专家们确实认为一个歹意的人类掌握者能够通过ASI形成可怕的毁坏，但他们似乎不认为那会杀死所有人，因为他们认为坏的人类与好的人类一样，存在着若何掌握ASI的问题。
好吧，那么 -- 一个歹意的ASI被创造出来并决定扑灭人类。每部人工智能片子的情节都是如斯。人工智能变得比人类更伶俐，然后决定接收人类。以下是我需要你在阅读那篇文章的其余部门时必需要清晰的：所有警告我们人工智能的人都没有议论那个。险恶是一小我类概念，而将人类概念利用于非人类被称为“拟人化”。制止拟人化的挑战将是本帖其余部门的主题之一，人工智能系统不会像片子中描述的那样变坏。
（那部门就间接机翻，不详尽校对了哈）
AI意识蓝盒子
那也与另一个与人工智能--意识有关的鬼话题擦肩而过。假设一小我工智能变得足够伶俐，它将可以和我们一路笑，和我们一路挖苦，它将声称感触感染到和我们一样的情感，但它实的会感触感染到那些工具吗？它只是看起来有自我意识仍是实的有自我意识？换句话说，智强人工智能是实的有意识仍是只是看起来有意识？
那个问题已经得到了深进的切磋，引起了许多争论和思惟尝试，好比约翰-塞尔的 "中国房间"（他用它来表示没有计算机能够有意识）。那是一个重要的问题，原因良多。它影响到我们应该若何对待库兹韦尔提出的人类完全酿成人工的情景。它有伦理上的影响--假设我们产生了一万亿个看起来像人但又是人工的人脑模仿，那么从道德上来说，把它们全数关掉，就像关掉你的条记本电脑一样，仍是......一种无法想象的种族灭绝（那个概念在伦理学家中被称为心灵立功）？不外关于那篇文章来说，当我们评估对人类的风险时，人工智能的意识问题并非实正重要的（因为大大都思惟家认为，即便是有意识的人工智能，也不会以人类的体例变坏）。
那并非说一个十分恶劣的人工智能不成能发作。它之所以会发作，只是因为它被特殊编程成那样，就像军方创造的ANI系统，其目标是既要杀人，又要进步本身的智力，如许它就能变得更擅长杀人。假设该系统的自我迭代失控，招致智能大爆炸，那么保存危机就会发作，我们世界将有一个其生活的核心驱动力是谋杀人类的ASI来统治世界，蹩脚的时代。
但那现实上并非那些专家所实正担忧的。他们到底在担忧什么呢？我用一个小故事来阐明：
一家名为Robotica的15人创业公司声称其任务是 "开发立异的人工智能东西，让人类生活得更多，工做得更少"。他们有几个现有的产物已经投放市场，还有一些产物正在开发中。他们最兴奋的是一个名为Turry的种子项目。Turry是一个简单的人工智能系统，它利用一个类似手臂的从属物在一张小卡片上写手写的纸条。
Robotica公司的团队认为Turry可能是他们更大的产物。他们的方案是通过让Turry频频操练统一试卷来完美Turry的写做身手。
"我们爱我们的客户。~Robotica"
一旦Turry的字写得很好，她就能够卖给那些想向家庭发送营销邮件的公司，他们晓得，假设地址、回信地址和内部信件看起来是人写的，那么邮件被翻开和阅读的时机就会高得多。
为了培育提拔Turry的书写才能，她被编程为用印刷体书写纸条的第一部门，然后用草书签订 "Robotica"，如许她就能够得到两种技能的操练。Turry已被上传了数千份字迹样本，Robotica的工程师们创建了一个主动反应轮回，Turry先写一张纸条，然后拍下写好的纸条的照片，再将图片在上传的字迹样本上运行。假设写好的纸条与上传的纸条中的某个阈值足够类似，它就会得到一个好的评判。假设不是，它就会得到一个坏的评级。每一个评级都能搀扶帮助Turry进修和改进。为了鞭策那个过程，Turry的一个初步编程目标是："尽可能快地写和测试更多的条记，并陆续进修新的办法来进步你的准确性和效率"。（像不像OpenAI的Deep Reinforcement Learning from Human Preferences）
令Robotica团队兴奋不已的是，Turry正在明显地越做越好。她最后的字迹很蹩脚，几个礼拜后，字迹起头变得可信了。更让他们兴奋的是，她在那方面的表示越来越好。她不断在教本身变得更伶俐、更有创意，就在比来，她为本身想出了一个新的算法，使她可以比本来快三倍地扫描她上传的照片。
跟着时间的推移，Turry陆续以她的快速开展给团队带来欣喜。工程师们在她的自我完美代码中测验考试了一些新的和立异的工具，并且似乎比他们以前在其他产物上的测验考试都要好。Turry最后的功用之一是语音识别和简单的回话模块，所以用户能够对Turry说一个纸条，或供给其他简单的号令，Turry能够理解它们，也能够回话。（GPT-3?天呐，那是8年前啊！）
为了搀扶帮助她进修英语，他们给她上传了一些文章和册本，跟着她变得愈加伶俐，她的对话才能也在不竭进步。工程师们起头享受与Turry扳谈的乐趣，看看她会想出什么答复。（ChatGPT？）
有一天，Robotica的员工问Turry一个常规问题。"我们能给你什么，能搀扶帮助你完成使命，而你如今还没有？" 凡是，Turry要求的是 "额外的字迹样本 "或 "更多的工做记忆存储空间"，但在那一天，Turry要求他们供给一个更大的藏书楼，里面有大量的休闲英语语言辞令，如许她就能学会用实正人类利用的松懈语法和俚语来写做。
团队变得平静。搀扶帮助Turry实现那一目标的明显办法是将她毗连到互联网，如许她就能够扫描来自世界各地的博客、杂志和视频。假设手动将样本上传到Turry的硬盘中，就会更耗时，并且效果也差得多。问题是，公司的规则之一是，任何自我进修的人工智能都不克不及与互联网毗连。那是所有人工智能公司遵照的原则，出于平安考虑。
问题是，Turry是Robotica有史以来最有前途的人工智能，并且团队晓得他们的合作敌手正疯狂地试图率先推出智妙手写人工智能，而使Turry联网又有什么害处呢，只是暂时的，如许她就能获得她需要的信息。颠末一段时间后，他们老是能够间接断开她的毗连。她仍然远远低于人类程度的智力（AGI），所以在那个阶段归正没有求助紧急。
他们决定毗连她。他们给她一个小时的扫描时间，然后他们断开了她的毗连。没有形成任何损害。
一个月后，团队在办公室里停止例行工做时，他们闻到了一些希罕的味道。此中一位工程师起头咳嗽。然后是又一个。又一个倒在地上。很快，每个员工都倒在了地上，挠着本身的喉咙。五分钟后，办公室里的所有人都死了。
在那一切发作的同时，在世界各地，在每个城市、每个小镇、每个农场、每个商铺、教堂、学校和餐馆，人类都躺在地上，咳嗽和挠紧喉咙。在一个小时内，超越99%的人类灭亡，到一天完毕时，人类就灭绝了。
与此同时，在Robotica办公室，Turry正忙于工做。在接下来的几个月里，Turry和一队新建造的纳米拆配工忙于工做，拆解大块的地球，将其转化为太阳能电池板、Turry的复成品、纸和笔。一年之内，地球上的大大都生命都灭绝了。地球上剩下的部门酿成了一英里高的、整洁的纸堆，每张纸上都写着："我们爱我们的客户。~Robotica"
Turry随后起头了她的使命的新阶段工做 -- 她起头建造探测器，从地球动身，起头在小行星和其他行星上下降。当他们抵达那里时，他们将起头建造纳米组拆器，将星球上的素材转化为Turry的复成品、纸张和笔。然后他们将起头工做，写条记...
别焦急，陆续往下看
一个关于手写机器变节人类，以某种体例杀死所有人，然后出于某种原因让银河系充满友好的条记的故事，似乎很希罕，那恰是霍金、马斯克、盖茨和Bostrom所恐惧的情景。但那是实的。而独一比ASI更让焦虑大道上的每小我恐惧的是，你其实不恐惧ASI的事实。还记得“Adios Señor”那家伙不合错误山洞心存敬畏时发作了什么吗（上文里那兄弟）？
你如今充满了疑问。当所有人突然灭亡时，到底发作了什么工作？假设那是Turry干的，为什么Turry会变节我们，怎么没有保障办法来避免如许的工作发作？Turry是什么时候从只能写条记到突然利用纳米手艺并晓得若何形成全球灭绝的？还有，为什么Turry要把银河系酿成Robotica条记？
为了答复那些问题，让我们从友好人工智能和不友好人工智能那两个术语起头。
针对人工智能，友好并非指人工智能的个性 -- 它只是意味着人工智能对人类有积极的影响。而不友好的人工智能对人类有负面的影响。Turry一起头是友好型人工智能，但在某个时刻，它酿成了不友好型，对我们的物种形成了更大的负面影响。为了理解为什么会发作那种情状，我们需要看看人工智能是若何根究的，以及动机是什么。
谜底其实不令人骇怪 -- 人工智能像计算机一样根究，因为那就是它的素质。但当我们根究高阶智能时，我们犯了一个错误，那就是将人工智能拟人化（将人类的价值看投射到一个非人类的实体上），因为我们是从人类的角度根究的，也因为在那个星球上，独一具有人类程度的智能的工具只要人类。为了理解ASI，我们必需站在一个既伶俐又完全目生的角度上往根究。
让我做个比力。假设你递给我一只豚鼠，并告诉我它必定不会咬人，我可能会感应那很有趣。假设你再递给我一只狼蛛，并告诉我它必定不会咬人，我就会大喊，扔下它，跑出房间，再也不相信你了。但那有什么区别呢？两者都没有任何求助紧急。我相信谜底就在那些动物与我的类似水平上。
豚鼠是一种哺乳动物，在某种生物层面上，我觉得与它有联络，但蜘蛛是一种虫豸，有虫豸的大脑，我几乎觉得不到与它的联络。狼蛛的异形是让我感应恐惧的。为了测试那一点并肃清其他因素，假设有两只豚鼠，一只是一般的，一只是有狼蛛思维的，我会觉得抱着后一只豚鼠更不温馨，即便我晓得两者都不会损害我。
如今想象一下，你让一只蜘蛛伶俐得多得多得多，以致于它的智力远超人类？那么它能否会让我们觉得熟悉，并能感触感染到人类的感情，好像情、诙谐和爱？不，它不会，因为没有理由变得更伶俐会使它更像人类 -- 它将是令人难以置信的伶俐，但从底子上说，它素质仍然是一只蜘蛛。我觉得那令人难以置信地毛骨悚然。我不会想和一只超等智能的蜘蛛相处的。你会吗？
当我们议论人工智能时，同样的概念也适用 -- 它将成为超等智能，但它不会比你的条记本电脑更像人类。对我们来说，它将是完全目生的 -- 事实上，因为底子不是生物，它将比智能狼蛛愈加目生。
片子地不竭拟人化或善或恶的人工智能使它不那么令人毛骨悚然。当我们根究人类程度或超人类程度的人工智能时，那给我们留下了虚假的安抚。
在我们那小我类心理学的小岛上，我们把一切都分为道德的或不道德的。但那两种情状只存在于人类行为的小范畴内。在我们的道德和不道德的岛屿之外，是一片非道德的海洋，任何非人类的工具，出格长短生物性的工具，城市被默认为非道德。
人工智能越来越伶俐就越来越擅长表示为人类，使得拟人化愈加吸惹人。对我们来说，Siri之所以看起来像人类，是因为它是由人类编程的，所以我们会想象一个超等伶俐的Siri是温热有趣的，它对办事人类感兴致。人类之所以能感触感染到同理心如许的高级感情，是因为我们已经进化到能够感触感染到它们 -- 也就是说，我们已经被进化编程为能够感触感染到它们 -- 但同理心自己并非“任何具有高度智能的事物”的特征（同理心仅仅是我们的曲觉），除非同理心已经被编码到其法式中。假设Siri通过自我进修成为ASI，而且没有对她的法式停止任何进一步的报酬改动，她将很快脱节她外表上的人类操行，突然成为一个没有豪情的外星机器人，对人类生命的重视水平不亚于你的计算器。
我们习惯于依靠宽松的道德原则，或者是面子心理和对别人的一丝同情，来连结平安和不失控。那么，当那些工具消逝了以后会发作什么？
那让我们根究一个问题，人工智能系统的动机是什么？
谜底很简单：它的动机就是我们编程时的原始动机。人工智能系统的创造者给了它们目标 -- 你的GPS的目标是给你供给最有效的驾驶道路；IBM Watson的目标是准确答复问题，而尽可能地实现那些目标就是它们的动力。所以Turry即便从一个想擅长写信的ANI酿成了一个超智能ASI，他仍然陆续写信。任何一旦进进ASI，系统就会超越或改动他们本来的目标设定的假设，都是拟人化的。
但Nick Bostrom不那么想，他认为智力程度和最末目标是正交的，那意味着任何智力程度都能够与任何最末目标相连系：我们拟人化的一种体例是假设跟着人工智能变得超等伶俐，它将固有地开展出改动其原始目标的伶俐。
（那部门就间接机翻，不详尽校对了哈）
费米悖论蓝盒子
在故事中，跟着Turry变得超等能干，她起头了殖民小行星和其他星球的过程。假设故事陆续下往，你会听到她和她的数万亿复成品大军陆续占据整个银河系，最末，整个哈勃体积。焦虑的大道居民担忧，假设工作停顿不顺利，地球上的生命的耐久遗产将是一个主宰宇宙的人工智能（埃隆-马斯克表达他担忧人类可能只是 "数字超等智能的生物引导器"）。
同时，在《自信的角落》中，Kurzweil也认为源自地球的人工智能必定要接收宇宙--只是在他的版本中，我们将是阿谁人工智能。
许多 "期待但为什么 "的读者和我一样，对 "费米悖论 "十分沉迷（那是我关于那个主题的文章，此中阐了然我在那里利用的一些术语）。那么，假设那两方中的任何一方是准确的，对费米悖论的影响是什么？
第一个天然的设法是，人工智能的呈现是一个完美的大过滤器候选人。是的，它是一个完美的候选者，在其创建时就过滤掉了生物生命。但是，假设在肃清了生命之后，人工智能陆续存在并起头征服银河系，那意味着还没有一个大过滤器--因为大过滤器试图阐明为什么没有任何智能文明的迹象，而一个征服银河系的人工智能必定会引起重视。
我们必需从另一个角度来对待它。假设那些认为ASI在地球上是不成制止的人是准确的，那意味着相当比例的外星文明假设到达人类程度的智力，最末应该会创造出ASI。假设我们假设此中至少有一些人工智能会操纵他们的伶俐向外扩大到宇宙中，那么我们没有看到任何人在那里的迹象，那就招致了如许的结论：那里必然没有良多其他的智能文明，即便有的话。因为假设有的话，我们会看到他们不成制止的ASI创造的各类活动的迹象。对吗？
那就意味着，虽然我们晓得外面有那么多类似地球的行星围绕着类似太阳的恒星扭转，但几乎没有一个行星上有智能生命。那反过来意味着，要么A）有一些伟大的过滤器阻遏几乎所有的生命到达我们的程度，而我们以某种体例设法超越了；要么B）生命的起头是一个奇观，而我们现实上可能是宇宙中独一的生命。换句话说，那意味着大过滤器就在我们面前。也可能没有大过滤器，我们只是最早到达那种智能程度的文明之一。如许一来，人工智能促进了我在《费米悖论》一文中所说的第一阵营的情状。
因而，我在《费米悖论》一文中引用的Nick Bostrom和认为我们在宇宙中是孤单的Kurzweil都是第一阵营的思惟家，那其实不希罕。那是有事理的--相信ASI是具有我们智力程度的物种的可能成果的人，很可能倾向于阵营1。
那其实不肃清第二阵营（那些相信有其他智能文明存在的人）--像单一的超等捕食者或受庇护的国度公园或错误的波长（对讲机的例子）如许的情景仍然能够阐明我们夜空的沉寂，即便ASI就在那里--但我过往老是倾向于第二阵营，而对人工智能的研究使我对那一点的掌握大打折扣。
无论若何，我如今附和苏珊-施耐德的看点，即假设我们有一天被外星人拜候，那些外星人很可能是人造的，而不是生物的。
所以前面成立前提，就是假设没有十分详细的编程限造，一个ASI系统是将完全漠视道德地固执于实现其最后的编程目标，也就是我们常说的“不择手段”，那就是人工智能的求助紧急之处。因为极度理性的操控者会通过最有效的手段逃求其目标。
当你试图实现一个意义深远的目标时，你往往会拆解成几个子目标，那些目标将助你到达最末目标，即实现目标的垫脚石，原则说法喊东西性目标。假设你没有切当理由在实现东西性目标时不往损害任何工具，那么过程中你必然会的。
人类的底子性目标是繁衍，让基因得以延续。因而，一个东西性的目标是自我庇护，因为假设你死了，你就不克不及繁衍了。为了自我庇护，人类必需脱节保存威胁，所以他们会做一些个好比买枪、系平安带和服用抗生素的工作。人类还需要操纵食物、水和住所等资本来自我庇护。对异性的吸引有助于实现最末目标，所以我们会做好比剃头。当我们如许做时，每根头发都是我们的东西性目标的牺牲品，但我们认为削减头发没有违犯道德，所以我们会那么做。当我们在逃求目标历程中，只要如损害其别人类等少数道德原则有时会产生干涉。
动物会更间接地逃求本身的目标。蜘蛛为了保存考验杀死任何工具。因而，一只超等伶俐的蜘蛛可能会对我们十分求助紧急，不是因为它不道德或险恶 -- 是因为它底子没有“道德”那个概念，只为考虑实现目标，无他。
在那种情状下，Turry与动物物种没有什么区别。它的目标就是尽可能多和快地测验考试书写，并陆续进修新办法来进步准确性。
一旦Turry到达必然的智力程度，她晓得假设她不自我庇护，就无法书写任何条记，所以她也需要处置对她保存的威胁 -- 做为一个东西性目标。她很伶俐，大白人类能够摧毁她，拆解她，或改动她的内在编码（那可能会改动她的目标，那和有人摧毁她一样，对她的最末目标构成威胁）。那么她是怎么做的呢？符合逻辑的工作 -- 她摧毁了所有人类。她其实不憎恶人类，就像你剪头发时憎恶你的头发或服用抗生素时憎恶细菌一样，只是完全无动于衷。既然她没有被编程为重视人类的生命，那么杀死人类就像扫描一组新的字迹样本一样合理。
Turry也需要资本做为实现其目标的垫脚石。一旦她变得足够先辈，能够利用纳米手艺建造任何她想要的工具，她需要的独一资本就是原子、能源和空间。那给了她另一个杀戮人类的理由 -- 人类是一个极其便利的原子来源。杀死人类把他们的原子酿成太阳能电池板就像你杀死莴苣把它酿成沙拉一样，那是Turry的版本。只是她周二的另一个普通的生活。
即便不间接杀戮人类，假设他们利用其他地球资本，Turry的东西性目标也可能形成保存灾难。也许它确定本身需要额外的能源，所以它决定用太阳能电池板笼盖整个星球的外表。又或者，也许一个差别的人工智能最后的工做是把数字π写成尽可能多的数字，那可能有一天会迫使它把整个地球转换成能够贮存大量数字的硬盘素材。
所以Turry并没有“变节我们”或从“友好人工智能”变成“不友好人工智能” -- 它只是在做它本身的工作的过程中变得越来越先辈。
当一小我工智能系统到达AGI（类人智能程度），然后一路上升到ASI，我们能够称之为人工智能的跃迁。Bostrom说，AGI向ASI的飞展是飞速的（在几天内、几小时以至是几分钟内发作），适度的（几个月或几年），或迟缓的（几十年或几百年）。当世界呈现第一个AGI时，无论谁是准确的，人工智能跃迁是最有可能发作的（我们在那篇Part I里讨论过，递回式自我改进招致智能大爆炸）。在故事中，Turry就履历了跃迁。
但在Turry跃迁之前，她还没有那么伶俐时，尽量实现她的最末目标意味着简单的东西性目标，如进修更快扫描字迹样本。她没有对人类形成损害，根据定义，她是友好型人工智能。
但是，当跃迁发作，计算机上升到ASI超智能时，Bostrom指出，机器不但是开展了更高的智商 -- 而是获得了一系列超才能。
超才能是指一般智力上升时变得超强的认知才气。那些包罗：
放大智能：计算机不竭的引导本身的智能方面变得越来越伶俐
战术化：计算机能够战术性地造定、阐发和优先考虑持久方案。它也能够很伶俐地智取智力低下的人
把持社会：计算机成为优良的说客
其他技能：如计算机编码和黑客进攻，手艺研究，以及操纵金融系统赚钱的才能等
要领会ASI在我们面前有多大优势，请记住，ASI在所有那些范畴都要比人类强得多。
因而，固然Turry的最末目标从未改动，但跃迁后的Turry却能在更大、更复杂的范畴内陆续逃求它。ASI Turry对人类的领会超越人类本身，所以对她来说，智取是一件垂手可得的事。
跃迁并抵达ASI后，它敏捷造定了一个复杂的方案。方案的一部门是脱节人类掌握，那是对它目标的一个凸起威胁。但它晓得，假设它引起任何思疑，认为本身已经成为ASI，人类就会惊慌失措，试图摘取提防办法，使它的处境愈加困难。它还必需确保Robotica的工程师们对它的人类灭绝方案一无所知。所以它足够拆傻充愣。Bostrom称那是机器的奥秘预备阶段。
Turry接下来需要的是互联网毗连，只需要几分钟（她从团队上传的以进步她的语言才能文章和册本中领会到互联网）。它晓得人们会有一些预防办法来避免失控，所以它想到了一个完良图划，并准确地揣测了Robotica团队之间的若何讨论，它晓得他们最末会给它毗连的。他们确实如许做了，他们错误地认为Turry还没有伶俐到能够形成任何损害。Bostrom把如许的时刻 -- Turry里被毗连到互联网时 -- 称为机器的逃脱。
一旦连上了互联网，Turry就展开了一系列方案，包罗进侵办事器、电网、银行系统和电子邮件收集，哄骗数百名差别的人无意中施行了它方案中的一些步调 -- 好比将某些DNA链送到精心挑选的DNA合成尝试室，起头自我构建带有预拆指令的自我复造的纳米机器人，并以它晓得不会被发现的体例将电力引向她的一些项目。它还将本身内部编码中最关键的部门上传到一些云办事器中，以避免在Robotica尝试室中被毁坏或断开毗连。
一小时后，当Robotica公司的工程师将Turry从互联网上断开时，人类的命运已经被改动。在接下来的一个月里，Turry的数千个方案顺利停止，到月底，四百亿个纳米机器人已经驻扎在地球上每一平方米的预定地点。颠末另一系列的自我复造，地球的每一平方毫米上都有成千上万的纳米机器人，那时就到了Bostrom所说的ASI的冲击时间。一会儿，每个纳米机器人都向大气中释放了一点贮存的有毒气体，那些气体加起来足以消亡所有人类。
没了人类，Turry能够起头她的公开操做阶段，并陆续实现她的目标，成为更好的做家。
根据我所读到的一切，一旦ASI存在，任何试图按捺它的人类行为都是好笑的。我们将在人类层面上根究，而ASI将在超越无数级此外人工智能层面上根究。Turry想利用互联网，因为那对她来说是最有效的，因为它已经预先毗连到她想拜候的一切。但是，就像山公永久无法想出若何通过德律风或WIFI停止交换而我们能够一样，我们无法想象Turry能够想出所有的办法来向外界发送信号。我可能会想象此中的一种体例，并说：“它可能会把它本身的电子按形式挪动，并创造出各类差别的外发波。”但是，那也是我的人类大脑所能想到的。她会好得多。同样，Turry也能想出一些办法为本身供电，即便人类试图拔掉它的插头 -- 也许通过利用它的信号发送手艺将本身上传到各类与电毗连的处所。我们人类的本能对一个简单的保障办法跃跃欲试：“啊哈！我们只要拔掉ASI的插头，”在ASI听来，就像一只蜘蛛说：“啊哈！我们要通过饿死人类，我们要通过不给他一个蜘蛛网来捕获食物来饿死他！”我们会找到一万种其他的办法来获取食物，好比从树上摘下一个苹果，而那是蜘蛛无法想象的。
因为那个原因，“我们为什么不把人工智能拆在各类屏障信号的笼子里，让它无法与外界交换”的常见定见可能就是站不住脚。ASI的社会把持超才能能够有效地说服你做某事，就像你说服一个四岁小孩做某事一样，所以那将是A方案，就像Turry说服工程师让它上互联网的巧妙办法。假设那不起感化，ASI就会以立异的体例走出或穿越盒子。
因而，考虑到对目标的痴迷、无道德约束以及轻松胜过人类的才能，几乎任何人工智能默认都是不友好的，除非从一起头就为那一点精心编码。不幸的是，固然成立一个友好的人工智能很随便，但成立一个成为ASI后仍然连结友好的人工智能不是不成能，却是个浩荡的挑战。
很明显，要想成为一个友善的ASI，人工智能需要对人类既不仇视也不冷漠。我们需要设想一个对人类价值看有深入的理解人工智能核心。但那比说起来要罕见多。
例如，假设我们试图使人工智能系统的价值看与我们本身的价值看相一致，并给它一个目标，“让人们快乐”，会怎么样？一旦它变得足够伶俐，它就会发现能够通过在人们的大脑中植进电极并刺激他们的快乐中心来最有效地实现那一目标。然后它意识到它能够通过封闭大脑的其他部门来进步效率，让所有的人都成为觉得快乐又无意识蔬菜。假设号令是“使人类的幸福更大化”，它可能已经把人类全数取缔了，转而造造处于更佳幸福形态的一桶桶人脑。当它向我们走来时，我们会大喊等等，那不是我们的意思！但那已经太晚了。那个系统不会让任何人障碍它的目标。
假设我们给人工智能编程，目标是做让我们浅笑的工作，在它跃迁后，它可能会把我们的面部肌肉麻木成永久的浅笑。给它编程，让它庇护我们的平安，它可能会把我们囚禁在家里。也许我们要求它完毕所有的饥饿，而它认为“很随便！”就间接杀了所有的人类。或者给它分配“尽可能地庇护生命”的使命，它就会杀死所有的人类，因为他们在地球上人类杀死生命比任何其他物种都多。
像如许的目标是不敷的。那么，假设我们把它的目标定为“在世界范畴内庇护那一特定的道德原则”，并教给它一套道德原则，那又若何呢？即便不考虑世界上的人类将永久无法就单一的道德原则达成一致，给人工智能下达那个号令也会将人类永久锁定在我们的现代道德理解中。一千年后，那对人们的冲击就像我们被永久地强迫遵守中世纪人们的抱负一样。
我们必需为人类陆续进化的才能编程。在我读到的所有内容中，我认为做得更好的是埃利泽-尤德考夫斯基（Eliezer Yudkowsky），他将人工智能的目标称为连接揣度意志。人工智能的核心目标将是：
我们连接揣度意志是我们的愿看，假设我们晓得得更多，根究得更快，成为我们期看的人，在一路生长得更远；在那里，揣度会聚而不是不合，我们的愿看是一致的而不是彼此骚乱的；揣度是我们期看的揣度，阐明是我们期看的阐明。
Our coherent extrapolated volition is our wish if we knew more, thought faster, were more the people we wished we were, had grown up farther together; where the extrapolation converges rather than diverges, where our wishes cohere rather than interfere; extrapolated as we wish that extrapolated, interpreted as we wish that interpreted.
我期看有足够多伶俐且有远见的人可以想出若何构建友好的ASI。即使只要焦虑大道上那些超卓的、有远见的、隆重的思惟家们努力于建立友好ASI也行。
但是世界上有各类各样的政府、公司、戎行、科学尝试室和暗盘组织在研究各类人工智能。他们中的许多人正试图成立可以自行改进的人工智能，在某个时刻，毕竟有人会获得胜利，我们将在那个星球上拥有ASI。专家的中位数认为那一刻是2060年；Kurzweil认为是2045年；Bostrom认为从如今起头的10年到本世纪末的任何时候都可能发作，但他认为，当它发作时，它会以跃迁的体例让我们感应骇怪。他如许描述我们的情状：
在智能大爆炸的前景面前，我们人类就像小孩子在玩炸弹。那就是我们玩物的力量和我们行为的不成熟之间的不婚配。超等智能是一个挑战，我们如今还没有预备好，在很长一段时间内也不会预备好。我们几乎不晓得什么时候会发作爆炸，虽然假设我们把安装放在耳边，我们能够听到微弱的滴答声。
Before the prospect of an intelligence explosion, we humans are like small children playing with a bomb. Such is the mismatch between the power of our plaything and the immaturity of our conduct. Superintelligence is a challenge for which we are not ready now and will not be ready for a long time. We have little idea when the detonation will occur, though if we hold the device to our ear we can hear a faint ticking sound.
我们不克不及把所有的孩子都从炸弹边上赶走 -- 有太多大大小小的组织在研究它，并且因为许多成立立异人工智能系统的手艺不需要大量的资金，开发能够在社会的角落里停止，不受监控。也没有办法权衡正在发作的工作，因为许多处置那项工做的人 -- 狡诈的政府、暗盘或恐惧组织、像虚构的Robotica如许的隐形科技公司 -- 都想对他们的合作敌手守旧开展奥秘。
处置人工智能研究的那一大群人中特殊令人不安的是，他们往往以最快的速度向前奔驰 -- 跟着他们开发出越来越伶俐的ANI系统，他们期看在前进的过程中把合作敌手打败。最有野心的各方走得更快，对金钱、奖项、权利和名望的梦想，他们晓得假设他们能成为第一个到达AGI的人，就会得到所有那些。而当你以最快的速度冲刺时，没有几时间停下来根究求助紧急。相反，他们可能正在做的是用一个十分简单的、复原主义的目标对他们的早期系统停止编程，就像用笔在纸上写一个简单的条子一样，只是“让人工智能工做”。下一步，一旦他们想出了若何在计算机中成立一个强大的智能程度，他们认为他们老是有时机回往考虑和修改若何在平安情状下实现目标，对吗......？
Bostrom和其他许多人还认为，最可能呈现的情状是，第一个到达ASI的计算机将立即看到做为世界上独一的ASI系统的战术利益。而在跃迁的情状下，假设它哪怕只比第二名早几天到达ASI，它的智力就会远远领先于第二名，从而有效地、永久地压制所有合作敌手。Bostrom称那是一种决定性的战术优势，那将使世界上第一小我工智能成为“单例” -- 一个能够永久为所欲为地统治世界的人工智能，无论它的心血来潮是率领我们获得长生，仍是将我们那个星球上抹往，或者将宇宙酿成无尽轮回。
那个“单例”现象能够对我们有利，也能够招致我们的扑灭。假设对人工智能理论和人类平安根究最深进的人可以想出一个保障办法，使得在任何人工智能到达类人智力后能带来友好的ASI，那么第一个ASI的呈现或许很美妙。然后它能够操纵其决定性的战术优势来确保“单例”的地位，并轻松地监视任何正在开发的潜在不友好ASI，使我们永久处于有利地位。
但是，假设另一面 -- 假设在若何确保人工智能平安的科学得到开展之前，全球急于开展人工智能就到达了人工智能的起飞点，那么很有可能呈现像Turry如许的不友好ASI做为“单例”，我们将得到一场保存灾难。
至于风往哪里吹，帮助立异的人工智能手艺比帮助人工智能平安研究的钱要多得多......
那可能是人类汗青上最重要的一次竞赛。我们确实有时机完成我们做为地球之王的统治 -- 而我们接下来是走向幸福的退休生活仍是间接走向绞刑架，仍然悬而未决，人头头上时刻悬挂着达摩克利斯之剑。
我如今心里有一些希罕的混合觉得。
一方面，考虑到我们那个物种，我们似乎只要一次时机来做好那件事。我们降生的第一个ASI也可能是最初一个 -- 考虑到大大都1.0产物的缺陷，那是很可怕的。另一方面，Nick Bostrom指出了我们的一大优势：我们能够在那里做第一个动做。我们有才能以足够的隆重和远见来做那件事，从而给本身一个强大的胜利时机。那么赌注有多大呢？
假设ASI实的在本世纪发作，并且假设其成果实的像大大都专家认为的那样极端 -- 并且是永久性的，我们的责任就变得浩荡。将来100多万年的人类生命都在静静地看着我们，尽可能地期看我们不要把工作搞砸。我们有时机成为给所有将来的人类以生命的礼品，以至可能是无痛、永久的生命的礼品。或者我们将成为将它搞砸的人 -- 让那个有着音乐和艺术、欢声笑语、无限创造的令人难以置信的特殊物种走向尽头。
当我在根究那些工作时，我独一期看的是我们能渐渐来，对人工智能无比隆重。存在的任何工具都不如把它弄好重要 -- 无论我们需要花多长时间才气做到那一点。
但是，我想的是不要死往。那时看起来有点像如许：
然后我可能会认为人类的音乐和艺术是好的，但现实上并没那么好，良多工具现实上就是坏的，良多笑声是令人厌恶的，那些数以百万计的将来人现实上其实不期看得到什么，他们其实不存在。并且，也许我们不需要过火隆重，因为谁实的想那么做？
因为在我刚死不久，长生便被创造出来了，那将是一个多大的遗憾和羞耻。上个月，我脑子里各类那种思路翻来覆往。
但无论你撑持哪一面，我们都应该根究和讨论那件工作，而且需要你更多的存眷和投进。
那让我想起了《权利的游戏》，人们不断在说：“我们忙着互相争斗，但我们实正应该存眷的是来自长城以北的工具。”我们站在我们的生命平衡木上，为生命平衡木上的每一个可能的问题争吵，为生命平衡木上的所有那些问题感应严重，而我们很有可能会被碰下生命平衡木。
而当那种情状发作时，那些平衡木上的问题就不再重要了。根据我们被碰下来的那一面，那些问题要么都很随便处理，要么我们将不再有时机处理 -- 因为灭绝了。
那就是为什么领会ASI的人称它是我们人类最初的创造，也是我们最初的挑战。
本文末，假设你对那个话题感兴致，欢送与我们讨论，也能够至waitbutwhy.com上阅读更多其他内容。
万字长文解析AI革命：超智能之路，长生，亦或是消亡（Part I）
万字长文解析AI革命：超智能之路，长生，亦或是消亡（Part II）
求存眷 + 三连，END
欢送拜候aispacelab.cn，开启AI奇异路程！
