独家丨李志飞将在大模子范畴创业，做中国的 OpenAI

ChatGPT 的爆火点燃了 AI 大模子时代，李志飞告诉极客公园，本身将全力投进此中。

做者 | 凌梓郡

编纂 | 郑玄

ChatGPT 爆火后，新的共识正在逐步构成：语言大模子将成为下一个科技时代的超等加速器。中国也需要本身的 AI 大模子。而有才能做那件事的人选其实不多，李志飞是此中之一。

做为科技创业圈最资深的天然语言科学家之一，李志飞身世美国纽约霍普金斯大学语言处置尝试室，博士期间不断研究机器翻译和天然语言处置。分开大学后，李志飞加进谷歌 AI 团队，主导开发了包罗谷歌手机版离线翻译等一系列产物。2012 年，他抉择回国，在语音交互范畴创业，创建出门问问。

ChatGPT 火起来之后，他一个月两次前去硅谷，和来自 Open AI、谷歌、DeepMind 等各家的工程师和科学家交换取经。「AI 大模子的元年」来了，那是他最曲看的感触感染。一番调研之后，他大白那场大模子之战，参赛选手不行巨头，也不会是只要一两个幸存者的「保存游戏」。

语言模子、人机交互，变化发作在了李志飞进修、研究、工做了十几年的范畴。他告诉极客公园，已经下定决心投身此中，做一个中国本身的语言大模子。

「我不断想做一个我能做，我喜好做，同时也能成立壁垒的工具。」他表达，早在 2020 年 GPT-3 刚发布时，他就提出 GPT-3 是「暴力美学」的成功，看到了通往 AGI 的可能性，并最早动手开发 GPT-3 中文版 UCLAI。

近日，李志飞和极客公园停止了一场近两个小时的交换，分享了本身对大模子、ChatGPT 的观点，以及本身接下来在那个范畴创业的构想。

以下是对话实录，由极客公园整理。

01

展开全文

「那就是 AI

大模子时代的开启」

极客公园：怎么理解那场 ChatGPT 带来的狂热海潮？新在什么处所？为什么各人如今那么兴奋？

李志飞 ：ChatGPT 始于一个基于统计的语言模子，通过千亿级参数的操练，让它拥有了各类才能，能够快速学会各类使命。此次通俗老苍生都体验到，ChatGPT 在语言表达、答复常识性的问题、多轮对话的上下文逻辑等方面的表示，带来的体验超出所有人的期看。它能够编程、做算术题、写诗，以至某种水平上比实人做得都要好。

极客公园：除了震动的体验自己，在创业者或者本钱看来，是怎么把它看成一个变化性的贸易时机的？

李志飞 ：我过年第二天就再次跑到美国往，初志就是想领会有没有人清晰那是怎么搞出来的，为什么大模子那么凶猛。

我跟 Google、OpenAI、DeepMind、Meta、Amazon 的人聊，即便手艺大牛都还不清晰 ChatGPT 若何拥有那种才能。但是各人可以看到良多现象。第一，用户太疯狂了；第二，美国太疯狂了，在美国出名孵化器 Y Combinator，可能有三分之一以上的项目都是基于大模子做的利用。

所有人都认为，那是 AI 大模子时代的开启，就像 2010 年挪动互联网时代一样。不到硅谷，亲身感触感染到 AIGC 的炽热，我不会下定此刻是「AI 大模子时代」那一结论。我天天七八个会从早说到晚，喉咙都是哑的，都是讨论那个工具。让你觉得那就是一个时代的初步。

图片来源：DeepMind

极客公园：对那个时间节点，良多人将其比做挪动互联网的 iPhone 时刻。各人已经想清晰那是一场如何的变化了吗？

李志飞：为什么说如今 AI 大模子出来，各人像 2010 或 2011 年的时候看挪动互联网一样？我 2010 年在硅谷，昔时所有人都觉得挪动互联网是一个大事，但所有人也都觉得贸易形式不清晰，因为屏幕太小，告白做不了，并且收集信号也欠好。但是其时各人看到几个工具，好比屏幕体验已经很好了，3G 通信也能用了，在路上发邮件查餐馆虽慢一些，但是 GPS 很准。

我对如今也有那种觉得，曲觉那是一个大工作。美国创投在 2022 年 10 月已经醒觉了，其时我在美国，有一位红杉的投资者跟我说，李志飞，你的时代到了。我说为啥？他说你晓得吗？在美国，红杉所有的治理合伙人只讨论 AIGC，此外项目都不看了。

极客公园：今天，投资 AIGC 仍是良多 VC 的看点，但比来各人关于底层 AI 大模子的热情也涨起来了。那是什么原因？

李志飞：如今良多人把 AIGC、ChatGPT、AI 大模子搅在一路。要先理清晰那三个是差别的概念。更底层是 AI 通用大模子，上面能够做 AIGC，好比说 Midjourney 能够画画，Jasper 能够写案牍等；也能够基于底层模子做对话机器人，好比基于ChatGPT。在美国，除了 OpenAI 和巨头，还有别的三、四家创业公司也都在做 AI 通用大模子，都有大几亿美金的投进。

但是在中国，你突然发现，要进进 AI 大模子时代，底子就没有一个根本的、能玩得好的 AI 大模子，怎么做利用？假设如今是挪动互联网的初步，安卓、 iOS 是不是超等重要？但是今天中国欠缺大模子时代的安卓、 iOS，所以底子没法开发利用。即便中美完全通顺，以今天中国科技的兴旺水平，以及本钱的力量，AI 大模子必定也是一个必需的根底设备。

极客公园：AI 大模子就是 AI 时代的操做系统级此外存在？

李志飞：我不太想把它比做操做系统，也不想把如今看成 iPhone 时刻或者网景时刻。因为我觉得所有那些比方，城市让我们错误地往揣度那个工作。假设把它比做操做系统，按汗青看我们会觉得中国必定没戏；假设把如今看成网景时刻或 iPhone 时刻，那创业者应该抉择往做一个网站或挪动 APP，但如今中国缺的反而的是一个大模子时代的阅读器或 iPhone。

别的从形态来讲，无论是阅读器，仍是硬件，仍是安卓 iOS，都是一个离线的工具，或者是一个静态的工具。

AI 大模子是一个跟数据、营业高度合成，需要动态迭代开展的一个存在，它是个 service，下面不断在变，和利用深度的合成。它远远比昔时静态的事物要愈加有多样性，有更多可能性。

极客公园：更接近一个新时代的云。

李志飞 ：我觉得比方成智能云 OS 更好一点，那是一种整合的活动的 Service。但凡离线的、硬件的、实体的来类比，AI 大模子城市被带偏。任何对它汗青形态的简单回纳，都有可能束缚关于它的准确理解。

02

「它可能让整个

价值链都从头塑造」

极客公园：既然不克不及做定义，怎么理解目前 AI 大模子展示出的超强才能和想象空间？

李志飞：在我看来，它是一个「通用的认知引擎」。起首它有超强的语言才能，在进修语言的过程中，也进修了良多常识和逻辑。有了那些根本才能后，就能快速拥有做各类使命的才能。

好比说只需要给它少量的数据，就可以做翻译。原来它只懂中文，但假设你给了一万个中英互译的例子，它就可以很快做好翻译。就像打通任督二脉一样，它很快就可以本身把才能通同。

所以那个认知大模子的才能会带来良多可能性。好比拿如今的大模子加一些卵白量构造的数据，它展示出来的揣测构造的才能，很可能就比不是基于语言大模子的其它模子效果要好得多。

极客公园：为什么通用大模子会有那么强大的潜力？

李志飞：模子学会了十分底层的构造和机造。万物都是天然产生的，语言也好，生物构造也好，它必然契合某种我们目前难以阐明的法例。模子颠末互联网上所有的数据操练之后，它也获得了某种属于本身的解读体例。

极客公园：那种才能是通过进修语言获得的吗？

李志飞：语言是底层的打破，现在通用性表示在，那个系统可以通过语言模子，做各类各样的使命。以前的语言模子只能做某一个详细使命。好比有一个操练好的预操练模子，有潜力做良多使命，但是一旦停止 Fine Tuning (微调）之后，就只能做一个使命了。微调让它处置使命的准确率更高，但却是以丧失多使命才能为代价的。

如今的通用大模子，即便停止了微调后，照旧能够做多个使命。预操练的核心是让它有根底的认知和逻辑才能，通过微调引导，让它可以在各项使命上处置得更好，晓得怎么利用已有的常识。

极客公园：就像让一小我上完大学之后，获得了根底才能，然后能够处置差别的岗位，做差别的工作。而不是在幼儿园的时候，就起头操练它拧螺丝。

李志飞：那个比方很对。以前做某个零丁使命，好比机器翻译，就像一上来就教它拧螺丝。当然那也需要必然的语言逻辑和常识才能。但是假设第一天只教了拧螺丝，比起先让它读大学，然后再教它拧螺丝，可能后者拧得更好。第一是学得快速高效，好比之前可能要教 5 年，如今只要教 5 天就行了。第二，不单能够拧螺丝，还能够教它写论文，做传授。只要用很少量的例子，就能够让它快速进修。

极客公园：如许通用大模子的呈现，关于 AGI（通用人工智能）意味着什么？

李志飞：本年能够说是 AI 通用大模子的元年。关于 AGI 来说，我认为是明白有光，越来越迫近，也可能永久都不克不及抵达。今天人类的智能可能也没有被发掘足够。AGI 的天花板可能是人类集体智能的一个聚集。假设你把全世界每一小我具备的才能，以及特异的工具都聚合在一路，看成一个笼统同一体，那就通向集体智能。

假设如许假设，如今是那个阶段的起点。

极客公园：假设说如今我们可以看到基于 AI 带来的全重生产力。它会给现实带来如何的影响？

李志飞：如今 ChatGPT 或 AIGC，还存在于虚拟世界，搀扶帮助人类提拔效率，好比主动化一些步调、做一些反复的工做，或者给一些脑暴 idea。将来三五年，都是人的得力助手。

图片来源：DeepMind

我们为什么觉得它凶猛，后面的利用可能远超互联网，因为那是一个「通用的认知模子」。一旦把那个办法论、根底放到差别范畴，可能会重塑良多工具。

我觉得它可能实的会让整个价值链都从头塑造。好比关于法式员，以后能够用天然语言沟通，供给数据，模子间接写法式。那可能就会招致计算范式产生浩荡的改动，操做系统、散布式计算、以至芯片自己的大部门工做，城市从法式驱动酿成数据驱动。那种改动发作以后，今天还有生意的一部门企业，可能再过 10 年就没生意了。

03

「AI 通用大模子

是一个核兵器，

它是有时间窗口的」

极客公园：2020 年 GPT-3 出来的时候，各人挺震动的，国内也热过一波。在阿谁改变发作的时候，各人没有往把它继续不竭地做好，是因为什么？

李志飞：笼统地说，第一，没有关于 AGI 的崇奉；第二，就算你有崇奉，像我那种已经产生的崇奉，而且其时也操练了 GPT-3 中文版 UCLAI，但仍是不敷勇敢；第三，到施行层面，也没有足够的钱；第四，没有一个有实在用户的线上大模子，就没有产物和数据闭环。GPT-3 从 2020 年已经在线上跑了，拿到数据，然后每个礼拜从头优化迭代。

GPT-3 中文版 UCLAI | 图片来源：出门问问

极客公园：在国内，功用性、公用的 AI 很早就在各个场景里利用了，但是各人更多往考虑利用场景，而没有对大模子的革命力有更多的想象。

李志飞：对，适才只是讲了一些笼统的工具。整个土壤纷歧样，土壤孕育的人也纷歧样。人和钱都很重要。好比美国，有一批财政自在的人，老是要干一些跟他人纷歧样、超等不确定的工具。以至有时候十分偏执。OpenAI 前三年在毫无营收的前提下，每年烧 5 亿美金。

咱们对不确定性的工具，天然比力惧怕，但跟 10 年前比好太多了。10 年前中国是什么情况，其时我回国做中文版 Siri，做一个语音 APP，各人都觉得如神一般。假设我今天只是把 API（Application Programming Interface 利用法式编程接口）包拆一下，做一个 ChatGPT，各人就会觉得盗窟。因为各人已经起头熟悉到，需要 10 亿美金砸里边做大模子。

极客公园：假设说今天就像哥伦布已经发现新大陆，在中国我们要往复现属于本身的 AI 大模子，是如何的难度？

李志飞：起首，我们晓得新大陆必定有金子；第二，我们可能晓得道路是什么样子，但没有特殊精准的地图。我们晓得 LLM 可以实现，也可能晓得它的原理是什么样子，但是做的过程中，必定有无限的风波，有良多决定需要往做，才气够抵达彼岸。

如今市场上传播着中美之间的差距是两年，或者不到两年。我觉得，假设如今有足够多的钱、算力、人，我们今天起头搞一个中文 ChatGPT，能够做到和它性能差不多或者差一点，那就是我们培育提拔的一个大学生。人家的大学生如今已经 80 分了，我们培育提拔的是 60 几分，只要勤奋，后面升到 80 分也越来越快了。

极客公园：比力而言，目前中国做 AI 大模子，有什么优势，有什么优势？

李志飞：先说短处，关于大规模的 AI 大模子，我们的人才长短常少的，因为中国没有怎么操练出过好的大模子。过往我们的模子参数可能也良多，但不是通用的，语音识别、TTS、人脸识别都零丁做一套，所以办法论也有点纷歧样。仍是以大学生比方，目前中国操练的大模子可能只要 40 分，没到 60 分。只要先做出一个 60 分的大模子，有了自学才能，才气靠勤奋勤奋升到 80 分。

同时我们也有优势，好比在数据层面，能够标注海量的数据，能够做精修；第二，假设标的目的很清晰，中国是很擅长「暴力美学」的。

极客公园：关于 AI 大模子，目前所有人都说不清晰贸易形式、最末产物形态是什么样。在那种不清晰的形态下，在中国，做一个小一点的工具，间接通向某个目标，是不是更适宜？

李志飞：我觉得，最一流、最前沿的投资者，那一时刻可能率会抉择更大的工具，因为垂曲范畴的工具底子就不消焦急。各人都晓得通用 AI 大模子是一个核兵器，它是有时间窗口的。人才壁垒、时间壁垒、数据壁垒、资金壁垒一旦成立起来，小的团队就没有戏了。

目前，美国做通用 AI 大模子的融资窗口就已经关了，除了 OpenAI 以外，好几家都有大几亿美金。除非有超等牛的人进来，不然不会再有 VC 再进往。

极客公园：假设将来中国也呈现了一个类似 OpenAI 的大模子，以及垂曲范畴的细分模子，将来的财产形态会是如何？

李志飞：必定不会是一个大模子。在美国，可能 Amazon 会有一个，不论是本身做，仍是收买，微软和 OpenAI 会有一个，Google 会有一个，创业公司还会有一两个。它是一个通用认知模子，后面还有各类各样的贸易形式，好比在金融范畴做一个利用的模子。但是前提是你有了一个 60 分的大学生，才气通过勤奋勤奋学会搞金融。

我觉得大模子的数量不会像以前互联网操做系统那样就两个，那是一个静态的工具。因为我们如今想象不出来通用大模子到底还能做出什么，在此外利用范畴是不是能重塑各类各样的形态。好比造造业，可能也要有一个，但前提是要有通用大模子的才能。

04

「如今要争分夺秒

拿到参赛门票」

极客公园：现在情况在改变，有决心的人也在呈现，好比王慧文。足够丰裕，敢冒风险的人有了，投资人也呈现了。有了那些前提后，做那件事还有哪些难点和不确定性？

李志飞：手艺之外的因素，好比 CEO 和首席科学家是不是在某些决策，或者对时间的期看可以达成关键一致？好比，首席科学家要花 1 亿人民币买 1000 张显卡，三个月之后才气操练出一个参数 1000 亿的模子。假设 CEO 特殊暴躁，说 1 亿人民币，三个月以后还不晓得能不克不及做出来，问一个月做出来 500 亿参数的行不可？看起来很简单的工具，假设两边的揣度纷歧致，可能会招致下不了决心，或招致动做变形。找人工智能科学家难，怎么用好人工智能科学家更难。

高层对时间、节拍、投进的认知要达成高度一致。包罗投进几钱、几数据、几人、几算力。团队之间也是一样，还会碰着良多工程抉择，好比做模子，是用更多的预操练数据，仍是往标注更多的数据？在模子构造里，是把所谓的 context 长度变长，仍是把字符向量表达得宽一些？至少有几十个超参数需要往处置。每个超参数随意一变，就可能影响你的时间、钱、要用的 GPU，最初成果还不确定。

极客公园：浩荡的工程量面前，影响成果的不确定性因素良多。

李志飞：那些 OpenAI 也不会告诉你谜底，他可能测验考试过良多，什么样的数据、办法论，以及投进的预算是更优解。即便他把参数给你，你可能也纷歧定能搞对。

所有因素，假设高层不克不及很好地与法式员沟通，就会有风险。还有施行层面，数据清洗得好欠好；GPU 的并行操练处置得若何，使得 GPU 的操纵率比力低；数据的标注量量是不是足够好；各个模块可能有几百个因素，假设一个因素没有弄好，要么浪费钱，要么训不出来。

极客公园：要处置那些问题，关于如许手艺公司的 CEO 是一个浩荡的考验。

李志飞：绝对的。在那一刻的起点，首席科学家必定是最重要的。

极客公园：做如许一个领军人物，除了对手艺领会，也要会杀伐定夺，聚集人才，除此之外还有什么特征很重要？

李志飞：很难往归纳综合，但是能够类比。好比在硅谷，怎么揣度一小我是不长短常 technical 或者是很硅谷范儿，你只要问他几个问题就晓得了。

那是认知体味带来的交换效率。学术界高手过招也是如许，好比有些问题我已经冥思苦想了很久，各类办法都试过，我晓得对方也在做那个工作，我们可能只花 5 分钟交换，就能对齐谜底。他可能说一个名词，说哪一篇论文是能够做那个工作的，或者哪篇论文里边哪一部门是能够处理那个问题的，你立即就晓得此人的才能条理。他能根究到那个水平，必然是一个很长的过程。哪怕我们对问题的定义纷歧样，两边至少在那个处所实的是深度根究过。

极客公园：怎么看目前大模子的合作情况？时间节点是如何的？

李志飞：若何与巨头合作，目前还答复不了。顶级投资者更关心的是花几钱能搞出来，是不是能做成。

在我的想象里，到明年 6 月，只要你能做出那个 60 分的根底大模子，哪怕市场上有 5 个，都能进进下一轮竞赛。如今要争分夺秒拿到参赛资格，想太多只会让你踌躇，觉得风险太大。假设是做垂曲大模子或利用，一点都不要急，渐渐来。

05

如今到了我的主战场，

必然要参与

极客公园：那你本身是怎么做决定的？

李志飞：那是我的主战场，我必然要参与。我读了多年的 NLP 博士，在 Google 做的也是语言翻译相关工做，创业十年做语音交互和生成式 AI。如今 NLP 范畴有如斯大事，中国也需要本身的通用大模子，此时不做，更待何时。

那是我的专业，也是我的热情，同时也相信能成立深挚壁垒和深远价值。关于壁垒，我此次往美国之前总觉得 Google 是不是很随便做出 ChatGPT。但跟良多人聊完以后，我意识到那里边其实能够成立良多壁垒，Google 要立马做到 ChatGPT 那种程度也不随便。

极客公园：你也要做中国版的 OpenAI？

李志飞：中国版 OpenAI 只是让向公家描述那件事更随便。但最核心，我看好的仍是「通用的认知模子」自己。两年前我就已经动手做大模子了，是国内最早起头认实做大模子的一批。

2020 年，GPT-3 刚出来我们就操练过一个大模子 GPT-3 中文版 UCLAI，在此根底上，我们做了文言文和白话文翻译、古画生成、音乐合成等方面的理论，也胜利做出了业界 Top1 的配音产物「魔音工坊」等，拥有国内更好的 AIGC 用户量和营收规模，在世界范畴也仅次于 Midjourney 和 Jasper。

李志飞在IF立异大会 2021上分享GPT-3｜来源：极客公园

极客公园：如今做大模子，你会有什么新根究？

李志飞：假设如今我再做通用大模子，得把骨架造得足够不变，具有很强可塑性，然后再往精雕。就像造乐山大佛，有了骨架之后，再把鼻子、眼睛、手修得很标致。当你实的具备 60 分大学生的才能之后，我们能够通过勤奋把那个大学生培育提拔得十分好。

在此根底上我还要立异。一切跟着 OpenAI 搞没有意义，也纷歧定能跟上，我们要立异。

极客公园：你创业也挺长时间了，过往的履历，对做今天那个事有什么意义吗？

李志飞：过往所有的履历，都是有益的财产。起首，让我有更精准的揣度力。第二，更丰富的工程理论与综合才能。

如今做那个，我只招最凶猛的人做最核心的手艺。并且更有持久主义的定力，而不是做短期有停顿、持久有消耗的工作。

极客公园：你曾经是科学家，创业那些年之后，有什么改变吗？你怎么定位本身？

李志飞：我是有科学家思维的 CEO。我能跟科学家、工程师深度沟通，与科学家一路造定道路，成立自信心，让整个团队力朝一个标的目的使，那也是 OpenAI 能胜利的很重要因素。

极客公园：王慧文的声势也很强，有了资金后，总能招到优良的人。你会 care 那件事吗？

李志飞：人是最重要的因素，每一家创业团队城市有本身的核心合作力。但第一阶段最重要的是：找到实正懂核心手艺的人才，而且能用准确的体例和节拍跟他们协做。

极客公园：你是若何方案的？

李志飞：短期目标是把一个 60 分的通用大模子给做出来。中持久而言，有了 60 分的根底模子后，我会花鼎力往把它打磨成 80 分，从而能够在实正的贸易场景里不变利用。我的优势是对通用 AI 手艺有十分浓郁的兴致，也对将来手艺会怎么演化有本身的揣度和掌握，那使得我可以在那个赛道里长跑。

我心中已经有清晰道路图，并看到了阿谁结局。

本文为极客公园原创文章，转载请联络极客君微信 geekparkGO

极客一问

你觉得还有谁

合适来做 AI 大模子？