大厂大模子：久违的一把手工程
没有踌躇的时间，共识很快达成。
来源 | 晚点(ID:postlate)
摘访丨程曼祺 时娴 祝颖丽
文丨程曼祺 张家豪
编纂丨程曼祺
比来 4 个月，整个世界因 ChatGPT 进进快进形态。几乎每隔几周，比来是每隔几天，就有人工智能新停顿刷新新闻版面，也刷新人们的认知。
面临 ChatGPT 和背后的大模子时机，中国科技大公司的共性是，一把手亲身跟进。
字节跳动开创人张一喊起头看人工智能论文了。一位字节人士称，张一喊近期时常会和一些字节人士分享论文进修心得和对 ChatGPT 的根究。他在两年前已卸任字节跳动全球 CEO，但仍然是字节严重战术的策划者。
阿里巴巴董事局主席兼 CEO 张勇忙着对阿里做大重组，但也亲身盯阿里的人工智能新项目，阿里将在 4 月 11 日举行的云峰会上发布大模子停顿。
在百度起头文心一言内测前，百度开创人兼 CEO 李彦宏每晚和项目团队开会，他们为筹备产物以至一度睡在公司。
腾讯和华为治理层也公开表达了对大模子的重视。3 月底，腾讯总裁刘炽平在财报德律风会上说，生成式人工智能可成为腾讯已有营业，如社交、游戏的 “倍增器”，也可搀扶帮助开辟数字助手、搜刮等新增长线；腾讯正在加速推进大模子 “混元”。
华为开创人任正非 3 月中旬参与华为 “难题揭榜火花奖” 颁奖座谈会时称，华为会做底层算力平台：“将来 AI 大模子会如火如荼，不但微软一家。ChatGPT 把计算、管道流量撑大，华为的产物就有了时机。”
中国互联网和科技行业，很久没有像如许同时对准一个目标了。即便是疫情前各公司密集进进，押重视金的社区团购置菜营业，也没有现在的气象。
展开全文
除上述最被存眷的公司外，从 GLUE（通用语言理解测评）、 CLUE（中文语言理解测评）榜单看，快手、美团、京东等互联网公司，科大讯飞、商汤等人工智能公司，和 OPPO、vivo 等智能硬件公司也都发布了本身的大模子。
没有踌躇的时间，共识很快达成。与过往更多处置特定使命的人工智能差别，以大模子为根底的人工智能要通用得多，它既能够帮你列出摘访马斯克的问题，也能给出一份能源市场阐发框架，仅靠简单的语言描述，它就能生成一幅奇异光景或 logo 设想草图，以至是动态视频。
在前沿手艺的跨国畅通不再那么畅达的今天，中国市场需要本身的大模子。能供给本土更好大模子的公司，会获得极高贸易回报。那一新手艺可能很大水平改动人们获取信息（搜刮）、与人互动（社交）、创造内容（游戏、短视频、常识工做等）的体例与效率。
OpenAI 并未公布过操练 GPT 系列模子的成本，据预算，即便是三年前操练 GPT-3 时，破费也高达上万万美圆。大公司更有资本跟进那一高门槛标的目的，但他们也需要处理连续串大公司转身时的挑战，此中良多不只关于手艺。
01
一个共识：
同时做模子层和产物层
已相对清晰的是，大都中国大公司都在同时做大模子和基于模子的利用。那是在跟从 OpenAI 的理论。
ChatGPT 自己是一个利用层产物，它背后是 OpenAI 自 2018 年陆续推出的 GPT（Generative Pre-trained Transformer）生成式语言大模子系列。 后者是前者的手艺底座和才能支持，前者为后者继续供给用户反应与新数据。二者构成一个轮回飞轮。
详细利用标的目的上，综合公开报导和我们领会的信息。字节将在抖音、TikTok 搜刮和图片 / 视频生成标的目的发力。字节可能会在抖音、TikTok 中推出类似微软问答搜刮引擎 New Bing 的功用。图片 / 视频生成则次要办事字节贸易化需求，以搀扶帮助字节告白客户更便利、低成当地造造视频。一位字节人士称，字节告白客户投放总成本里有 10%-20% 为视频造形成本，从往年起头，字节已在开发一些相关产物帮告白客户压缩那部门投进。
往年 6 月腾讯发布混元大模子时称，混元已被用来理解告白内容，以搀扶帮助更精准地把告白投放给特定人群，该模子也已在向告白主供给图像、视频生成才能。微信搜一搜功用本年也已利用了混元大模子，让搜刮成果的相关性排序变得更准确。
微信往年 10 月也推出了数百亿参数的通用语言大模子 WeLM，有续写故事、翻译、饰演角色的才能，好比你能够通过 WeLM 问马斯克，收买了 Twitter 后他预备怎么干。
阿里可能会连系云、电商场景，推出基于大模子的一些新办事或功用。大模子与云的连系构想与百度类似。电商的以文搜图找产物、精准选举、数字人曲播、店展告白物料生成和产物内容生成等流程上都有大模子和生成式 AI 手艺的用武之地。阿里智能音箱天猫精灵近期也在做手艺测试，接进了大模子才能以实现更好的多轮对话效果。
阿里还在研发类似 ChatGPT 的对话机器人产物形态，3 月底已对员工开放内测。一名参与测试的阿里人士称，它的运算才能还比力差，会算错个位数加减乘除，整理周报时会本身生成几条原周报里没写的事。据领会，下周举行的阿里云峰会上可能会公布相关停顿，该产物不会间接 to C，测试对话形态次要是为了让企业客户体验产物才能。
百度的大模子目前的内部利用标的目的有搜刮、云办事、小度智能音箱和智能交通 / 主动驾驶等。搜刮产物形态可能也类似 New Bing；百度智能云估量将来会开放大模子 API 接口，以搀扶帮助协做伙伴搭建详细利用，或间接供给一些打包好的 SaaS 产物；在智能交通上，百度地图本周推出的新版本中已嵌进了文心大模子才能，百度称新版本可优化交通调度效率，还能让地图更好天文解用户发出的指示，节约沟通时间。
阿里和百度都已在建立大模子生态，即以云平台输出模子才能，支持更多利用生长。阿里在往年的云栖大会上提出了 MaaS（模子即办事，Models as a Service），李彦宏在半个月前发布文心一言时也提及了那一概念。阿里往年 11 月初推出模子社区 “魔搭”，上线时搜集了达摩院的 300 多个开源模子。百度在其深度进修框架飞桨平台中设置了供开发者挪用的 “模子库”。
02
字节跳动：本年初组建团队
横跨多国、多部分
沿着 OpenAI 蹚出的路，同时做模子和利用的中国各科技公司均拉出了多部分协做阵容：由有资深人工智能布景的手艺高管领头模子层开发，同时调集产物团队撑持基于模子的利用。
字节本年初才起头组建专门的大模子团队。但集结颇为敏捷，参与部分浩瀚，国内国外均有散布。
那之前，字节于 2021 岁尾调整组织架构，分立六个事业部（抖音、鼎力教导、飞书、火山引擎、游戏和 TikTok）；同时保留了独立于营业的中台手艺部分，做通用底层手艺；另有一些手艺团队分流到了差别事业部，报告请示给事业部负责人。
据《晚点 LatePost》领会，目前参与字节大模子的手艺负责人有白文佳、项亮、李航等，他们分属字节多个部分。
此中白文佳是字节大模子的第一负责人。他是 TikTok 产物手艺负责人，字节搜刮部分也向他报告请示。字节大模子的次要利用标的目的之一便是优化抖音或 TikTok 的搜刮。
项亮为手艺中台下的 Data-AML（数据-利用机器进修） 负责人，他是选举算法的重要奉献者。AML 近期新成立了一个与大模子有关的项目 ByteBM。往年分开阿里巴巴达摩院，后加进字节跳动的杨红霞即在项亮团队。她曾担任达摩院资深算法专家，是阿里 2021 年发布的多模态大模子 M6 的核心手艺人员之一。
李航是字节 AL Lab（人工智能尝试室）总监，他曾担任华为诺亚方船尝试室主任和首席科学家，2017 年加进字节，研究标的目的包罗信息检索、天然语言处置、机器进修、数据发掘等。AI Lab 旗下 NLP（天然语言处置组）组也在参与大模子开发，间接负责报酬陈家泽，他 2017 年从北大计算机系硕士结业后加进字节任算法工程师。
一位字节人士评判，从学术研究到营业落地的光谱上，李航在最左端，中间是项亮，最右是白文佳，他有 “综合的工程和手艺治理体味”。
白文佳 2015 年加进字节，那之前他在百度担任搜刮部主任架构师，研究标的目的为选举算法。2019 年，墨成为今日头条 CEO，2021 年 2 月，调任为 TikTok 产物手艺负责人。
在产物与利用上，字节在 2019 年推出了巨量创意平台，能够帮告白客户造造视频内容，降低造造门槛和成本，大模子会进一步提拔内容生成的量量和效率。该平台从属字节贸易化产物与手艺团队，总负责报酬刘小兵，他曾任谷歌大脑软件工程手艺负责人，2018 年加进字节。
字节参与大模子的团队散布在多个国度，白文佳的团队在新加坡，项亮团队在美国西雅图，李航指导的 AI Lab 在北京。
大模子是中美两国政府存眷的人工智能前沿手艺，它的开展也离不开高端计算芯片和海量数据。将来字节将若何安放大模子团队的中美散布和分工还不确定。
03
百度、阿里、腾讯：
首席科学家挂帅，履历人才流失
百度、阿里、腾讯的大模子团队，均由集团内手艺一号位或首席科学家负责。
在 ChatGPT 引发的热潮前，那 3 家公司均已发布过大模子：
百度于 2019 年推出 ERNIE 1.0，即后来的文心大模子，目前已更新到 3.0 版本；
阿里于 2021 年持续发布语言大模子 Plug（后改名为 AliceMind）和多模态大模子 M6，往年 9 月，两个大模子合并为阿里通义大模子；
腾讯在 2022 年 6 月发布混元大模子，目前更新至 2.0 版本。腾讯微信团队往年 10 月也发布了大模子 WeML。
在 ChatGPT 引发的热潮前，那 3 家公司均已发布过大模子：
百度于 2019 年推出 ERNIE 1.0，即后来的文心大模子，目前已更新到 3.0 版本；
阿里于 2021 年持续发布语言大模子 Plug（后改名为 AliceMind）和多模态大模子 M6，往年 9 月，两个大模子合并为阿里通义大模子；
腾讯在 2022 年 6 月发布混元大模子，目前更新至 2.0 版本。腾讯微信团队往年 10 月也发布了大模子 WeML。
综合此前报导和我们领会的信息。百度大模子的开发由百度 CTO 王海峰领衔，他也是文心一言产物的第一负责人。王海峰之下，百度集团副总裁吴甜的团队是开发天然语言处置手艺的次要团队。吴甜于 2006 年加进百度，2010 年进进天然语言处置部，2020 年升任副总裁，整体负责百度 AI 手艺平台和智能云 AI 产物。
阿里达摩院自 2020 岁首年月起头同时研发多模态大模子和语言大模子，目前阿里的大模子研发仍放在达摩院，负责报酬阿里云智能 CTO 周靖人。他结业于中国科学手艺大学，获哥伦比亚大学计算机博士学位，曾任微软前研发合伙人，2016 年加进阿里，任阿里云首席科学家。
详细参与大模子开发的是达摩院 AI 团队，包罗昔时推出 M6 的达摩院旗下智能计算尝试室和推出 AliceMind 的语言手艺尝试室。此中智能计算尝试室主任为周靖人本人，语言尝试室现主任为黄非，他向周靖人报告请示。黄非结业于卡耐基梅隆大学计算机学院，2018 年加盟达摩院，曾在 IBM 和 Meta 研发天然语言处置手艺。阿里两个尝试室目前共有约百名研发人员参与大模子开发。
腾讯则在 2023 岁首年月组建了混元助手项目组。据《36 氪》报导，该项目由腾讯更高级（17 级）研究员、腾讯首席科学家张正友负责，其下有数名产物司理和组长参与，他们来自腾讯差别的事业群，包罗手艺工程事业群（TEG）、平台与内容事业群（PCG）和云与伶俐财产事业群（CSIG）等。跨事业群开发详细产物在腾讯相对少见，那侧面反映了治理层对大模子的重视。
相对独立的微信团队，也开发了本身的大模子，即 WeML。据项目官网，其最新更新日期是往年 10 月。腾讯在大模子上能否也会停止多团队 “赛马” 还不确定。
百度、阿里、腾讯都集结了公司更好的手艺力量投进大模子，不外他们过往几年流失了一些重要的人工智强人才。
腾讯大模子负责人张正友特长于机器人，他于 1998 年提出 “张氏标定法”，在机器人掌握范畴影响深远。他最后加进腾讯时担任机器人尝试室 RoboticsX 负责人。大模子则更多与天然语言处置手艺有关。
腾讯本有张潼坐镇那一标的目的，他在 2017 年春加进腾讯担任 AI Lab 主任。张潼是机器进修范畴专家，拥有斯坦福大学计算机硕士、博士学位，曾任美国新泽西州立大学末身传授，IBM 研究院研究员和雅虎研究院主任科学家，研究范畴包罗计算机视觉、语音识别、天然语言处置和机器进修等。
2018 年 12 月，张潼分开腾讯重返学界，加进香港科技大学，张正友接任 AI Lab 主任。2019 年-2021 年，分开腾讯的人工智能专家还有腾讯优图尝试室前结合负责人贾佳亚，腾讯原副总裁、AI Lab 开创人姚星等，他们都抉择了创业。
阿里达摩院近年也有多位科学家分开。据《晚点 LatePost》领会，与大模子间接相关的去职人员除已加进字节的杨红霞，还有往年去职的原语言手艺尝试室主任司罗，他是阿里两年前启动语言大模子 Plug（AliceMind）时的详细负责人。司罗拥有卡耐基梅隆大学计算机博士学位，曾任美国普渡大学计算机系末身传授，2014 年加进阿里担任 iDST （数据科学与手艺研究院）NLP 团队负责人。
2020 年以来，达摩院还有原副院长金榕，两任主动驾驶负责人王刚、陈俊波等人工智能手艺专家分开，金榕加盟推特担任研发 VP，后两者抉择创业做清洁机器人。
百度是所有中国互联网大公司里，投进人工智能汗青最久、曾经的人才阵容也最豪华的公司。自 2013 年百度在美国硅谷成立百度美研到 2017 年间，斯坦福人工智能尝试室主任吴恩达、微软亚洲研究院院长张亚勤、微软全球施行副总裁陆奇等人先后加进百度。他们待的时间都不长，在 2018 年前后陆续分开。
一个有趣的交集是，OpenAI CEO 山姆·阿尔特曼（Sam Altman）从斯坦福退学前，曾在吴恩达治理的人工智能和机器人尝试室工做过。
百度仍是字节人工智强人才的重要来源。字节的手艺负责人杨震原，目前大模子的负责人白文佳，向白文佳报告请示的搜刮负责人乔木均曾就职于百度。
在现在的大模子热潮下，大公司人才还会被创业潮分流。近期去职的大公司手艺高管有阿里达摩院手艺副总裁贾扬清，腾讯副总裁、平台与内容事业群（PCG）信息与办事线负责人郄小虎、京东首席科学家陶大程等。
贾扬清 2019 年加进阿里前任职于 Facebook，是出名 AI 框架 Caffe 的核心做者，他将在 AI 框架标的目的创业。郄小虎于 2020 年 9 月加进腾讯，任公司副总裁，负责 PCG 手艺线，腾讯工做期间郄小虎参与了图像感知、视频文本检索等手艺研究；陶大程是计算机视觉范畴的专家之一，2021 年加进京东前，他曾在香港理工大学和新加坡南洋理工大学等高校任教。两人接下来的方案暂不清晰，创业是选项之一。
华为是另一家较早推出大模子的中国公司，于 2021 年发布盘古大模子。详细负责报酬 2020 年 3 月进职的华为云首席科学家田奇，他此前是美国得州大学圣安东尼奥分校计算机系传授。通过华为 Mindspore AI 框架平台，华为还和中科院、鹏程尝试室等机构结合开发了多个大模子，包罗卵白量构造揣测大模子 “鹏程·神农”，撑持图像生成的多模态大模子 “紫东·太初” 等。
04
算力和数据：
过往有储蓄，将来面对不确定
清晰合理的战术目标，适宜的团队与人才外，一家公司能否在大模子上有所建树，还取决于 两个关键资本：算力和数据。
总体而言，中国公司过往两年的云计算、数据中心等算力根底设备开收小于美国大公司。不外就存量看，中国大公司过往有必然算力储蓄。
目前用于操练大模子的主力芯片是英伟达云端操练 GPU A100。据《晚点 LatePost》领会，字节跳动白文佳团队目前可利用的 A100 约有数千张。为撑持大模子开发，字节本年早些时候还将本来方案给贸易化团队新增的一批 A100 调给了白文佳团队。A100 目前的市价约 10 万元人民币 / 块，数千张 A100 的价值达数亿元人民币。
阿里 2021 年时曾披露，在操练十万亿参数的多模态大模子 M6 时，它们利用了 512 张英伟达 V100 GPU。它是 A100 的前序产物，A100 有大约 3 倍的性能提拔。
华为在 2021 年曾披露，操练盘古大模子时，团队挪用了超越 2000 块华为昇腾 910，停止了超 2 个月的操练。不外昇腾 910 最后设想为 7nm 造程，2020 年 9 月后，台积电等芯片代工场不再能为华为消费高造程芯片。
一位存眷大模子范畴的投资人称，阿里、腾讯、百度、华为等国内次要云厂商过往都积存了大量 GPU。往年大模子热潮未起时，公有云上的 GPU 算力不是紧缺，而是 “愁卖”，云厂商以至得亏钱卖资本，并与部门公司签定了持久锁价合同，那让热潮前就已出场的一些大模子创业公司 “花更少钱办了更多事”；也侧面阐明大厂有必然算力储蓄。
但再往下，所有中国公司在获得更多算力上都面对不确定性。更多人操练大模子也会进一步加剧算力紧缺。
往年 8 月底，美国政府公布制止美国公司向中国大陆、香港和俄罗斯出口高端 GPU，设定的红线是：算力超越 4800 TOPS，且带宽传输速度超越 600 GB/ 秒，受限产物就包罗英伟达 A100 和后续产物 H100。
为绕过那一限造，英伟达推出了 A800，算力与 A100 一致，但传输速度降为 400 GB/ 秒，不在被禁范畴。不外那条路仍有变数。美国政府的系列禁令明白指向人工智能，不肃清后续有超出预期的更严厉办法。
大模子的操练还需要海量数据。一种看点是，中文数据在数量和深度上均不及英文，所以中文大模子比拟国外大模子 “先天不敷”。
英语是强势语言，除文本量更大外，大量学术论文、专业文献也以英语撰写，高量量的公开英语数据库也更多。英语数据的广度与深度确实强于其它语言。
但数据对模子效果的影响是一个更复杂的问题。包罗 GPT 系列大模子在内，支流大模子都基于最早由 Google 研究人员提出的 Transformer 架构，它会对差别人类语言，包罗编程语言做高度笼统和压缩，那些语言在底层逻辑上有类似性，中文数据的不敷能够部门由其它语言数据填补。
大模子创业公司澜船开创人、微软亚研院原副院长周明说：“如今的中文大模子都是在用多语言操练，语言构造有共通性，一件事假设英语表达得更好，中文也能够借鉴，构成生成成果。”
大公司的数据比拟创业公司还有额外优势，他们能获得一些非公开的高量量中文文本数据。部门数据还带有实在的场景属性，如电商平台中的客服沟通数据。
假设把那一海浪潮比方为大航海，OpenAI 是第一个抵达新大陆的人，它已完成了最求助紧急、最不确定的部门，即证明了超大参数模子的可行性和惊人效果。其它公司都是在沿着那个相对确定的标的目的做复现和优化。李彦宏在发布文心一言后曾说百度有自信心在综合才能上，敏捷逃上以至超越 ChatGPT。“很快” 可能很难实现，但把时间拉长，进修与模仿将拉平一批公司间的差距。
变数在于：中国公司将来可能无法畅达地获得更多算力，手艺与人才的跨国活动也在变慢，招募更多大模子高端人才变得更难了。
05
成为中国第一的吸引
和被倾覆的求助紧急
宏看情况改变的另一面是，在中美市场愈加分隔的当下，中国需要本身的大模子。中国市场又尚未呈现明显的领先者，那使各大公司加速出场。
一位字节人士称，在往岁尾 ChatGPT 呈现前，字节对大模子投进还比力少。表示之一是，约有 100 人的字节 AI Lab NLP（天然语言处置）组，只要不到 10 人在研究语言大模子，其它人次要在做翻译和抖音小安（内置于抖音的平安助手，有预防网曝、收集诈骗的功用）的优化。但本年 1 月后，大模子敏捷成为 NLP 组重点工做。字节 AI Lab 可能会基于人工智能创业公司 HuggingFace 往年 7 月开源的大模子 BLOOM 做开发，它的参数到达 1760 亿，是目前更大的多语言开源语言模子。
那是低迷两年的互联网市场一个罕见的增量空间，假设能在中国市场做到第一，就可能开垦浩荡的新市场，或给已有营业，如云计算、游戏、社交等加上 “放大器”。
紧迫也来自，假设大公司本身不做，就有被倾覆的风险。
以利益分配成果看，手艺立异有两种，一种果实多回属成熟公司，一种则会激发一批新巨头。
由 AlphaGO 战胜李世乭引燃的上一轮 AI 热潮更靠近第一种。其时的人工智能手艺固然在识别图片、人脸等一些特定使命上有高效率和准确率，但利用场景有限，且其时的产物不敷强大和通用，没有好到足以摆荡成熟企业已成立的市场格局。一个例子是，商汤、旷视等人工智能新锐公司在它们最次要的市场安防范畴，难以撼动海康、大华的优势地位。
大模子则有可能是第二种立异。ChatGPT 和其它生成式 AI 产物及背后的大模子手艺，敏捷展示出了冲击现有贸易形式的力量。
文生图利用 Midjourney 往年已获得超 1 亿美圆收进，那家公司到往年 10 月只要 10 余名员工。在微软搜刮引擎接进 GPT 推出 New Bing 后，Bing 拜候量上升了 15.8%，Google 搜刮引擎的美国市占率则下降了 1%。上周微软公布 Bing 日活泼用户初次打破 1 亿，此中 1/3 是新用户。
当手艺杠杆足够强时，大公司面临新时机时的负担和协调难题就变得更为明显：
那包罗与主营营业的抵触，Google 在搜刮引擎上引进大模子时的犹疑是一个前例，各公司需要在以新手艺打造全新产物，和用新手艺提拔现有营业间做综合安放与取舍。再往下是若何成立响应组织构造和多部分协做机造。比拟没有退路的创业公司，当大模子贸易停顿遇挫时，营业颇多的大公司的热情能继续多久也是问题。大公司还面对更强的监管与伦理风险，大模子可能带来虚假信息和 “不准确” 的言论，亦有隐私问题，列国监管已在更早、更多地干涉。部门国度已禁用 ChatGPT。
中国大公司发布的基于大模子的文本生成类利用，目前均未间接向通俗公众大规模开放。文心一言需要内测码才气利用，阿里、腾讯和字节，近期可能都不会发布基于大模子的 to C 对话类产物。
巨头有更多的钱和资本，但当时机足够大 ，改动足够猛烈时，资本往往不是最难的部门。
*免责声明：本文章为做者独立看点，不代表i黑马立场。
扫码加进黑马创业者交换群
黑马营26期重磅开启
加进我们，成为财产生力军
分享、赞和在看，完成三连击，把好的内容传递给更多需要的人。
更多超卓内容，尽在i黑马视频号
存眷黑马传布矩阵，get更多超卓内容