热闹与隐忧:ChatGPT大火背后,AI留给人类的伦理与可继续难题 | 钛媒体焦点
跟随科技圈“潮流”,微软公布将于2023年3月底之前在全球裁员1万人,约占员工总数的5%。这次裁员规模之大,被微软视为应对宏看经济状况和客户优先事项转变的措施。但这种做法似乎不影响这家企业有足够的资金对OpenAI进行新一轮投资。
据外媒Semafor报道,微软将以100亿美元投资OpenAI,并且将获得OpenAI 75%的利润份额,直到收回投资资金,之后微软将持有OpenAI 49%的股份。
投资OpenAI,其源动力是ChatGPT带来的一系列业内反响,ChatGPT一方面正为微软补强其在搜索领域的壁垒,另一方面也为自身在通用型AI和NLP领域塑造商业化能力,而这原本是一个由谷歌AI主导的大市场。
ChatGPT于2022年11月30日面向客户端进行发布,两个月后,该模型驱动的工具平台月活用户估量已达1亿。近日,ChatGPT还公布了Plus增值版,每月收费20美元,面向更多有需要的企业和学生提供会员服务。摩根士丹利的一份报告正研究ChatGPT是否对谷歌构成威逼,“该语言模型可能会占据一定市场份额,并且破坏谷歌作为互联网用户进口的地位。”
深受深度学习的影响,NLP领域近年来的科研成果是可见的,也解锁了很多新的使用场景,但仍然没有迎来要害的商业化破局。而OpenAI与微软土财主的这次合力“氪金”,显然激起了新一轮NLP技术企业的集体焦虑。
ChatGPT的过往与现在
从技术原理阐明,ChatGPT是由微调后的GPT3.5模型提供。与早期的ELMO,谷歌的BERT、ALBERT,百度的ERNIE,达摩院的M6一样,它们均为NLP预练习大模型的典型代表。这意味着像知识检索、人机交互、语言翻译、文学创作这些活儿,预练习模型似乎都能干。
但不同的是,ChatGPT这次还提供了客户端界面,用户可直接通过客户端基于模型练习出的“机器人”进行交互,并且实现WebUI免费版。这种做法也让许多C端用户可以迅速调用ChatGPT,如构思小说框架、写论文、辅助课程设计、为程序debug等操作花样百出。
在GPT3.5之前,OpenAI已经连续发布三个版本的GPT模型,特别以GPT-3最为闻名。在此期间,GPT模型就开始疯狂通过增加可练习参数、增加练习样本等方式进行改良。但暴力拆解方式下,GPT-3依然会经常产生错误,曾有专家指出,“假如没有大量复杂的工程调试,GPT-3还无法真正投进使用。”
展开全文
另一方面,GPT-3,其参数量就已经达到1750亿,并使用了45TB的练习样本。这意味着当AI任务练习效果提升的同时,也对模型练习成本和时间带来了浩大挑战。业内有人曾估量仅练习GPT-3模型就需要1200万美元,假如用一块非常先进的英伟达GPU练习GPT-3,可能需要100年。
在Transformer思潮的推动下,语言模型进进“巨量”时代,大模型已经在产业界带来了一系列连锁转变。而NLP领域又并非是一个独立的技术范畴,依然需要有底层算力、大数据、知识图谱、迁移学习等核心技术的支撑。
假如GPT按照以往的发展逻辑,将会逐渐通过开源方式让科研与工程界共享技术红利。但在商业世界,绝非如此简单。
微软的神来一笔
2019年,在联合创始人马斯克转身离开后,OpenAI公布重组,成为有利润上限的盈利机构,股东的投资回报被限制为不超过原始投资金额的100倍。同年7月,微软以10亿美元注资,并获得了OpenAI GPT-3的独家授权,而OpenAI则可借助微软的Azure云服务平台解决商业化问题,缓解高昂的成本压力。
过往几年,OpenAI与微软的协作节奏逐渐加快。2021年,OpenAI与代码托管平台Github(被微软收购)协作推出Copilot AI智能代码生成平台,可将文字语言提示词转化为代码,目前是为了提升开发者编码效率。
2022年,OpenAI先后推出图像生成器DALL-E 2和文本生成器ChatGPT,微软也迅速将其整合到自身产品套件,如搜索引擎Bing、Office办公全家桶、会议视频产品Teams Premium均已经计划使用ChatGPT。
而如今,微软不仅期看进行新一轮百亿美金投资,还表达将在Azure云平台中整合ChatGPT,实现Azure OpenAI服务全面上市,通过该服务可访问OpenAI开发的AI模型,届时微软的每个产品都将具备相同的AI能力。
与OpenAI的协作,成为微软到迄今为止在AI领域一笔成功的买卖,对微软在搜索引擎、办公、会议视频,以及云市场引发了强烈冲击,而这也让外界“期待”有看在2023年发布的GPT-4。
热闹的背后
据外媒CNBC爆料,谷歌最近正在加快研发一个名为“学徒巴德”(Apprentice Bard)的谈天机器人,其基于LaMDA语言模型。显然,谷歌于往年12月针对ChatGPT的“红色警报”已经拉响。而除了LaMDA之外,谷歌也已经计划将图像生成模型Imagen对抗OpenAI的DALL·E 2。
而据百度披露,今年1月初,百度搜索将升级“生成式搜索”能力,基于百度自研的生成式模型能力,为用户开放式的搜索提问或定制化的信息需求“创作答案”。此外据路透社报道,百度曾计划于3月将该服务作为独立使用推出,再逐步将其集成到搜索引擎中。
无论在当下关注度较为集中的搜索领域,还是其他潜在领域,受ChatGPT的强烈刺激,包括谷歌、百度在内的AI主力梯队已经快速跟进起来。不过,源自GPT本身涉及的伦理问题与技术难点依然存在。
如Stack Overflow已经公布禁止将ChatGPT所产生的问题用于回答社区问题,并给出违规者最多可被封禁30天的惩戒措施。当不少大学生开始用ChatGPT写作业,纽约大学等高校的教授及学者们也发出警告,将AI视为作弊行为。
在技术层面,GPT-3曾经会犯的错误,在ChatGPT上也并未解决掉,如只能计算熟知十以内的加减法,甚至还会“一本正经地胡说八道”。这与ChatGPT的练习语料库有一定关系,其喂养的数据还是来自2021年前来自互联网的数十亿个文本示例。例如在专业知识领域或者信息更新快的IT领域,模型练习任务和练习效果往往会受其制约。
而在练习成本上,小冰公司CEO李笛此前表达,“ChatGPT主要是研究性质上的突破。它有非常好的创新,即证实了在原有的大模型基础之上,进行一些新的练习方法,可以更好地提高对话质量。但假如小冰用ChatGPT的方式来运行系统,现在小冰天天承载的交互量就需要花近3亿人民币的对话成本,即使ChatGPT可以把成本优化到现在的10%,也赚不回来。”
据外媒披露,微软此前的融资就以现金+Azure云算力的方式作为兑付,模型练习最消耗的也恰恰是算力成本。这也难怪分析机构推测,ChatGPT使用量的快速增长可能使英伟达在12个月内销售额达到30亿至110亿美元。长期来看,这也将是微软应对算力高投进与ChatGPT高增长可预见收益下的一种对冲策略。
其实,ChatGPT出现之前,基本国内大的AI玩家就已经在涉足构建出类似于GPT、但主要基于中文语料库的预练习大模型。大模型在落地过程中显现出了与以往模型不同的技术特征,也带来了更好的智能化水平。
“但是大模型想要在某个方向上练习得更好,智能化水平更高,需要在具体落地场景引进额外的领域知识,才能解决实际问题。AI大模型有其自身特征,练习时使用的数据集主要来自互联网,在通用知识和领域知识的分布上存在不均,会影响其在具体行业的使用。”浪潮信息AI软件研发总监吴韶华对钛媒体App表达。
对于更多的创业公司而言,大模型做微调或二次开发的方式,且不说仍需要大量算力的支持,在实际场景中,能不能等到成熟落地也需要时间成本。
在ChatGPT之后,势必会有更多的AI团队试图给出算法更加精准、练习成本更低、对于用户而言调取更方便的模型,它可能依然会结合Transformer,也可能运用新的机器学习方法,提出对语言翻译、文本生成、甚至情感分析等NLP通用场景下的解决构思。
特别对于中国的AI团队,也会在ChatGPT的这场狂欢中陆续回答一个老问题:当技术的风口再次来了,如何避免走过往商业目的不清楚的老路?(本文首发钛媒体APP 作者 | 杨丽)