国产版GPT接踵而来，算力平台谁来支撑？

上周，百度推出基于大模型的AI谈天机器人“文心一言”，成为国内首个冲进GPT赛道的互联网企业。3月18日，第一财经记者从达看数据获悉，该公司自主研发的大型语言模型“曹植”系统也取得突破性进展，有看成为国内大规模语言模型中首批可落地的产业使用级模型。

在国产版GPT接踵而至的背景下，目前国内的算力平台还不足以提供支撑，这也成为制约我国大模型发展的重要瓶颈。

垂直大模型也需要上千张GPU

据介绍，“曹植”与ChatGPT和“文心一言”这类更加通用的大语言模型不同，是专注于垂直、专用领域的模型，目的是赋能金融、政务、制造等多个垂直领域。

达看数据创始人CEO陈运文对第一财经表达：“‘曹植’在垂直领域内的理解和生成的任务上都达到了很好的效果。目前在一些技术细节方面还在调优，未来达看数据将建立多个垂直领域的专用语言大模型，整体功能会很有特色。”

他举例称，基于达看AIGC智能写作能力，可适配各类素材申报业务场景，基于已有各结构化类数据，快速撰写各类制式和非制式文档，使用于公文、招投标、投行申报文档、法律文书等专业写作场景。

华为公司创始人任正非近期也对ChatGPT发表看法。他表达：“未来在AI大模型上会风起云涌，不只是微软一家，人工智能软件平台公司对人类社会的直接奉献可能不到2%，98%都是对工业社会、农业社会的促进，大家要关注使用。”

ChatGPT带动了自然语言处理整体上下游以及芯片的探求和发展，某种程度上大模型也很可能成为下一代技术发展的基础设施。中国建立自己的基础模型体系已成为必然需求，在这一发展过程中，目前国内企业面临的普及问题是算力不足。

陈运文向第一财经记者坦言，练习一个垂直的大模型可能需要上千张GPU芯片集群。“现在面临的问题是，我们需要的GPU数量还远远不够，远水解不了近渴。”他对第一财经记者说道，“集群需要的GPU数量很多，建设周期长投进大。”

目前支撑包括ChatGPT大模型在内的95%用于机器学习的芯片都是英伟达的A100（或者国内使用的替代产品A800），该芯片的单价超过1万美元。此外，英伟达最新一代的H100芯片的性能也远超A100，但价格也更高，约合25万元人民币。

展开全文

除了单个的芯片之外，英伟达还出售一个包含8个A100的服务器系统DGX，售价接近20万美元。分析师和技术专家估量，练习GPT-3等大型语言模型的耗资可能超过400万美元。

这对于大多数中小企业而言几乎是不可能承担的开支。在陈运文看来，假如有超大中心能够提供算力租赁的模式，将会解决中小企业很大一部分算力不足的问题。“国内现有的租赁平台的问题是算力规模还太小，而且价格太高。”陈运文告诉第一财经记者。

企业探索减少对算力的依靠

在GPT这类大模型问世前，国内几乎没有任何使用场景需要用到如此大的算力。第一财经记者了解到，商汤科技等国内企业都拥有自己的超算中心，但这些平台仅向定向协作客户开放；而阿里巴巴等对外出租的超算平台的的算力仍然不足以称心目前大量的大模型需求。

复旦大学自然语言处理实验室邱锡鹏教授此前也表达，该实验室开发的大语言模型MOSS受制于算力资源不足的问题。据介绍，MOSS是基于32张英伟达A100芯片算力。相比之下，ChatGPT模型背后拥有约3万块A100芯片，差距接近1000倍。

对此，邱锡鹏认为，在资源有限的情状下发展大模型的方向是“用规模较小的模型找到特定的使用场景”，例如可以在企业内部私有部署，经过一些数据微调就可以转化为生产力。

作为GPT算力最重要的提供者，英伟达已经在探索新的商业模式。黄仁勋已经表达，英伟达情愿将人工智能的算力放在云端共享给企业。

“我们提供的价值是将原来需要投进10亿美元运行CPU的数据中心缩减为仅用1亿美元就能搞定的数据中心，现在将该数据中心放在云端共享，意味着可以由100家公司来分担这一成本，因此每家公司支付的实际上是非常少的费用。”他说道，“现在企业可以花一两千万来构建一个类似GPT的大型语言模型，这是可以支付得起的。”

不过也有业内人士指出，解决算力问题只是开发大模型的第一步。澜船科技创始人CEO周明对第一财经记者表达：“虽然现在算力平台不足是行业面临的普及问题，但是即便算力问题解决了，还是会有其他问题，要害在于对大模型本质的理解需要提升。”

周明表达，在美国现在大家也是一窝蜂地往搞大模型，其实很多人对大模型的机理理解还停留在比较初步的认知，包括大语言模型的工程化治理，短缺独立探求的精神。

周明也赞同，未来大模型的一个发展方向是，在算法上进行优化，从而减少对模型和算力的依靠。“比如用很小的GPU也可以做大模型，这个方向值得关注。”他对第一财经记者表达。