“小一号的ChatGPT”升级中！复旦大学“MOSS”模型研究成果将开源

东方网记者傅文婧3月2日报道：ChatGPT模型让新一轮AI革命成为全世界关注的焦点，这一热潮也“带火”了国内的研究成果。复旦大学计算机科学技术学院邱锡鹏团队近日发布的类ChatGPT模型MOSS也收到了公众大量关注。

对项目主开发者、计算机科学技术学院博士研究生孙天祥而言，最兴奋的一刻是在测试过程中输进了一个中文问题，MOSS却以英文正确回答，“就像一个不会说但听得懂中文的人”。而当时版本的MOSS还很初级，中文语料占所有练习数据不到0.1%。

“很神异，我们没有教过它机器翻译。”MOSS展示出的潜能让邱锡鹏当晚激动到失眠。他把MOSS比作一个“聪明的小孩”，即便现在还不擅长写诗、解题或很多具体的事，但已展示出成为通用人工智能（AGI）大框架的潜能，“很多远不可及的事情，它一点就通了。”实际上，邱锡鹏也让6岁的女儿和MOSS谈天，发现孩子可以愉快地和MOSS对话很长时间。

“对公众而言，ChatGPT、MOSS这些模型的出现或许非常突然，但对于一直关注这个领域的人来说，一切都有迹可循。”邱锡鹏介绍，比如Google在这个领域的技术研发并不亚于OpenAI，只不过OpenAI把这件事做得比较极致，并且提出了“对话”这种非常创新的交互形式，赋予了大型语言模型与人类直接交互的能力，使大型语言模型看起来非常智能。

展开全文

MOSS的开发不是一蹴而就，它离不开团队过往的展垫工作和长期积存的研究体会。“从2021年起，我们就开始做中文生成式预练习模型，也开源供别人下载，每月平均有上万次下载。”邱锡鹏表达，之后团队又提出“语言模型即服务”的概念，认为基础语言模型会成为语言服务的基座。22年因为意识到大型语言模型会成为将来的基座，所以开始做大型语言模型方面的练习。后来又花费了半年时间，研究如何使大型语言模型理解人类指令以及具备对话能力。

MOSS的名字是怎么来的？邱锡鹏透露，在学术圈，大家非常喜欢用影视形象给自己开发的AI模型命名，也是一个比较常见的做法。比如，Transformer模型、Megatron模型名称取自《变形金刚》，BERT模型、ERNIE模型化用了《芝麻街》中的角色形象。“开发过程中，正逢《流浪地球2》电影热映，我们的团队成员都非常喜欢《流浪地球2》，也都是《流浪地球2》的粉丝。影片中的智能量子计算机MOSS给我们留下了深刻的印象，所以我们就把模型命名为MOSS，也是向《流浪地球2》这部电影致敬。”邱锡鹏说，也有《流浪地球2》的粉丝们发来邮件，“期看我们一定要加油，真的能够做出来。”

据目前已参与内测的一些用户表达，尽管MOSS在参数规模上和ChatGPT相比小一个量级，事实性问题覆盖不够全面，经常会“一本正经地胡说八道”，但确实有“ChatGPT那味儿”，“基本功能都实现了”。而这些天，邱锡鹏与MOSS团队8位年轻的复旦学生一起正紧锣密鼓地开展内测和迭代工作。新模型估量在3月份底优化完成，后期再逐步对社会开放。

邱锡鹏很乐看，认为在不远的将来，MOSS这类大型语言模型会成为和搜索引擎一样常规的存在，为人们生活的方方面面提供助益。开源（即开放源代码和模型参数）是邱锡鹏和复旦自然语言处理实验室的同仁们一直以来的学术坚持。“这次也会将研究成果开放给公众与社会。”