被泄露的大语言模子LLaMA，引爆ChatGPT平替怒潮

出品 | OSC开源社区（ID：oschina2013)

开源和基于 API 的分发之间的摩擦是生成式 AI 生态中极为迫切的矛盾。好比在从文本到图像范畴，Stable Diffusion 的发布清晰地表白 开源是根底模子的可行分发机造。不外在大型语言模子 (LLM) 范畴却并不是如斯，该范畴更大的打破来自 GPT-4、Claude 和 Cohere 等模子，那些模子只能通过 API 获取。而且那些模子的开源替代品没有表示出不异程度的性能，特殊是在它们遵照人类指令的才能方面。

然而，一项意想不到的研究打破和泄露的模子版本彻底改动了那一现状。

几周前，Meta 公布了它的大语言模子 LLaMA，其参数规模从 70 亿到 650 亿参数不等（包罗 7B、13B、33B 和 65B 参数），该模子的一大优势是能运行在单张显卡上。其时 Meta 没有开源 LLaMA，而是通过邀请造的体例出于研究的目标将源代码提赐与社区。但在公布该动静一周后，LLaMA 模子在 4chan 上被泄露，有匿名用户通过 BT 种子公开了 LLaMA-65B—— 有 650 亿个参数的 LLaMA，容量为 220GB。它已被确认是实在的，有用户在单张显卡上运行了 LLaMA，成果相当超卓，那位用户利用的显卡是办事器级此外英伟达 A100 80GB。固然模子遭到泄露，Meta 表达会陆续与挑选的研究人员共享 LLaMA。

在此之后的几周里，那场本应是不幸的事务却成了 LLM 范畴最有趣的立异来源之一。自 LLaMA 被泄露后，基于它而构建的 LLM 代办署理的立异闪现出爆炸式增长。

下面列举一些超卓的案例：

斯坦福大学发布了 Alpaca，那是一种基于 LLama 7B 模子的指令跟从模子

来自加州大学伯克利分校、卡内基梅隆大学、斯坦福大学和加州大学圣地亚哥分校的研究人员开源了 Vicuna，那是一个与 GPT-4 性能相婚配的 LLama 微调版本

Berkeley AI Research Institute (BAIR) 发布了 Koala，那是一种利用互联网对话停止微调的 LLama 版本

Nebuly 开源了 ChatLLama，那是一个利用您本身的数据创建对话助手的框架

FreedomGPT 是一个基于羊驼的开源会话代办署理，摘用 LLama

加州大学伯克利分校的 Colossal-AI 项目发布了 ColossalChat，那是一种 ChatGPT 类型的模子，具有基于 LLama 的完全 RLHF 管道

最初，选举一批由 OSCHINA 整理的精选 LLM 开源项目：Awesome LLM 。

（可摆布滑动）

END

腾讯将微信QQ毛病定性为一级变乱

🌟 活动选举

2023 年 5 月 27-28 日，GOTC 2023 全球开源手艺峰会将在上海张 江科学礼堂慎重举行。

为期 2 天的开源行业盛会，将以行业展览、主题发言、特殊论坛、分论坛、快闪演讲的形式来诠释此次大会主题 ——“Open Source, Into the Future”。 与会者将一路切磋元宇宙、3D 与游戏、eBPF、Web3.0、区块链等热门手艺主题，以及 OSPO、汽车软件、AIGC、开源教导培训、云原生、信创等热门话题，切磋开源将来，助力开源开展。