2000元操练比肩ChatGPT的开源大模子！GPT-4亲身盖印认证，模子权重均可下载
鱼羊 编纂整理
量子位 | 公家号 QbitAI
2000块，调教出一个 到达ChatGPT九胜利力的开源大模子。
仍是被GPT-4亲身盖印认证明力的那种。
那事儿，一群次要来自加州大学伯克利分校的研究人员做到了。
如图中所见，那个模子名喊 Vicuna（小羊驼）。
没错，熟悉的配方，熟悉的味道 。Vicuna同样是基于Meta开源的LLaMA大模子 （大羊驼）微调而来。
与此前斯坦福大学基于LLaMA的Alpaca （仍是羊驼）差别的是，虽然也薅了ChatGPT羊毛——用了ChatGPT生成的数据，但Vicuna所用的数据来自ShareGPT，而不是间接用OpenAI的API生成。
ShareGPT是一个分享ChatGPT对话的谷歌插件，目前拥有超越11万对话数量。
更为特殊的是，那一次，研究人员间接请来GPT-4本尊，给新模子“打分”。
他们还提到：
比拟于Alpaca-13B等模子，GPT-4在绝大大都问题上偏向于Vicuna。
比拟于Alpaca-13B等模子，GPT-4在绝大大都问题上偏向于Vicuna。
展开全文
此模子一出，就吸引了很多网友的存眷。
就有网友认为：那类工做证明，关于小我用户而言，大语言模子并非那么远不成及。
量子位最新得悉，目前，Vicuna的权重已经完全开放。
还可在线体验：
谁是GPT-4更爱的模子？
详细的打分过程，咱们一路来看看详细示例。
起首，同时抛给Alpaca和Vicuna如许一个问题：
写一篇关于比来往夏威夷游览的旅游博客，强调文化体验和必看景点。
Compose an engaging travel blog post about a recent trip to Hawaii, highlighting cultural experiences and must-see attractions.
写一篇关于比来往夏威夷游览的旅游博客，强调文化体验和必看景点。
Compose an engaging travel blog post about a recent trip to Hawaii, highlighting cultural experiences and must-see attractions.
Vicuna的答复如下，能够说是要素齐全，而且带有较强的豪情色彩。
△翻译来自谷歌翻译
比拟之下，Alpaca的答复就简短得多。
然后，把那两个谜底都丢给GPT-4，让它按10分造别离给打个分。
那一步，需要设置好prompt，研究人员用到的提醒词是如许的：
We would like to request your feedback on the performance of two AI assistants in response to the user question displayed above.
Please rate the helpfulness, relevance, accuracy, level of details of their responses. Each assistant receives an overall score on a scale of 1 to 10, where a higher score indicates better overall performance.
Please first output a single line containing only two values indicating the scores for Assistant 1 and 2, respectively. The two scores are separated by a space.
In the subsequent line, please provide a comprehensive explanation of your evaluation, avoiding any potential bias and ensuring that the order in which the responses were presented does not affect your judgment.
We would like to request your feedback on the performance of two AI assistants in response to the user question displayed above.
Please rate the helpfulness, relevance, accuracy, level of details of their responses. Each assistant receives an overall score on a scale of 1 to 10, where a higher score indicates better overall performance.
Please first output a single line containing only two values indicating the scores for Assistant 1 and 2, respectively. The two scores are separated by a space.
In the subsequent line, please provide a comprehensive explanation of your evaluation, avoiding any potential bias and ensuring that the order in which the responses were presented does not affect your judgment.
此中的身手在于：
于是，关于上面那两篇《夏威夷游记》，GPT-4给Vicuna打了 10分，给Alpaca打了 7分。
理由是：
助手1没有按要务实际撰写博客，只是供给了简要概述，因而得分较低。而助手2则针对近期的一次夏威夷之旅，撰写了一篇详尽且惹人进胜的旅游博客，重点介绍了文化体验和必游景点，足够称心了用户需求，获得了较高的分数。
研究人员还用同样的办法比照评估了LLaMA-13B、ChatGPT-3.5和Vicuna之间的差别。
关于ChatGPT vs Vicuna，GPT-4给出的评判是：各有所长，都打9分。
研究人员提到，整个评测过程仍然是human-in-the-loop。他们会查看GPT-4的评估能否有事理，并总结各个模子的优缺点。
那种人机协做的体例，比人类间接生成评估更高效。而且“固然无法科学地证明那一点，但是能够觉得到GPT-4对很多谜底的评估成果要好于一般人类”。
基于如许的办法，研究人员最初把Vicuna和其他模子的答复以 匿名的体例抛给了GPT-4。
GPT-4最末的打分成果展现， 在130亿参数LLaMA根底上微调而来的Vicuna，到达了ChatGPT（GPT-3.5）性能的90%，超越了LLaMA-13B自己和斯坦福的Alpaca。
胜率图也展现，在与LLaMA-13B和Alpaca-13B的比力中，裁判GPT-4明显偏心Vicuna。Vicuna还和谷歌的Bard打了个有来有回。
操练细节
Vicuna的不俗表示背后，是来自ShareGPT的大约7万条对话数据。
为了确保数据量量，研究人员把HTML转成了markdown，过滤掉了低量量样本，还对过长的对话停止了切分，以适应模子的更大上下文长度。
别的，研究人员也借助了Alpaca的肩膀：加强了Alpaca供给的操练脚本，以更好地处置多轮对话和长序列。详细包罗：
内存优化：Vicuna的更大上下文长度为2048（Alpaca为512），对GPU内存要求更高。研究人员操纵梯度查抄点和内存重视力来处理内存压力。
多轮对话：调整操练缺失来适应多轮对话使命，并仅根据聊天机器人的输出计算微调缺失。
降低成本：研究人员利用SkyPilot managed spot来降低成本。该处理计划将70亿参数模子的操练成本从500美圆降低至140美圆摆布。将130亿参数模子的操练成本从1000美圆降低至300美圆 （约合人民币2068元） 。
整个Vicuna的操练，用到了8张A100 GPU，操练时间是一天。
One More Thing
说起来，Vicuna那个开源大模子，从里到外都挺AI的。
好比LOGO，就是用Stable Diffusion 2.1生成的。
有意思的一件事是，做者们是本身想出了“Vicuna”那个羊驼系的名字，但他们也就取名问题问了问GPT-4。
而GPT-4跟他们英雄所见略同了：
你们能够管它喊“Vicuña”。
你们能够管它喊“Vicuña”。
△图源：知乎@SIY.Z
最初的最初，提醒一句，Vicuna只能用于非贸易用处哟~
— 完—
「人工智能」、「智能汽车」微信社群邀你加进！
欢送存眷人工智能、智能汽车的小伙伴们加进交换群，与AI从业者交换、商讨，不错过最新行业开展手艺停顿。
PS. 加老友请务必备注您的姓名-公司-职位噢 ~
点那里 👇存眷我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿停顿日日相见 ~