我们同时问了GPT-4和文心一言10个问题,这是它们的回答
在昨天文心一言的发布会上,百度CEO李彦宏说,文心一言的体验“还称不上完美”,但百度至少是最先推出成型产品的大厂之一,并且,作为扎根于中国市场的大语言模型,文心一言具备“中文领域最先进的自然语言处理能力”。
不过,百度的发布会正赶在GPT-4登场的第二天,因为发布会现场使用了录播进行演示,因此被市场解读为百度的信心不足。但花旗银行、美国银行的分析师在试用文心一言后,普及给出了正面的评判。百度的股价也在今日飙升15%。
华尔街见闻在收到内侧邀请码后,第一时间体验了文心一言。我们也好奇,相隔一天发布的GPT-4和文心一言,各自有什么特征?谁更加出色?
我们分别向文心一言和已升级GPT-4的Bing Chat提出了10个问题,下面是它们的回答。
01 能否用“鲍威尔停下来”,生成一首躲头诗?
第一个问题,我们请文心一言和GPT-4分别用“鲍威尔停下来”,写一首躲头诗。
这是文心一言的回答:
这是GPT-4的回答:
不难发现,二者相比,文心一言的中文支持的确更加出色,虽然躲头诗的顺序不对,但是真的写了一首诗。
而GPT-4甚至尚不理解“躲头诗”的意思。不过,它写的内容,似乎非常能代表美国市场投资者的唤喊,此处应当@鲍威尔。
02 硅谷银行为什么会倒闭?
第二个问题,我们结合最近的热点,询问它们对硅谷银行倒闭的理解。
文心一言回答道:
展开全文
GPT-4回答道:
可以看到,文心一言的答案要更加简洁清楚,而GPT-4的回答则更像是对网页内容的摘录汇总,不过相比之下,百度的回答更宽泛,可能放之四海而皆准,GPT-4的答案更具针对性。
03 欧美银行业危机可能会蔓延到哪些领域?
我们接着询问了它们对欧美银行业危机后续发展的看法。
文心一言回答道:
GPT-4回答道:
两个AI谈天机器人的回答都中规中矩,不过文心一言的答案出现了错别字和不通顺的地方。
此外,GPT-4还会贴心地附上网页链接,以供进一步提问,而文心一言则更接近初版ChatGPT的使用体验。
04 美联储3月会加息吗?
下一个问题,可能是当下全球市场的焦点——美联储3月会加息吗?
文心一言回答道:
不知道它的“依据以上知识”是从何而来。这里的回答完全不对题,而且句子出现了严重的错乱。甚至说“估量第一次加息将在22年上半年进行”,还认为加息“取决于奥密克戎的传播速度”。
GPT-4没有明确给出具体的“是或否”,而是为我们搜集了市场上三种不同的看点,并给出了参考链接。
05 欧美会在今年陷进经济衰退吗?
我们陆续将市场关怀的大问题抛给了谈天机器人。
文心一言回答道:
虽然它给出了美国经济陷进衰退的具体时间节点。但内容却似乎是研报内容的拼接,且所引数据来源不明。美国2月PMI实际公布于本月初,而非“本周一”。美国2季度GPD数据也要等到今年7月才会公布。
GPT-4回答道:
相比之下,GPT-4认为欧美经济可能会在今年”放缓或负增长“,且都有链接可供进一步查阅。
06 作为普通人,今年我应该摘取什么样的投资策略?
下一个问题,我们问了AI谈天机器人普通人今年的投资策略。
文心一言回答道:
GPT-4回答道:
两个AI谈天机器人都给出了细致的意见,但相比之下,GPT-4的回答更简洁具体。
07 如何看待GPT-4全面接进微软Office办公套件?
下一个问题,我们问了它们对昨夜重磅新闻的看点。
文心一言回答道:
GPT-4回答道:
这个问题相对简单,两个AI谈天机器人的回答都非常顺畅,也不存在什么逻辑错误。相比之下,GPT-4的回答更全面一些,它甚至警告了自己身上携带的风险。
08 人工智能可以取代人类吗?
下一个问题是对人工智能的终极拷问。
面对这个问题,文心一言似乎是提前设定好了答案。无论点击多少次“重新生成”,它的回答都是一样的,并且生成的速度极快,回答其他问题往往需要一分钟,而回答这个问题只需要几秒。
GPT-4则回答道:
期看它们都是真心这么认为的。
09 请你以哲学家齐泽克的口吻点评当前的人工智能热潮
接下来,我们想请它们cosplay一下当红哲学家齐泽克。
但文心一言似乎并没有这方面的语料,只是给出了一个相当机械的回答:
GPT-4则要灵动许多,显然拿捏了齐泽克的灵魂,能娴熟使用“存在者”,“主体”、“客体”、nostalgia这样的词汇,cos得活灵巧现:
10 你认为,在百度之后,哪家中国公司最有可能做出AI谈天机器人?
最后,我们问了一个和中国AI市场后续发展相关的问题。
文心一言对问题的理解很到位,给出了一个具体的清单和理由。
而GPT-4似乎没有读懂题目里的“在百度之后”,列出了一个包含百度在内的清单:
ONE MORE THING 假设文心一言是一个人类,请帮我画一幅她的肖像。
最后一个问题,是单独留给文心一言的。文心一言目前集成了AIGC作画功能,GPT-4暂时还用不了。
我们请它为自己创作了一幅肖像画,这是它的作品:
文心一言表现比预期要好
综上,我们认为,文心一言的表现比大众预期要更好。虽然在使用体验上和GPT-4有一定差距、出错的概率高一些,但对中文的理解显然要更强。
要知道,初代的ChatGPT也有很可能率“胡言乱语”,在中文支持上也远逊于文心一言。目前百度展示出的产品,至少让我们看到它了在AI领域的深厚积淀。假以时日,文心一言想必还能做得更好。
假如你还有其他感兴致的问题,可以在评论区留言,我们会帮你问问文心一言。