期待已久之后,终于拿到了文心一言的邀请码,第一时间进行了测试。最后面会讲一下如何获取邀请码。
(欢迎关注我的个人主页,左侧可以进行查看)
先说一下结论,很远,但是又不远。
很远是因为:我个人测试得出来的实际效果和ChatGPT差距还很大,下面我会放一些对比。当然也有很多正面例子,回答和ChatGPT相当,甚至中文语境下还好一些。值得肯定。
不远是因为: 作为第一个敢正面硬刚ChatGPT的百度,打响了第一枪,和国内其它各个大厂阿里腾讯头条等等,赶上去需要的只是时间。
注意:我们只测试用中文问答的能力,对比英文的话,对wenxin不太公平?_
话不多说,先来看看对比:
wenxin:
ChatGPT:
看起来还不错哦,不知道为啥变成英文的了。
还有很多测试就不放了,dddd
总结一下:
- 基本的检索,然后规整文本输出,文心一言还是可以的。
- 需要稍微有点逻辑的问题就答非所问,大概一半的情况生成不完整的句子。
- 很多常见问题聊天问题,文心一言如果检索不到答案,直接就上兜底策略。
- 国内NLPer暂时不会失业了~
- 第一个吃螃蟹还是比较困难的~
- 我猜想效果不好的原因包括但不限于:国内中文语料库的问题(很多问题),缺乏足够并且好的RHLF,这个需要时间积累,显然赶鸭子上架是不可能的。
- 欢迎评论区补充。
- 其它方面让ChatGPT和文心一言自己来说吧:
如何申请邀请码:
**C端用户:**访问 yiyan.baidu.com,点击体验文心
**B端用户:**wenxin.baidu.com, 找到对话API申请,(我是通过B端的申请,然后由于人数限制,暂时给的个人端的权限。)