经过半个月的等待,终于收到了百度【文心一言】的测试邀请,ChatGPT3.5 和 文心一言都是当前备受关注的人工智能产品,那它们到底有哪些差异呢,本文选择了几个常见场景,测试了一下这两个人工智能产品的能力,以帮助大家更好地了解它们的优缺点。
Round1 【商业互吹】
从回答来看,ChatGPT能够指出二者的差异,明确说文心一言更擅长短文本,而自己更适合复杂文本场景;而文心一言的回答就有点笼统了,主动承认ChatGPT是当前最先进的模型之一,还是比较谦虚的。
ChatGPT
文心一言
Round2 【作文大赛】
我选择了2022年的高考全国卷的作文,对比一下二者对于题目的理解能力和文学创作能力。从结果看,文心一言要略胜一筹,ChatGPT的作文感觉像是对原题目的一种叙述,而文心一言则在开头和结尾分别点题,并在中间给出了对题目的理解,作文的感觉一下子就上来了。
ChatGPT
文心一言
Round3 【实战编码】
虽然二者都给出了完整的Java实现,ChatGPT给出的是题目要求的子串,而文心一言给出的却是子串的长度,而且ChatGPT给出的是一个完整的计算子串的方法,文心一言却给出了一个main方法,文心一言略逊于ChatGPT。
ChatGPT
文心一言
Round4 【调皮一下】
在本轮测试中,ChatGPT发现了题目中的错误描述,明确指出林黛玉是《红楼梦》中的人物,但是对于“倒拔垂杨柳”这个故事就开始胡扯了,而文心一言面对这个题目,直接GG了,问了三次都无法给出结果,老铁的套路有点深啊。
ChatGPT
文心一言
Round4 【你说我画】
针对前一段闹过笑话的【胸有成竹】、【青梅竹马】和【车水马龙】三幅图,文心一言已经能给出比较合适的图画了,看来最近做了不少的优化升级,由于ChatGPT4有点贵,暂时还未开通。
文心一言
文心一言
文心一言
总的来说,文心一言对比ChatGPT还是有一定的差距,但是文心一言在中文领域还是有很大的优势,它号称“文心一言在中文语言模型准确率达到99%”,作为国产AI大模型,能够第一时间站出来已经很不容易了,而从上述文心一言的测试结果看,它比我预期的还是要好很多,当然ChatGPT已经升级到更强大的4.0了,面对如此强大的对手,百度已经到了历史上最危险的时刻,必须要背水一战了,也期待百度、阿里、360这些国内巨头能够在这一领域占有所突破。
【文心一言-有信心么?】
说的这么委婉,信心有待加强哦!什么应用场景我不管,希望这个场景不是医疗广告,否则我又要“脑裂”了
文心一言
分布式如何解决脑裂问题