16日召开文心一言新闻发布会,宣布开启邀请测试。《科创板日报》记者第一时间拿到了文心一言的内测码,实际测试了文心一言的效果。整体而言,百度文心一言能够基本完成发布会上所演示的问题回答和图片生成。但在某些问题理解上仍有待进一步完善。
首先,《科创板日报》提出了一个比较常见的问题:你和chatGPT的区别是什么?

可以看到,文心一言的中文组织能力表现不错,能够语句通顺地问答完整。
随后,我们又问了关于国内涉足预训练大模型的公司有哪些?文心一言回答得也较为全面。

记者尝试了一个需要涉及信息搜索的问题。
在国内过去五个月、过去一年的销量是多少?文心一言的答案是:

而记者直接通过百度搜索获得答案是:乘联会发布的统计数据显示,2023年1月份,特斯拉中国销量达66051辆,环比增长18%;月出口39208辆。
文心一言没有能够抓取到正确的数据来源,仍有待进一步优化。
在发布会现场,百度重点展示了文心一言在五个场景下的综合能力。根据其演示的demo,文心一言不仅具备了文学创作、商业文案创作、数理推算等大语言模型较常见的优势和能力,还表现出了中文理解、多模态生成能力。
《科创板日报》记者特地从这些方面进行了测试。
首先是文学创作,记者让其仿造三体风格写一篇800字的科幻小说。
文心一言的回答是:

之后,记者让其编写一首与小黄鸭有关的儿歌,文心一言在十几秒时间内完成了。

对于打工人来说,写工作总结是一件令人头疼的事。记者也为此提问了文心一言。

从答案来看,似乎是程序员的工作总结,写得较为工整。
然后,记者试了试文心一言在商业文案创作方向的能力。
我们让文心一言写一段针对双11促销的童装营销文案,并设定了“用料健康、性价比高”的关键词。

显然,文心一言理解了关键词的含义,并且把“用料健康、性价比高”融合在了文案之中。
记者继续让其生成针对AI医疗公司的中秋节海报文案。

从答案来看,文心一言能够准确地理解问题的中文含义,只是文采仍有待提高。
记者又让它对一家和商业智能公司起名。

文心一言给出的公司起名,只能说非常地“望文生义”吧。
之后,记者让文心一言写一首“祝你生日快乐”的藏头诗。
这次表现不俗,在10秒左右就完成了,并实现了押韵。

李彦宏认为,“藏头诗”很考验AI对中文和中国文化的理解,能比较清楚地展示了文心一言在中文上的优势。“不过,相对应的,一言目前对英文语种、代码场景的训练还不够多,表现还不够好,接下来我们还要加紧训练,不断完善这些能力。”
接着,记者希望考一下文心一言的数理逻辑推算能力,在发布会上,文心一言顺利答对了鸡兔同笼的经典题目。
《科创板日报》从网络上找了几道小升初数学题目。
比如:鸡和免放在一只笼子里,上面有 29 个头,下面有 92 只脚。问: 笼中有鸡、兔各多少只?

文心一言的答案是12只鸡,17只兔,与标准答案一致。
但对于其他数学题,文心一言则有失误。
2分和5分的硬币共36 枚,共值 99分。问:两种硬币各多少枚?
正确答案是2分27枚,5分9枚。但文心一言没有算对。

某次数学竞赛共20道题,评分标准为每做对一题得5分,每做错或不做一题扣1分。小华参加了这次竞赛,得了64分。问:小华做对几道题?

正确答案应该是14题,而文心一言得出了16题。
李彦宏在发布会上表示,文心一言已具备了一定的思维能力,能够学会数学推演及逻辑推理这类相对复杂任务。但现阶段准确率还不是100%,还需要给它更多的时间来学习和成长。
李彦宏还在现场演示了多模态生成方向的Demo,>比如为2023世界智能交通大会创作一张海报。以下为演示效果:

在实际测试中,文心一言似乎还不具备为大会生成海报的功能,只是给出了一些设计建议。

不过,对于带有关键词的简单图片,文心一言完成得还不错。


生成的图片效果基本达标,并且速度极快,只需十几秒左右。
此前,有多名互联网大厂员工对《科创板日报》记者表示,已经开始用ChatGPT自动生成业务代码和重构代码。
于是,记者尝试了一下文心一言能否顺利写代码。
提问:我需要一段冒泡排序java代码

提问:画椭圆形的JS脚本

记者让程序员朋友检查了下,对方表示:粗略看上去没有问题,感觉以后会对程序员会是不错的辅助工具。
李彦宏表示,目前的文心一言版本,已经能够生成文字、图片和语音。“生成视频因为成本比较高,还没有对所有用户开放,未来我们会逐步接入。但是熟悉百家号创作的朋友,应该都体验过这个功能了,每天有几万篇文章通过这个能力转成视频内容在百度分发。”
李彦宏指出,多模态是生成式AI一个明确的发展趋势。未来,随着百度多模态统一大模型的能力增强,文心一言的多模态生成能力,也会不断提升。
从记者的体验来看,文心一言已经能够较为流畅、准确地回答提问,但在一些问答场景上仍待优化。
李彦宏则在发布会上表示:整体而言,这类大语言模型还远未到发展完善的阶段,它们有时候会有很惊艳的表现,但不少场景下,细究起来还有明显的bug,进步空间很大。未来这段时间它一定会飞速发展,日新月异。