文心一言在一般能力上超过了 ChatGPT 3.5,并在多个领域击败了 ChatGPT 4。
百度声称其最新版本的“文心一言”优于OpenAI的ChatGPT。
如彭博社报道,文心一言3.5 是百度聊天机器人的最新版本,显然已经“在多个测试集中超过了 ChatGPT”。更具体地说,文心一言3.5在一般能力上超过了ChatGPT 3.5,但在几个中文功能上也超过了OpenAI更先进的GPT-4大型多模态模型。
测试是使用AGIEval以人为本的基准“专门设计用于评估基础模型在与人类认知和解决问题相关的任务中的一般能力”,以及C-Eval基础模型的多层次多学科中文评估套件。
文心一言于三月份首次亮相,但预先录制的发布会并没有给人留下深刻印象,并且看到百度的股价暴跌。在AI的世界里,三个月显然是一段很长的时间,百度很快就赶上了竞争对手。根据中国科学报,百度设法提高了其聊天机器人训练和推理过程的效率,这意味着 文心一言的改进速度在未来会更快。