·“从文心一言的表现看,某种程度上它具有了对人类意图的理解能力,回答的准确性、逻辑性、流畅性,都逐渐接近人类水平。但整体而言,这类大语言模型还远未到发展完善的阶段。”
3月16日,百度正式发布大语言模型、生成式AI产品“文心一言”。百度创始人、董事长兼首席执行官李彦宏及百度首席技术官王海峰出席发布会。李彦宏展示了文心一言在文学创作、商业文案创作、数理推算、中文理解、多模态生成五个使用场景中的综合能力。
“生成式AI代表着新的技术范式,是任何企业都不应错过的大机会。”李彦宏说,“这段时间不断有人问我,为什么现在发布,你们是不是真的ready了?其实,百度在过去十几年中持续在AI研发上坚持投入,文心大模型第一个版本2019年就发布了,此后的每一年都发布一个新版本,从这个意义上说,文心一言的发布只是我们过去多年努力的一个自然延续。”
李彦宏表示,大家的期望值是要对标ChatGPT,甚至要对标GPT-4,这个门槛还是很高的。全球的大厂当中,百度是第一个“发布”的。他说,内测中“文心一言”并不完美,之所以现在要发布,原因在于市场有强烈需求。其定位是通用大模型。
李彦宏认为,多模态是生成式AI一个明确的发展趋势。未来,随着百度多模态统一大模型的能力增强,文心一言的多模态生成能力也会不断提升。而大模型会带来三大产业机会:新型云计算、行业模型精调、应用开发。
发布会举行时,截至14时22分,百度集团(09888.HK)股价跌幅扩大至近10%,报120.5港元/股。
演示五个场景下的能力
发布会上,百度播放了“文心一言”的演示视频,以下为演示实录。
文学创作
问题:
· 《三体》的作者是哪里人?
· 可以总结一下《三体》的核心内容吗?如果要续写的话,可以从哪些角度出发?
· 如何从哲学的角度续写?
· 电视剧《三体》演员都有谁?
· 于和伟和张鲁一有哪些共同点?
· 于和伟和张鲁一谁更高?
李彦宏:刚才的演示中,“总结三体的核心内容”,体现的是文心一言的总结、分析能力。续写《三体》,体现的是内容创作生成能力。
《三体》的作者是谁?他是哪里人?电视剧三体演员都有谁?文心一言回答是正确的。大家可能知道,生成式AI这类产品,在回答事实性问题时,有时候会出错。文心一言延续了百度知识增强的大模型理念,大幅度提升了事实性问题的准确率。
于和伟和张鲁一有哪些共同点、于和伟和张鲁一谁更高?这类问题背后,则体现的是文心一言的推理能力。比如,它得先知道两人的准确身高,才能得出正确答案。
商业文案创作
问题:
· 如果要成立一个用大模型服务中小企业数字化升级的科技服务公司,可以起个什么公司名?
· 数智云图这个名称不错,给我起一个公司的服务Slogan,表达共赢的概念。
· 帮我生成一篇公司成立的新闻稿,数智云图以共赢的服务理念用大模型服务中小企业数字化升级。字数600字。
李彦宏:刚才的演示,展现了文心一言连续三次内容创作生成。
AI要写好一篇稿子,除了需要准确理解我们的意图,还要有清晰的表达能力。
这背后有一个基础,就是庞大的数据规模。人类常说“读万卷书”,而AI可以说是 “读书破千亿卷”。文心一言大模型的训练数据就包括,万亿级网页数据,数十亿的搜索数据和图片数据,百亿级的语音日均调用数据,以及5500亿事实的知识图谱等,这让百度在中文语言的处理上,能够处于独一无二的位置。
有研究表明,数据规模足够大,参数达到千亿级,大模型就可能发生“智能涌现”,即使在没有专门训练过的领域,也能涌现出知识理解和逻辑推理能力。
数理逻辑推算任务
问题:
· 下面我们来玩一个鸡兔同笼的游戏。1只鸡有2只脚1个头,1只兔子有4只脚1个头。那么,如果有一个笼子里有9个头,40只脚,应该有多少只鸡,多少只兔子?
· 下面我们来玩一个鸡兔同笼的游戏。1只鸡有2只脚1个头,1只兔子有4只脚1个头。那么,如果有一个笼子里有9个头,30只脚,应该有多少只鸡,多少只兔子?
李彦宏:对于第一道题,文心一言经过演算,认为可能是题出错了。对于第二道,文心一言不但给出了正确结果,还详细给出解题步骤。可以看出,文心一言能理解题意,并有正确的解题思路,进而像学生做题一样,按正确的步骤,一步步算出正确答案。
文心一言已具备了一定的思维能力,能够学会数学推演及逻辑推理这类相对复杂任务。当然,现阶段准确率还不是100%,我们还需要给它更多的时间来学习和成长。
中文理解能力
问题:
· “洛阳纸贵”是什么意思?
· 当时洛阳的纸到底有多贵?
· 这个成语在现在的经济学原理里,对应的理论是什么?
· 用洛阳纸贵四个字写一首藏头诗。
李彦宏:“洛阳纸贵”,“藏头诗”,这很考验AI对中文和中国文化的理解。
作为扎根于中国市场的大语言模型,文心一言具备中文领域最先进的自然语言处理能力。这个例子就比较清楚地展示了我们在中文上的优势。
相对应的,文心一言目前对英文语种、代码场景的训练还不够多,表现还不够好,接下来我们还要加紧训练,不断完善这些能力。
多模态生成
问题:
· 请为2023世界智能交通大会创作一张海报。
· 你认为智能交通最适合哪个城市发展?
· 请用四川话将以上内容讲出来。
· 请将以上内容生成视频。
李彦宏:刚才这一段演示,文心一言生成了文本、图片、音频和视频,展示了多模态生成能力。目前的版本,已经能够生成文字、图片和语音。生成视频因为成本比较高,还没有对所有用户开放,未来我们会逐步接入。但是熟悉百家号创作的朋友,应该都体验过这个功能了,每天有几万篇文章通过这个能力转成视频内容在百度分发。
多模态是生成式AI一个明确的发展趋势。未来,随着百度多模态统一大模型的能力增强,文心一言的多模态生成能力,也会不断提升。
“四层架构的每一层都有领先产品”
在结束演示后,李彦宏总结道:“从文心一言的表现看,某种程度上它具有了对人类意图的理解能力,回答的准确性、逻辑性、流畅性,都逐渐接近人类水平。但整体而言,这类大语言模型还远未到发展完善的阶段,它们有时候会有很惊艳的表现,但不少场景下,细究起来还有明显的bug,进步空间很大。未来这段时间它一定会飞速发展,日新月异。”
李彦宏表示,通过定向微调,可以在百度内外部各类产品上逐步展示出惊人的亲和力,让每一个产品离自己的用户和客户更近。文心一言这样的大语言模型,会成为每个人必不可少的生产力工具。不过,无论是哪家公司,都不可能靠突击几个月就能做出这样的大语言模型。深度学习、自然语言处理,需要多年的坚持和积累,没法速成。
“人类进入人工智能时代,IT技术的技术栈发生了根本性变化。过去基本分为三层:芯片层,操作系统层和应用层。现在可以分为四层:芯片层、框架层、模型层和应用层。”他介绍说,“今天,百度是全球为数不多、在这四层进行全栈布局的人工智能公司,从高端芯片昆仑芯,到飞桨深度学习框架,再到文心预训练大模型,到搜索、智能云、自动驾驶、小度等应用,各个层面都有领先业界的自研技术。”
文心一言位于模型层。2019年,百度推出了文心大模型ERNIE 1.0。目前,ERNIE 3.0每天接受数十亿次用户的搜索请求。这让文心一言能够基于一个庞大的、高效的数据池,快速地学习和改进。
“大模型训练堪称暴力美学,需要有大算力、大数据和大模型,每一次训练任务都耗资巨大。全栈布局的优势在于,可以在技术栈的四层架构中,实现端到端优化,大幅提升效率。尤其是,框架层和模型层之间,有很强的协同作用,可以帮助构建更高效的模型,并显著降低成本。事实上,超大规模模型的训练和推理,给深度学习框架带来了很大考验。比如,为了支持千亿参数模型的高效分布式训练,百度飞桨专门研发了 4D 混合并行技术。”李彦宏介绍道。
“另外,芯片、框架、大模型和终端应用场景,可以形成一个高效的反馈闭环,帮助大模型不断去调优迭代,越做越好。更好的大模型,会让用户体验不断升级。”
最后,李彦宏强调:“在全球范围内,在四层架构的每一层都有领先产品的公司几乎没有,百度的优势非常独特,相信大家会在后续文心的迭代速度上有明显感受。”