“内测中‘文心一言’并不完美,但市场有需求必须推出来。”李彦宏说。


3月16日14时,百度文心一言发布会在北京总部如期上线。李彦宏、王海峰两位出席了本次发布会,并就模型功能及底层技术两大方向对文心一言模型进行详解。


一开场,百度创始人、董事长兼执行官李彦宏便说出上述那句话。事实上,整个演讲期间李彦宏看上去都有些不同,显得略有拘谨。仿佛对这次交出的答卷不甚满意,又或者是这段时间百度所承受的关注令这款尚在调试的模型压力倍增。更令人担忧的是百度股价,自文心一言发布,百度股价短线跳水,截止收盘,其港股下跌6.36%,市值跌去超200亿港元。


“全球大厂中,百度是第一个发布的。”李彦宏坦承道,所有人都在问我为什么要现在发布。


“其实是因为百度的各个产品线都在等待这样的技术,所以需要尽早推出。”


文心一言(ERNIE Bot),是基于文心大模型技术推出的生成式对话产品。底层技术基础是百度飞桨开源深度学习平台中的基础模型库——文心达模型,其中以ERNIE系列模型为核心。底层逻辑是通过百度智能云提供服务,吸引企业和机构客户使用百度智能云提供的API和基础设施,通过模型微调,进而搭建出AI模型、开发应用。


“AI时代技术栈正在发生转变。”会上,李彦宏表示,“以往的芯片、操作系统、应用的三层架构正在逐渐转变为芯片层、框架层、模型层(文心一言)、应用层的四层架构。”


1280X1280.jpeg


而在这种情况下,端到端的优化将大幅提升效率,框架层和模型层的协同能力变得至关重要。“在这四大层面都拥有领先产品是除百度外绝无仅有的优势。”李彦宏对此很自豪。


IDC 在《2022 中国大模型发展白皮书》中提出了行业首个大模型评估框架,基于模型能力、工具平台能力等 6 个维度的 11 项指标,评估各模型厂商的水平。据 IDC 数据,百度文心大模型综合评估结果处于第一梯队,产品能力、生态能力、应用能力均处在领先位置,具有产业级、知识增强两大特色。


会上介绍,目前已有650家企业接入文心一言生态,金融、制造、企业服务等不同行业的合作伙伴将借助文心一言的能力为自身产业赋能。



现阶段,文心一言用户已经可以使用的五大功能为:文学创作、商业文案新创作、数理逻辑推算、中文理解、多模态生成。展示环节,百度颇为谨慎的采取播放提前录制视频的方式。


文学创作


1280X1280 (1).jpeg


据了解,文心一言存在知识增强和检索增强及五千五百亿事实理论作为基础,并据此做出反馈。会中,文心一言根据对话问题将知名科幻小说《三体》的核心内容进行了总结,并提出了五个续写《三体》的建议角度。


商业文案新创作


1280X1280 (2).jpeg


生成式AI在回答事实性问题时,时常会胡编乱造答非所问。据了解,机器接收大量数据后会出现智能涌现的情况,即自主学会未被教过的能力。


数理逻辑推算


1280X1280 (3).jpeg


这一环节,文心一言对鸡兔同笼问题做解答。视频直观显示,当遇到错误问题时,文心一言能够对其表示质疑,同时也可根据题目进行逻辑推演最终给出答案。


中文理解


cfb91854-fef6-4acf-a0e2-28234abb6245 (1).jpeg


不得不说,百度抓住了类ChatGPT模型最重要的风口——“汉化”。


相比海外模型而言,国内拥有更多中文资源进行训练,因此在普遍化应用的适用性上存在优势。但是,鉴于以往百度检索下的答案描述,或许他们还有更多数据清理工作要进行。另外,百度表示,接下来会继续训练文心一言的英文能力、多语种及跨语种能力。


多模态生成


b71b5fb7-0447-4476-9875-afac830311bc.jpeg


在多模态方面,百度与海外显然逆道而行之,主攻多模态生成功能。


目前,文心一言能够以四川话等方言语音及视频进行输出。不过,由于成本过高,该功能现阶段还未对全部用户开放,未来会逐步接入。

“多模态是生成式AI一个明确的发展趋势。”李彦宏表示,“未来,随着百度多模态统一大模型的能力增强,文心一言的多模态生成能力也会不断提升。”



百度首席技术官王海峰对文心大模型底层技术支撑再次详解。


飞桨模型库中的自然语言处理开发库 PaddleNLP,聚合业界优质预训练模型及开箱即用开发体验,覆盖 NLP 多场景,为文心一言提供了技术积累和补充。文心大模型与飞桨共享生态,围绕“产业级”和“知识增强”两大特色,构建出适合产业应用的模型体系。


文心 API 和提供全流程开箱即用大模型能力的 EasyDL 和 BML 开发平台,另一方面推出 AI 艺术与辅助创作平台“文心一格”、产业级搜索系统“文心百中”和旸谷社区等基于大模型技术的产品应用。


4b4a6e45-c255-414b-84e1-ba2d4bdc31d2.jpeg


文心大模型由行业大模型、NLP大模型、CV大模型、跨模态模型、生物计算大模型组成。


其中,NLP 大模型面向语言理解、语言生成等 NLP 场景,具备语言理解、对话生成、文学创作等能力;CV 大模型基于视觉技术,利用图像、视频等数据,提供视觉基础模型,以及视觉任务定制与应用能力;跨模态大模型可实现跨模态检索、图文生成、图片文档的信息抽取等应用的快速搭建;生物计算大模型融合生物领域研究对象的特性,构建面向化合物分子、蛋白分子的生物计算领域预训练模型;行业大模型在通用大模型的基础上学习行业特色数据与知识,建设行业 AI 基础设施。


王海峰表示,ERNIE从2019年问世到目前发展到ERNIE 3.0再到推出文心一言,其中更多是技术的积累。据了解,ERNIE 3.0 Zeus 使用统一范式的多任务学习,建模数据中不同粒度的语义信息,并提出了层次化提示(Prompt)学习技术,显著提升了模型的零样本/小样本学习能力。


新一代知识增强大语言模型前身为文心PLATO对话生成模型,在Transformer结构的基础上,基于隐变量和角色建模,从而生成多样化的回复。


490cbe83-590d-45d9-b205-304498078c75.jpeg


值得一提的是,文心一言在六个方向进行了不同程度的增强:


1.有监督精调


百度抓住了“汉化”对话语言模型的重点,面向中文、服务应用、富含知识,基于知识图谱产生用于有监督精调的数据。


2.人类反馈的强化学习


人类反馈——奖励模型——策略优化

目前训练还不足,通过用户反馈,做出奖励模型,从而进行策略优化。


3.提示


实例、提纲、规范、知识点、思维链


在回答问题时,采用自动构建方式给出问题实例;同时,对准确知识点进行代入,答案将思维链构建其中。


4.知识增强(重视)


知识增强,是百度最为重视的环节。


知识内化(语义单元、数据构造)

知识外用(参数不存在时,使用外部知识对模型赋能)


5.检索增强


百度在经历二十多年搜索引擎发展后,技术较为稳定,在此前技术引擎变迁阶段,机器学习等功能也逐步加入搜索引擎当中。文心系列模型与之有着紧密关联,将进一步增强检索功能。


6.对话增强

文心一言拥有记忆机制、上下文理解、对话规划三大能力,能够在技术延伸范围内进行多轮对话,而记忆机制、上下文理解、对话规划能力也在提升机器类人对话能力。



从二月起,文心一言关注度不断攀升,几乎是在人们注视下,百度合作伙伴生态愈加壮大,直到如今已有650家企业接入生态。李彦宏预测,大语言模型将带来三大产业发展机会。


新型云计算


第一,主流商业模式将从IaaS变为MaaS。李彦宏认为,文心一言将从根本上改变云计算产业游戏规则,云厂商将从看算力、储存等基础云服务向看重协同能力转变,四层构架间的协同能力将成为能力判定标准。


行业模型精调

第二,行业模型精调的公司拥有发展机会。这是通用大模型和企业之间的中间层,他们可以基于对行业的洞察,调用通用大模型能力,为行业客户提供解决方案。这方面,百度文心大模型已经在工业、金融、交通、能源、媒体体等领域,发布了10多个行业大模型。


应用开发


第三,也是李彦宏认为最大的机遇点所在——应用开发提供商。移动互联网时代,微信、淘宝、抖音等平台收获到最大机会;而AI时代,最大机会也会留在应用层,会有更多的划时代产品出现。


李彦宏断言,对于大部分创业者和企业来说,真正的机会并不是从头开始做ChatGPT和文心一言这样的基础大模型,这很不现实,也不经济。基于通用大语言模型抢先开发重要的应用服务,这可能才是真正的机会。目前,基于文本生成、图像生成、音频生成、视频生成、数字人、3D等场景,已经涌现出很多创业明星公司,可能就是未来的新巨头。


最后,李彦宏宣布,两周后,百度智能云将单独召开发布会,对公有云服务、私有云部署进行讲演。



“文心一言不是中美对抗的工具,而是一代代技术人员在追寻‘让科技改变世界’这个梦想当中的必然结果。”话罢,李彦宏匆匆走下台。


“科学无国界”,这五个字曾在业界被反复提及。直到如今,科技不再黑白分明,科学成果区分出边界。当国内被迫加快速度追赶海外技术时,至少注视的目光要带着温度。追平技术从不是一朝一夕之力,即使李彦宏用尽全力打出一招绵绵掌,也请给百度和更多科技企业再多些时间。


现在,文心一言已经开放内测,邀请码一码难求。To B企业能够与文心一言绘制出怎样一副数字化场景?你的企业又可以利用文心一言做些什么呢?