一天前发布的GPT-4将OpenAI推上了“AI终结者”的位置,关于百度能否讲好中国大模型的故事的猜测也愈甚。
百度给出了答案。北京时间3月16日14时,百度科技园工区的标志性建筑熊掌会议室中,百度宣布正式推出基于百度新一代大语言模型的生成式AI 产品“文心一言(ERNIE Bot)”。
出席阵容可谓豪华。百度创始人兼CEO李彦宏坐镇会场——这也是继2018年为自动驾驶平台“萝卜快跑”和智能视频音箱“小度在家”后,李彦宏时隔五年亲临发布会现场,为单个产品站台。
同样出席发布会的百度CTO王海峰。此前36氪报道中提及,王海峰也是文心一言项目的总指挥。
从2月7日立下发布大语言模型的“军令状”,到文心一言亮相的短短一个多月,亦是百度在AI领域十多年的积累的试金石。
预期之内的答卷
前有OpenAI公开GPT-4,后有即将接入最新版ChatGPT的微软召开产品发布会,文心一言的发布备受压力。
不可否认的是,由于中文粘连度高等难以被AI处理的特征,文心一言的研发难度并不亚于全球巨头的。百度搜索产品总监张燕蓟曾表示,中文语义的理解难度远大于非中文,因此百度必须研发一个更难、更复杂的大模型。
基于百度自研的ERNIE及PLATO系列模型,文心一言的关键技术包括监督精调、人类反馈的强化学习、提示、知识增强、检索增强和对话增强。李彦宏介绍,文心一言大模型的训练数据包括万亿级网页数据、数十亿的搜索数据和图片数据、百亿级的语音日均调用数据,以及5500亿事实的知识图谱等。
发布会上,李彦宏用文学创作、商业文案创作、数理逻辑推算、中文理解和多模态生成5个基础的Prompt(问答提示),对文心一言的能力进行了测试。
从现场演示的结果来看,文心一言具备处理基础问题的能力,回答具有一定的准确性、逻辑性和流畅性,并提供了GPT-4目前并不具备的多模态生成能力。但李彦宏也承认,在部分场景的准确性和理解能力上,文心一言仍无法克服大多语言生成大模型的通病。
此前,外界关于文心一言的产品形态就有诸多讨论。发布会揭示了最终答案。李彦宏表示,大语言模型将给产业带来三大机会,文心一言也将抓住机会:
首先是提供新型云计算服务。文心一言将通过百度智能云对外提供服务,帮助企业构建自己的模型和应用,李彦宏预告称,百度智能云将于近期举办新闻发布会,主题围绕文心一言的云服务和应用产品,既有公有云服务和也可以做私有化部署。
其次是提供行业模型精调的中间层服务。目前,百度文心大模型已经在电力、金融、媒体等领域,发布了10多个行业大模型。
最后是为应用提供大模型底座服务。李彦宏认为,对与大部分创业者和企业而言,从头开始做基础大模型并不现实。因此基于通用大语言模型抢先开发重要的应用服务,这可能才是真正的机会。
AI,百度寻求的新杠杆
去年12月底的一次内部全员会中,李彦宏正视了百度这几年的颓势。
他说:“百度这几年过得比较苦,财报、业务增长性都不是那么光鲜……有些技术同学做的事离市场很远,纯属自嗨,做了一两年发现东西没人用。”
以2010年“自然语言处理部”成立为起点,百度在AI上发力已经超过十年。但直到去年,百度全年广告营收仍占60.4%,被寄予厚望的AI还在往撑起百度第二增长曲线的目标努力。
ChatGPT爆火后,三个月达到过亿用户,其瞩目程度也让国内科技公司趋之若鹜,同样身披搜索+AI标签的百度,自然不会放过这一机会。2月初,百度CEO李彦宏的OKR曝光:“引领搜索体验的代际变革”。
拥有大量数据、技术沉淀和业务场景的百度,是现有互联网企业中跑通大模型可能性最大、速度最快的一家——芯片有昆仑,学习框架有飞桨,模型有文心,应用则有搜索、智能云、智能驾驶等广阔的落地场景。
文心一言的基座、2019年发布的通用大模型“文心大模型ERNIE”,目前以迭代至千亿级参数的ERNIE 3.0 Zeus,具备智能创作等自然语言理解和生成任务。在李彦宏的期待中,一旦文心一言与百度多项业务结合,数据和模型迭代的飞轮将会快速转动:“目前,ERNIE 3.0每天接受数十亿次用户的搜索请求。这让文心一言能够基于一个庞大的、高效的数据池,快速地学习和改进。”
3月16日起,文心一言官网针对少量用户开启了内测,后续将陆续开放给更多用户。此外,百度智能云即将面向企业客户开放文心一言API接口调用服务。
文心一言能否真能如李彦宏期待的那样,成为撬动业务发展的杠杆,还需要市场的检验。
下附李彦宏在文心一言发布会的演讲全文(略经36氪编辑):
各位媒体朋友,各位嘉宾,大家好。欢迎参加文心一言新闻发布会。非常感谢大家对文心一言的关注和支持。
最近一段时间,很多朋友问我,“为什么是今天,你们真的ready了吗”。其实从某种意义上说我们已经为此准备了多年,我们十几年前就开始投入AI研究,2019年就推出了文心大语言模型,今天的文心一言是过去多年努力的延续。
但也不能说我们完全ready了,文心一言对标ChatGPT、甚至是对标CGT-4,门槛是很高的,全球大厂还没有一个做出来的,百度是第一个。我自己测试感觉还是有很多不完美的地方。
那为什么是今天?因为市场有需求。百度的很多产品,从搜索到智能云,再到自动驾驶,到小度,大家都有需要,更重要的是我们的客户需要,合作伙伴需要,从我们承认文心一言的存在到现在,短短一个月的时间,就有超过650家合作伙伴宣布加入文心一言生态,大家都希望能早一点用上最新最先进的大语言模型。
当然,一旦有了真实的人类反馈,文心一言的进步速度会非常快,我们都希望它快点成长,早日为用户和客户创造价值。
百度希望和大家一起,推动人工智能技术进步,让所有人都能使用最先进的生产力工具,让所有人都能从中受益。
一、
下面,我会演示五个场景的Demo,包括文学创作、商业文案创作、数理推算、中文理解、多模态生成。(演示过程略)
AI要写好一篇稿子,除了需要准确理解我们的意图,还要有清晰的表达能力。
这背后有一个基础,就是庞大的数据规模。人类常说“读万卷书”,而AI可以说是 “读书破千亿卷”。文心一言大模型的训练数据就包括,万亿级网页数据,数十亿的搜索数据和图片数据,百亿级的语音日均调用数据,以及5500亿事实的知识图谱等,这让百度在中文语言的处理上,能够处于独一无二的位置。
有研究表明,数据规模足够大,参数达到千亿级,大模型就可能发生“智能涌现”,即使在没有专门训练过的领域,也能涌现出知识理解和逻辑推理能力。
文心一言已具备了一定的思维能力,能够学会数学推演及逻辑推理这类相对复杂任务。当然,现阶段准确率还不是100%,我们还需要给它更多的时间来学习和成长。
作为扎根于中国市场的大语言模型,文心一言具备中文领域最先进的自然语言处理能力。这个例子就比较清楚的展示了我们在中文上的优势。
相对应的,一言目前对英文语种、代码场景的训练还不够多,表现还不够好,接下来我们还要加紧训练,不断完善这些能力。
目前文心一言的版本,已经能够生成文字、图片和语音。生成视频因为成本比较高,还没有对所有用户开放,未来我们会逐步接入。但是熟悉百家号创作的朋友,应该都体验过这个功能了,每天有几万篇文章通过这个能力转成视频内容在百度分发。
多模态是生成式AI一个明确的发展趋势。未来,随着百度多模态统一大模型的能力增强,文心一言的多模态生成能力,也会不断提升。
从文心一言的表现看,某种程度上它具有了对人类意图的理解能力,回答的准确性、逻辑性、流畅性,都逐渐接近人类水平。
但整体而言,这类大语言模型还远未到发展完善的阶段,它们有时候会有很惊艳的表现,但不少场景下,细究起来还有明显的bug,进步空间很大。未来这段时间它一定会飞速发展,日新月异。
通过定向微调,可以在百度内外部各类产品上逐步展示出惊人的亲和力,让每一个产品离自己的用户和客户更近。
二、
文心一言这样的大语言模型,会成为每个人必不可少的生产力工具。
不过,无论是哪家公司,都不可能靠突击几个月就能做出这样的大语言模型。深度学习、自然语言处理,需要多年的坚持和积累,没法速成。
人类进入人工智能时代,IT技术的技术栈发生了根本性变化。过去基本分为三层:芯片层,操作系统层和应用层。现在可以分为四层:芯片层、框架层、模型层和应用层。
今天,百度是全球为数不多、在这四层进行全栈布局的人工智能公司,从高端芯片昆仑芯,到飞桨深度学习框架,再到文心预训练大模型,到搜索、智能云、自动驾驶、小度等应用,各个层面都有领先业界的自研技术。
文心一言位于模型层。2019 年,百度推出了文心大模型ERNIE 1.0。目前,ERNIE 3.0每天接受数十亿次用户的搜索请求。这让文心一言能够基于一个庞大的、高效的数据池,快速地学习和改进。
大模型训练堪称暴力美学,需要有大算力、大数据和大模型,每一次训练任务都耗资巨大。全栈布局的优势在于,可以在技术栈的四层架构中,实现端到端优化,大幅提升效率。尤其是,框架层和模型层之间,有很强的协同作用,可以帮助构建更高效的模型,并显著降低成本。事实上,超大规模模型的训练和推理,给深度学习框架带来了很大考验。比如,为了支持千亿参数模型的高效分布式训练,百度飞桨专门研发了 4D 混合并行技术。
另外,芯片、框架、大模型、和终端应用场景,可以形成一个高效的反馈闭环,帮助大模型不断去调优迭代,越做越好。更好的大模型,会让用户体验不断升级。
我还想强调一点,在全球范围内,在四层架构的每一层都有领先产品的公司几乎没有,百度的优势非常独特,相信大家会在后续文心的迭代速度上有明显感受。
三、
自2月份百度官宣“文心一言”以来,已有超过650家企业宣布接入文心一言生态,感谢每一位伙伴的支持。
这也意味着,很多的企业已经理解到,文心一言和生成式AI,代表了一个新的技术范式,是一个每家企业都不可以错过的巨大的机会。AI市场即将迎来爆发性的需求增长,其商业价值的释放将是前所未有的、指数级的。
我们对文心一言的定位,是一个通用的赋能平台,金融、能源、媒体、政务等千行百业,都可以基于这个平台来实现智能化变革,实现效率提升,创造巨大的商业价值。
文心一言不仅仅会影响搜索或者互联网公司,而是会影响到每一家公司,由于它超强的自然语言理解和表达能力,它让任何公司都有机会离自己的客户更近,有机会通过这些能力去创建最好的客户体验,从而比其他人更能抓住客户,获得更强的竞争优势。
文心一言对个人的改变也会是巨大的,有机构预测,到2030年,人工智能可以将每一个知识工作者的生产力提高4倍以上。很多人的工作性质会发生不可逆转的改变。
我认为生成式AI,将催生新产品、新业态,会有很多创业和投资机会。
对于大部分创业者和企业来说,真正的机会并不是从头开始做ChatGPT和文心一言这样的基础大模型,这很不现实,也不经济。
对于大部分创业者和企业来说,真正的机会是,基于通用大语言模型,抢先开发重要的应用服务。就像移动互联网时代,最成功的商业产品不见得是安卓和IOS,而是基于安卓和IOS开发的微信、淘宝、抖音等各种超级应用。
我认为大模型时代将产生三大产业机会:
第一类是新型云计算公司,其主流商业模式从IaaS变为MaaS。文心一言,将根本性地改变云计算行业的游戏规则。之前企业选择云厂商更多看算力、存储等基础云服务。未来,更多会看框架好不好、模型好不好,以及模型、框架、芯片、应用这四层之间的协同。
文心一言将通过百度智能云对外提供服务,帮助企业构建自己的模型和应用,农业、工业、金融、教育、医疗、交通、能源等重点领域,都会因此效率大幅提升,并在每一个行业快速形成新的产业空间,助力数字中国的实现。百度智能云将于近期举办新闻发布会。主题围绕文心一言的云服务和应用产品,我们既有公有云服务和也可以做私有化部署,请大家期待。
第二类是进行行业模型精调的公司,这是通用大模型和企业之间的中间层,他们具有行业Konwhow,调用通用大模型能力,为行业客户提供解决方案。我们的文心大模型,已经在电力、金融、媒体等领域,发布了10多个行业大模型。在各行各业都有机会。非常欢迎大家来跟我们合作。
第三类是基于大模型底座进行应用开发的公司,即应用服务提供商。今天,基于文本生成、图像生成、音频生成、视频生成、数字人、3D等场景,已经涌现出很多创业明星公司,他们可能就是未来的新巨头。这里面的机会非常多,可以说每家企业在现在这个阶段都有机会。
我们相信,人工智能会彻底改变我们今天的每一个行业。AI的长期价值,对各行各业的颠覆性改变,才刚刚开始。未来,将会有更多的杀手级应用、现象级产品出现,将会有更多的里程碑事件发生。
四、
之后,文心一言将建立起真实用户反馈、开发者调用和模型迭代之间的飞轮,效果会迅速提升,给你“士别三日,当刮目相看”的惊喜。
最后我想说,文心一言不是中美科技对抗的工具,而是一代代百度技术人员追逐科技改变世界的梦想的产物,是我们服务亿万用户,赋能千行百业的全新的平台,是创新驱动发展的最佳证明。
谢谢大家的关注和支持。