来源丨元宇宙简史
编写丨元宇宙简史编辑部
【元宇宙导读】本文将从什么是LaMDA和PaLM模型、为什么要升级Bard、Bard 升级的进展和挑战等几个方面展开。
谷歌的对话人工智能(AI)技术 Bard 是一款可以与用户进行自然、流畅和有趣的对话的应用程序,它可以回答各种问题,甚至可以编写代码。
Bard 正运行在一个轻量级和高效版本的 LaMDA 模型上,这是一个专注于提供对话的人工智能语言模型。
但是,谷歌首席执行官 Sundar Pichai 近日在接受 Hard Fork 播客节目采访时表示,Bard 将从基于轻量级 LaMDA 模型升级为更大规模的 PaLM 模型。
Pichai 表示,PaLM 模型规模更大,Bard 在处理常识推理和编程问题等任务时能力更强,升级版 Bard 将于下周会有新进展。
01元宇宙简史
什么是LaMDA和PaLM模型?
LaMDA 是 Language Models for Dialog Applications 的缩写,是谷歌去年推出的一种语言模型,专门用于对话应用程序。
LaMDA 通过微调一系列专门用于对话的、基于 Transformer 的神经语言模型构建的,具有多达 1370 亿个参数。LaMDA 可以利用外部知识源进行对话,并遵循负责任 AI(Responsible AI)实践,避免做出没有外部信息源支持的事实陈述。
PaLM 是 Pre-trained Language Model 的缩写,是谷歌最新公布的一种语言模型,包含 5400 亿个参数,数量几乎是 LaMDA 的四倍。PaLM 是在公共对话数据和其他公共网页文档中收集并创建的一个具有 1.56T 单词的数据集上预训练的。PaLM 可以完成不同任务,例如将一种语言翻译成另一种语言,将长文档总结为简短的摘要等。
02元宇宙简史
为什么要升级Bard?
Pichai 在采访中表示,Bard 的目标是提供一种自然、流畅和有趣的对话体验,让用户感觉像是在与一个真实的人交谈。他说,Bard 目前已经可以做到这一点,但还有很多改进空间。他说:“我们想让 Bard 能够处理更复杂、更深入、更富有洞察力的问题和回答。”
Pichai 举例说,Bard 目前可以回答一些基本的编程问题,例如如何打印“Hello World”,但如果用户想要了解更高级的编程概念或技巧,Bard 就会遇到困难。他说:“我们想让 Bard 能够教你如何编程,而不仅仅是给你一些代码片段。”
Pichai 还说,Bard 目前还缺乏常识推理能力,例如理解时间、空间、因果关系等概念。他说:“我们想让 Bard 能够像人类一样思考,而不是像一个机器一样只能处理字面意义上的信息。”
为了实现这些目标,Pichai 说,Bard 需要一个更大规模、更强大的语言模型,即 PaLM。他说,PaLM 模型可以提供更多的知识、更好的理解和更高的创造力,让 Bard 成为一个更智能、更有趣、更有用的对话伙伴。他说:“我们相信 PaLM 模型是对话 AI 的未来,它将为用户带来前所未有的体验。”
03元宇宙简史
Bard 升级的进展和挑战
Pichai 透露,Bard 的升级工作已经在进行中,马上将会有新的进展。他说,谷歌的研究团队已经在测试 PaLM 模型在不同领域和场景下的表现,包括教育、娱乐、健康、旅游等。他说,目前的结果令人鼓舞,PaLM 模型显示出了比 LaMDA 模型更高的质量、安全性和根基性。
质量是指模型是否产生在对话上下文中有意义、特定和有趣的响应;安全性是指模型是否避免了任何可能对用户造成伤害或加剧不公平偏见的输出;根基性是指模型是否能够根据可靠的外部信息源来支持其事实陈述。
Pichai 说,PaLM 模型在这些方面都优于 LaMDA 模型,甚至接近人类水平。他说:“PaLM 模型可以与用户进行自然、流畅和有趣的对话,同时保持事实正确、安全可靠和负责任。”
然而,Pichai 也承认,Bard 的升级还面临着一些挑战和难题。他说,其中一个挑战是如何确保 PaLM 模型的控制性和可解释性。他说:“PaLM 模型是一个非常复杂和强大的系统,它可以生成各种各样的输出。我们需要确保我们能够理解和预测它的行为,并及时纠正任何不良或不合适的输出。”
另一个挑战是如何平衡 PaLM 模型的通用性和专业性。Pichai 说:“PaLM 模型是一个开放域的语言模型,它可以处理各种主题和任务。但是,在某些领域或场景下,用户可能需要更专业或更个性化的服务。我们需要找到一种方法,让 PaLM 模型能够根据用户的需求和偏好进行自适应调整。”
严正声明:本文为元宇宙简史原创,未经授权禁止转载!内容仅供参考交流,不构成任何投资建议。任何读者若据此进行投资决策,风险自担。