封面新闻记者 孟梅 欧阳宏宇
“文心一言是百度多年技术积累和产业实践的水到渠成,尤其是飞桨深度学习平台和文心大模型的联合优化,为文心一言提供了坚实的技术支撑。”3月16日,百度首席技术官王海峰在北京表示,新一代知识增强大语言模型文心一言,是在ERNIE及PLATO系列模型的基础上研发的。其关键技术包括有监督精调、人类反馈的强化学习、提示、知识增强、检索增强和对话增强。
在人工智能时代,IT技术栈可分为“芯片层、框架层、模型层、应用层”四层。据介绍,在框架层,飞桨是百度自主研发的开源开放的产业级深度学习平台,能够标准化、自动化地支撑模型生产和应用;在模型层,文心大模型包括NLP、CV、跨模态等基础大模型,具备知识增强和产业级两大特色。
在王海峰看来,飞桨有效支撑了大模型的灵活开发、高效训练和推理部署。文心大模型从2019年发布以来,已经从最初的自然语言理解大模型,发展成了跨语言、跨模态、跨任务、跨行业的能力完备的大模型平台。
相较于OpenAI研发的ChatGPT等生成式AI产品,王海峰提到,知识增强、检索增强和对话增强是文心一言基于百度现有技术优势的再创新,也会是其未来越来越强大的基础。
在知识增强方面,文心一言主要有知识内化和知识外用两种方式。在检索增强方面,来自以语义理解与语义匹配为核心技术的新一代搜索架构。在对话增强方面,基于对话技术和应用积累,文心一言具备记忆机制、上下文理解和对话规划能力,实现更好的对话连贯性、合理性和逻辑性。
“文心大模型加上飞桨深度学习平台,夯实了产业智能化基座。”王海峰预测,随着文心一言与飞桨平台的进一步融合发展,人工智能技术和应用的研发将越来越标准化、自动化和模块化,加速人工智能的工业大生产,同时也反哺文心一言加速迭代进化,落地更多场景和行业。
【如果您有新闻线索,欢迎向我们报料,一经采纳有费用酬谢。报料微信关注:ihxdsb,报料QQ:3386405712】