自然语言模型 GPT-3 现已允许开发者进行特别定制。

GPT-3 是由 OpenAI 于去年 5 月推出的有着 1750 亿个参数的 AI 模型,该模型可以生成类似人类编写的文本和代码。其生成的文本质量之高,让人很难分辨它和真实人类创作之间的区别。

经定制后的 GPT-3 可以更好地服务于需要深入了解语言的各种应用,从而在任务和工作负载之间达成更高质量的内容输出。

通过定制 GPT-3,开发者可以使用几乎任何现有数据集,或者根据用户反馈递增地添加数据。数据显示,使用定制后的 GPT-3 模型,有用户的程序输出正确内容的概率可以由 83% 提升到 95%,而有的用户通过每周给产品添加新的数据,减少了 50% 的错误输出。

OpenAI 进一步表示,微调 GPT-3 的好处,只需不到 100 个示例就可以体现出来,并且随着添加数据的增多,其性能也会不断提高。

微调 GPT-3 的方式也很简单快捷,只需要一行代码和一个文件,开发人员就能运行和训练基于特定数据集的自定义版本 GPT-3 模型,无需从头创建自己的 AI 系统,这为他们节省了大量的时间和金钱成本。

今年 3 月,OpenAI 公布了一组数据,“现有成上千万名的开发者在 300 多个不同的应用程序中使用 GPT-3,每天可以产生大约 45 亿个单词。”

OpenAI 还举了几个例子,来说明定制版 GPT-3 功能的具体提升。

例如,客户可以使用经过微调的 GPT-3 分析来自银行对账单的数据,以帮助查找可能免税的费用。

该客户根据他们产品在现实世界中的表现,每周用新数据微调 GPT-3,重点关注模型低于某一特定性能阈值的示例。该客户声称,其每周使用大概 500 个新的训练示例来微调 GPT-3,微调过程中可产生约 1% 的改善。这虽然听起来改善不多,但随着时间的推移,变化会越来越大。

下面一家公司使用定制版本的 GPT-3 提高了其产品报告的可靠性,并突出显示了客户的请求和问题,对客户反馈情况总结的准确率也从 66% 提高到 90%。

Sana Labs 是一个开发和应用AI学习的平台,可为每个人和企业量身定制内容,提供个性化的学习体验。

Sana Labs 通过使用数据自定义 GPT-3,给其平台的问题和内容生成带来了 60% 的改进,为学习者带来了更加个性化和有效的体验。

下图展示的是一个 AI 研究助理。该工具可以使用学术论文中的内容直接回答人们提出的研究问题。经过使用定制的 GPT-3 后,其在三个重要维度上得到了提升:结果更易理解(提升 24%)、更准确(提升 17%)和整体更好(提升 33%)。

而在一个内部实验中,OpenAI 对来自小学数学问题的 8000 个例子(数据集来自 OpenAI 的“Grade School Math problems”)微调了两种大小的 GPT-3(下图中的 Curie 和 Davinci)。

OpenAI 声称,经过微调的模型在测试同一数据集的问题时,其准确度提高了一倍以上,能够正确回答类似这样的问题:卡拉需要在中午之前干洗 80 件衣服。如果她早上 8 点开始工作,每小时需要清洗多少件衣服?

“我们在开发 GPT-3 的 API 时,非常注重一件事,就是让那些即便没有机器学习背景的开发人员也可以访问使用它。”OpenAI 说,“我们希望利用 GPT-3 的易访问性,获得更多样化的用户群,使得他们可以将更多的问题转化为技术。”

需要注意的是,此次新增的微调能力还可以让用户节省 GPT-3 的使用费用。因为与之前 GPT-3 模型相比,具备可微调定制化的 GPT-3 可以让客户获得更高频率的高质量输出。

据了解,OpenAI 根据 GPT-3 模型生成的标记或单词的数量对 API 访问收费。虽然 OpenAI 对微调模型征收额外费用,但更高频率的高质量输出让访问费用较以前降低不少,所以用户的总成本反而是减少了的。

最后,OpenAI 还提到,“由于 AI 的加速推动,到 2024 年,80% 的技术产品和服务将由非技术专业人士开发。这之中,专门定制的 AI 工作负载会发挥一定作用。”

“我们正在不断寻找改善用户体验的方法,使人们更容易获得足够优良的结果,来用于生产高质量应用程序。而微调是使 AI 模型更加符合特定数据的一种方法。”

-End-

参考:

https://openai.com/blog/customized-gpt3/
https://venturebeat.com/2021/12/14/openai-begins-allowing-customers-to-fine-tune-gpt-3/