开发人员现在可以根据自己的数据微调 GPT-3,创建适合其应用程序的自定义版本。定制使 GPT-3 在更广泛的用例中变得可靠,并使模型的运行成本更低、速度更快。

您可以使用几乎任何形状和大小的现有数据集,或根据用户反馈增量添加数据。通过微调,一位 API 客户能够将正确输出从 83% 提高到 95%。通过每周添加来自其产品的新数据,另一家公司将错误率降低了 50%。

首先,只需使用您提供的文件在 OpenAI 命令行工具中运行单个命令即可。您的自定义版本将开始训练,然后立即在我们的 API 中可用。

去年,我们训练了 GPT-3 并在我们的 API 中提供了它。只需几个示例,GPT-3 就可以执行各种自然语言任务,这一概念称为“少样本学习”或“提示设计”。自定义 GPT-3 可以产生更好的结果,因为您可以提供比提示设计更多的示例。

openai api Fine_tunes.create -t

只需不到 100 个示例即可开始了解微调 GPT-3 的好处,并且随着添加更多数据,性能会不断提高。在去年 6 月发布的研究中,我们展示了如何通过少于 100 个示例进行微调来提高 GPT-3 在某些任务上的性能。我们还发现,示例数量每增加一倍,质量就会线性提高。

对于我们最具挑战性的研究数据集之一(小学数学问题),微调 GPT-3 可以将准确性比即时设计提高 2 到 4 倍。

两种尺寸的 GPT-3 模型(Curie 和 Davinci)根据我们最具挑战性的研究数据集之一(小学数学问题)中的 8,000 个示例进行了微调。我们比较了创建 10 个补全时模型解决问题的能力。

自定义 GPT-3 可提高输出的可靠性,提供更一致的结果,您可以在生产用例中信赖。一位客户发现,定制 GPT-3 将不可靠输出的频率从 17% 降低到 5%。由于 GPT-3 的自定义版本是根据您的应用程序量身定制的,因此提示可以更短,从而降低成本并改善延迟。

无论文本生成、摘要、分类还是任何其他自然语言任务 GPT-3 能够执行,自定义 GPT-3 都将提高性能。

由 GPT-3 定制版本支持的应用程序

Keeper Tax mobile interface with post-customized GPT-3

饲养员税 帮助独立承包商和自由职业者纳税。客户关联其财务账户后,Keeper Tax 使用各种模型来提取文本并对交易进行分类。 Keeper Tax 使用分类数据识别容易错过的税务核销,并帮助客户直接从应用程序提交税款。通过定制 GPT-3,Keeper Tax 能够不断改进结果。 Keeper Tax 每周都会添加约 500 个新的训练示例来微调其模型,这使得每周的准确率提高约 1%,准确率从 85% 提高到 93%。

Viable web interface with post-customized GPT-3

可行的 帮助公司从客户反馈中获得见解。通过定制 GPT-3,Viable 能够将大量非结构化数据转换为可读的自然语言报告,突出显示最重要的客户投诉、赞美、请求和问题。定制 GPT-3 提高了 Viable 报告的可靠性。通过使用定制版本的 GPT-3,总结客户反馈的准确性从 66% 提高到 90%。结果是客户做出产品决策时需要的有形、直观的信息。

Sana Labs web interface with post-customized GPT-3

萨那实验室 是人工智能学习开发和应用的全球领导者。 Sana 学习平台利用最新的 ML 突破为每个人量身定制内容,为企业提供个性化学习体验。通过使用他们的数据定制 GPT-3,Sana 的问题和内容生成从语法正确但一般的回答转变为高度准确的输出。这带来了 60% 的改进,从根本上为学习者提供了更加个性化和有效的体验。

Post Customized Gpt3 Elicit

引出 是一位人工智能研究助理,可以帮助人们利用学术论文的发现直接回答研究问题。该工具从大量研究论文中找到最相关的摘要,然后应用 GPT-3 的定制版本来生成论文针对该问题提出的主张(如果有)。 GPT-3 的自定义版本在三个重要指标上优于提示设计:结果更容易理解(提高 24%)、更准确(提高 17%)和整体更好(提高 33%)。

现在所有 API 客户都可以自定义 GPT-3。注册并开始使用微调文档。

pip install --升级 openai
导出 OPENAI_API_KEY=
openai api Fine_tunes.create -m ada --n_epochs 2 \ -t https://cdn.openai.com/API/train-demo.jsonl
openai api Fine_tunes.create -m ada --n_epochs 2 \ -t https://cdn.openai.com/API/train-demo.jsonl --- (Ctrl-C 会中断流,但不会取消fine-调) [2021-12-08 12:11:30] 创建微调:ft-gK9R3N3lDQYQJD0SXqlF8Fnc [2021-12-08 12:11:40] 微调成本 0.01 美元 [2021-12-08 12:11:40 ] 微调入队。队列号:0 [2021-12-08 12:11:45] 微调开始 [2021-12-08 12:12:58] 已完成 epoch 1/2 [2021-12-08 12:13:56] 已完成epoch 2/2 [2021-12-08 12:14:26] 上传模型:ada:ft-org-2021-12-08-20-14-25 [2021-12-08 12:14:29] 上传结果file: file-QvY81nzrOhXMenjMS5OlPeBW [2021-12-08 12:14:30] 微调成功 工作完成!状态:成功🎉尝试您的微调模型:openai api Completions.create -m ada:ft-org-2021-12-08-20-14-25 -p 
openai api Completions.create -m  \ --max-tokens 30 --温度 0 --stop ”###” \ -p $'连接 PS3 和配置 >Configuraciones de Red,选择红色 y escriba sus credenciales。\n英文翻译:'
openai api Completions.create -m  \ --max-tokens 30 --温度 0 --stop ”###” \ -p $'连接 PS3 和配置 >Configuraciones de Red,选择红色 y escriba sus credenciales。\n英文翻译:' --- Conecte la PS3 y vaya a Configuración>Configuraciones de Red, seleccione la red y escriba sus credenciales。\n英文翻译:连接 PS3 并前往“设置”>“帐户设置”,选择网络并写下您的凭据。%