周二，OpenAI 宣布对其大型语言模型 API 产品（包括 GPT-4 和 gpt-3.5-turbo）进行重大更新，包括新的函数调用功能、显着降低成本以及 gpt 的 16,000 个令牌上下文窗口选项-3.5涡轮增压型号。
在大型语言模型（LLM）中，“上下文窗口”就像一个短期记忆，它存储提示输入的内容，或者对于聊天机器人来说，存储正在进行的对话的全部内容。在语言模型中，增加上下文大小已成为一场技术竞赛，Anthropic 最近宣布为其 Claude 语言模型提供 75,000 个令牌的上下文窗口选项。此外，OpenAI 还开发了 32,000 个代币版本的 GPT-4，但尚未公开。
沿着这些思路，OpenAI 刚刚推出了 gpt-3.5-turbo 的新 16,000 个上下文窗口版本，毫不奇怪地称为“gpt-3.5-turbo-16k”，它允许提示长度达到 16,000 个令牌。 gpt-3.5-turbo-16k 的上下文长度是标准 4,000 版本的四倍，可以在单个请求中处理大约 20 页文本。对于需要模型处理更大文本块并生成响应的开发人员来说，这是一个相当大的推动。
正如公告中详细介绍的那样，OpenAI 列出了其 GPT API 的至少四项其他重大新变化：
- 聊天完成 API 中引入函数调用功能
- GPT-4 和 gpt-3.5-turbo 的改进版和“更容易操纵”的版本
- “ada”嵌入模型降价 75%
- gpt-3.5-turbo 的输入代币价格降低 25%。
通过函数调用，开发人员现在可以更轻松地构建能够调用外部工具、将自然语言转换为外部 API 调用或进行数据库查询的聊天机器人。例如，它可以将“给 Anya 发送电子邮件，询问她下周五是否想喝咖啡”等提示转换为“send_email(to: string, body: string)”等函数调用。特别是，此功能还将允许一致的 JSON 格式输出，而 API 用户以前很难生成这些输出。
关于“可操纵性”，这是一个奇特的术语，指的是让法学硕士按照你想要的方式行事的过程，OpenAI 表示，其新的“gpt-3.5-turbo-0613”模型将包括“通过系统消息实现更可靠的可操纵性” ”。 API中的系统消息是一种特殊的指令提示，告诉模型如何表现，例如“你是鬼脸，你只谈论奶昔”。
除了功能改进之外，OpenAI 还大幅降低了成本。值得注意的是，流行的 gpt-3.5-turbo 的输入代币价格已降低 25%。这意味着开发人员现在可以使用该模型，每 1,000 个输入代币约为 0.0015 美元，每 1,000 个输出代币约为 0.002 美元，相当于每美元大约 700 个页面。 gpt-3.5-turbo-16k 模型的定价为每 1,000 个输入代币 0.003 美元，每 1,000 个输出代币 0.004 美元。
此外，OpenAI 还为其“text-embedding-ada-002”嵌入模型提供了 75% 的成本大幅降低，该模型在使用上比其对话式同类模型更加深奥。嵌入模型就像计算机的翻译器，将单词和概念转换为机器可以理解的数字语言，这对于搜索文本和建议相关内容等任务非常重要。
由于 OpenAI 不断更新其模型，旧模型不会永远存在。今天，该公司还宣布开始弃用这些型号的一些早期版本，包括 gpt-3.5-turbo-0301 和 gpt-4-0314。该公司表示，开发者可以继续使用这些模型直到 9 月 13 日，之后旧模型将不再可用。
值得注意的是，OpenAI 的 GPT-4 API 仍处于候补名单中，但仍可广泛使用。
