大数据文摘出品

两周前,OpenAI又放了个大招:GPT3突然放出,其参数量达到1750亿,相当于1600个GPT1的大小,光把它用fp16半精度载入内存都得300GB,这还不包括实际训练中需要存储地梯度等中间变量。因此这也导致它训练起来非常昂贵,大概要花1200万美金,按现在汇率折合成人民币相当于8500多万元!!!

今天还有博客称,GPT-3可以看作是研究神经网络缩放律的一次尝试。就是说,从一个好的神经网络开始,把它增大十倍,它能变更聪明吗?聪明多少?会聪明十倍吗?能一直这样做下去,直到它变得无限智慧、或是把所有电脑都用上?”

博客链接

https://slatestarcodex.com/2020/06/10/the-obligatory-gpt-3-post/

这么好的东西当然是大家一起用才好。Open AI 官方刚刚宣布,发布针对GPT-3的API接口,让开发人员可以在日常英文工作中直接调用GPT-3,上手友好度+1。

官网指路:

https://openai.com/blog/openai-api/

基本上,该项工作是建立在理解英语单词的基础上。OpenAI希望能帮助用户实现自动化。GPT-3系列自然语言理解模型的各种功能可供开发人员使用。

内测链接:

https://forms.office.com/Pages/ResponsePage.aspx?id=VsqMpNrmTkioFJyEllK8sx3ELsv0PEhHphhNz30FttVUNkYwTlNPMVI1V0lXNjExMlExUlc4SE5YSS4u

例如,你可以依靠它快速浏览大量文本的能力,来回答有关文章的问题或找到相关部分。

在一个简短的演示视频中,OpenAI演示了它的工作原理-在Wikipedia的“面包“词条上询问“为什么面包那么蓬松”,就会返回文章中有关面包配方及其制作方法的部分。

比如在GPT-2基础上的著名文字冒险游戏AI Dungeon,现在用GPT-3的API接口,就能更轻松的实现。AI可以给出很多D&D原始资料和冒险经历,并在此基础上根据玩家的输入为玩家改进旅程。实质上这是在本地运行模型的一个版本,以前这需要用到一些笨拙的方法来完成,而现在只需通过API提交输入。

基本上,这是一种访问GPT-3广泛的语言理解和生成功能的更简单的方法,不过目前的呈现只是简单的文本输入和输出。

OpenAI在博客中回答了用户最关心的问题,为什么OpenAI选择发布API而不是开源模型?

OpenAI表示这样做有三个主要原因。


首先,将技术商业化有助于为正在进行的AI研究、安全和政策工作付费。

其次,API的许多基础模型非常庞大,需要大量的专业知识来进行开发和部署,并且运行起来非常昂贵。这使得除了大公司以外的任何人都很难从基础技术中受益。

第三,API模型可以更轻松地应对技术滥用。由于很难预测我们模型的下游用例,因此通过API释放它们并随着时间的推移扩展访问范围,本来就更安全,而不是发布一个开源模型,因为如果发现该模型存在有害的应用程序,则该模型无法进行访问调整。

“我们希望API能够大大降低生产有益的AI驱动产品的障碍,从而创造出今天难以想象的工具和服务。”

到目前为止,OpenAI已经与十几家公司合作,在更广泛地提供API之前对其进行测试。聊天机器人、教学辅助工具、法律研究——这类东西的应用永无止境,因为语言被用来定义和记录我们所做的几乎所有事情。然而,要想找到像这样的人工智能代理真正有用的地方,需要进行一些实验。

相关报道:

https://techcrunch.com/2020/06/11/openai-makes-an-all-purpose-api-for-its-text-based-ai-capabilities/