人的斗志是什么 【长期主义】第208期智能说：OpenAI首席科学家Ilya Sutskever
ChatGPT横空出世，万众瞩目，但我们不应忘记背后默默无闻的天才。Ilya Sutskever是OpenAI联合创始人与首席科学家。正是在他领导下，OpenAI在开发尖端技术与推动人工智能领域的发展方面取得重大进展。
本期“长期主义”，选择OpenAI首席科学家Ilya Sutskever的信仰之跃、Ilya Sutskever的成长故事、开挂的OpenAI革新者3篇文章，智源社区、机器之心、OneFlow社区发布，六合商业研选精校，分享给大家，enjoy！
正文：
全文16,820字
预计阅读34分钟
OpenAI首席科学家Ilya Sutskever的信仰之跃
字数：3,515字
Ilya Sutskever是OpenAI联合创始人与首席科学家，1986年出生在俄罗斯，在以色列长大，16岁随父母移居加拿大，2005年毕业于多伦多大学，2012年获得CS博士学位。2012年~至今，Ilya Sutskever先后就职于斯坦福大学、DNNResearch、Google Brain，从事机器学习与深度学习相关研究，2015年放弃谷歌高薪职位，与Greg Brockman等人联合创建OpenAI，在OpenAI主导GPT-1、2、3，以及DALLE系列模型研发。2022年，Ilya Sutskever入选英国皇家科学学会院士。
Ilya Sutskever是人工智能领域先驱，在塑造人工智能的当前格局方面发挥重要作用，并在继续推动机器学习可能性的界限。Ilya Sutskever对人工智能的热情，让他的开创性研究熠熠生辉，也由此塑造深度学习与机器学习领域的发展历程。
我们将探讨20年间，Ilya Sutskever是如何从年轻的研究人员一步步走到人工智能领域的领导人物之一。
2003：对Ilya Sutskever的初印象
Ilya Sutskever在多伦多大学读本科时，Sutskever想加入深度学习三巨头之一的Geoffrey Hinton教授的深度学习实验室。他在某天直接敲开Hinton教授办公室的门，询问自己是否可以加入实验室。教授让他提前预约，但Sutskever不想再浪费时间，所以他立即问：就现在怎么样？
Hinton意识到Sutskever是敏锐的学生，于是给他2篇论文让他阅读。1周后，Sutskever回到教授办公室，然后告诉教授他不理解。
教授问：为什么不理解？Sutskever解释说：人们训练神经 *** 来解决问题，当人们想解决不同问题时，就得用另外的神经 *** 重新开始训练。但我认为人们应该有一个能够解决所有问题的神经 *** 。
这段话展示Sutskever得出结论的独特能力，而这种能力即使是有经验的研究人员也需要花费数年时间才能找到，Hinton于是向他发出邀请，希望他加入自己的实验室。
2011：初识AGI
Sutskever还在多伦多大学时，曾飞到伦敦去DeepMind找工作。在那里他见到DeepMind两位创始人Demis Hassabis与Shane Legg，他们正在建立通用人工智能AGI（Artificial General Intelligence）。
AGI能够像人类一样思考与推理，并完成与人类智能相关的各种任务，如理解自然语言，从经验中学习，做出决定，以及解决问题。在当时，AGI并不是严肃的研究人员会谈论的东西。Sutskever也认为他们已经与现实脱节，所以他拒绝这份工作，回到大学，2013年加入谷歌。
2012：图像识别革命
Geoffrey Hinton慧眼独具，在其他人都不相信的时候相信深度学习。并且他坚信，在ImageNet竞赛中获得成功就会彻底解决这一争论。ImageNet竞赛：斯坦福大学的实验室每年都会举办ImageNet竞赛。他们为参赛者提供由精心标记的照片组成的庞大数据库，来自世界各地的研究人员都会来参加比赛，尝试创建能够识别最多的图像的系统。
Hinton两个学生，Ilya Sutskever与Alex Krizhevsky参加这个比赛。他们打破传统的手工设计方案，采用深度神经 *** ，并突破75%的准确率大关。
他们赢得ImageNet竞赛，他们的系统后来被命名为AlexNet。从那时起，图像识别领域焕然一新。
后来，Sutskever、Krizhevsky、Hinton发表关于AlexNet的论文，这篇论文成为计算机科学领域被引用次数最多的论文之一，总共被其他研究人员引用6万多次。
2013：将DNNResearch拍卖给谷歌
2012年毕业后，Sutskever在斯坦福大学，跟随吴恩达教授读2个月的博士后课程，然后Sutskever回到多伦多大学。
Hinton与Sutskever、Krizhevsky一起，成立DNNResearch公司。他们没有任何产品，也没在未来打造任何产品的计划。Hinton问律师，如何让他的新公司具有更大价值，尽管目前只有3名员工，既没有产品，也没有底蕴。
律师给他的选择之一是设立一个拍卖会，有4家公司参与收购：百度、谷歌、微软、DeepMind（当时还是起步于伦敦的年轻创业公司）。
之一个退出的是DeepMind，其次是微软，最后只剩下百度与谷歌在竞争。到某天晚上接近午夜时分，拍卖价格高达4,400万美元，Hinton于是暂停竞标并且去睡一觉。
第二天，Hinton宣布拍卖结束，并以4,400万美元将他公司卖给谷歌，他认为为他的研究找到合适的家更重要。
在这一点上，Hinton与他学生们一样，把他们想法置于经济利益之上。平分收益的时候，Sutskever与Krizhevsky坚持认为Hinton应得到更大份额（40%），尽管Hinton建议他们不如先睡一觉。第二天，他们仍然坚持这种分配方式。Hinton后来评论说：这能体现他们的为人，而非我的。
在这之后，Sutskever成为谷歌大脑研究科学家，他的想法产生更大的变化，并开始与DeepMind创始人想法逐渐一致。他开始相信，属于AGI的未来就在眼前。
当然，Sutskever本人也从不畏惧在面对新信息或经验时改变主意。毕竟相信AGI需要的是信仰之跃，正如Sergey Levine（Sutskever在谷歌的同事）对Sutskever的评价：他是一个不害怕相信的人。
2014：语言翻译的革命
AlexNet标志自2012年起人工智能革命的开端。然而，许多领域仍未被深度学习算法所开发，例如自然语言处理。当时，卷积神经 *** CNN使用的神经 *** 类型与文本等序列数据不兼容。
在收购DNNResearch之后，谷歌聘请Sutskever为谷歌大脑的研究科学家。加入Google后，Sutskever全身心投入到序列建模问题中，它可以应用于语音、文本、视频，其中一个非常实际的应用就是机器翻译。
2014年，Sutskever与谷歌研究员Oriol Vinyals、Quoc Le，一起发明一种神经 *** 的变体，提出序列到序列Seq2SSeq学习（Sequence to Sequence Learning），能将英语翻译成法语，它能捕捉到输入的序列结构（如英语的句子），并将其映射到同样具有序列结构的输出（如法语的句子）。
该 *** 使用循环神经 *** RNN，也就此开启RNN广泛应用于语言任务的时代。他们的研究应用于机器翻译，并且在大型数据集上，其表现优于基于短语的统计机器翻译基线。
Sutskever说，研究人员本不相信神经 *** 可以做翻译，所以当它们真的能翻译时，这是非常大的惊喜。他的发明击败表现更好的翻译器，为谷歌翻译提供重大升级。语言翻译从此变得不一样。
Seq2seq学习允许更少的工程设计选择，并让Google翻译系统高效准确处理大量数据集。它主要用于机器翻译系统，并被证明适用于更广泛任务，包括文本摘要、人工智能对话与问答。
2015年，麻省理工学院技术评论将Sutskever评为Visionaries类别的35岁以下创新者。
2015：从谷歌到OpenAI，人工智能新篇章
Sam Altman与Greg Brockman，将Sutskever与其他9名研究人员聚集在一起，尝试是否还有可能与该领域更优秀的人才组成一个研究实验室。
当讨论到这个将成为OpenAI的实验室时，Sutskever意识到他找到一群志同道合的人，他们与他的信念与愿望相同。
Brockman向这10位研究人员发出加入他实验室的邀请，并给他们3周时间来决定。
谷歌知道这件事后，向Sutskever提供一笔可观的金额来加入他们。被拒绝后，谷歌将他们薪资提高到第1年近200万美元，这是OpenAI要付给他的2~3倍。
Sutskever还是愉快放弃谷歌数百万美元的工作机会，最终成为非营利组织OpenAI的联合创始人。
OpenAI的目标是利用人工智能造福全人类，以负责任的方式推进人工智能。
2018：开发GPT-1、2、3
Sutskever领导OpenAI发明GPT-1，随后发展到GPT-2、GPT-3、ChatGPT。GPT（Generative Pre-trained Transformer）模型是一系列基于神经 *** 的语言模型。GPT模型的每一次更新换代，都是自然语言处理领域的突破性进展。
GPT-1（2018年）：这是该系列的之一个模型，是在一个大规模的互联网文本数据集上训练；关键创新之一是使用无监督的预训练，这种情况下，模型学习根据前面单词的上下文来预测句子中的单词。这使得该模型能够学习语言结构，并生成类似人类的文本。
GPT-2（2019年）：在GPT-1成功基础上，它在更大的数据集上进行训练，产生更强大的模型。GPT-2主要进步之一，是它能够就广泛的主题生成连贯与流畅的文本段落，这使它成为无监督语言理解与生成任务的关键角色。
GPT-3（2020年）：GPT-3在规模与性能上都是实质性飞跃，是在大规模数据集上训练的，使用1,750亿参数，比以前模型大得多。GPT-3在广泛的语言任务上取得更先进的性能，如问题回答、机器翻译与总结，具有接近人类的能力；还显示执行简单的编码任务、编写连贯的新闻文章、甚至生成诗歌的能力。
GPT-4：预计2023年推出。
2021：开发DALL-E 1
Sutskever领导OpenAI发明DALL-E 1，这是由AI驱动的图像生成模型。它使用与GPT模型类似的架构与训练过程，被应用于图像生成，而非文本。
今天许多主要的图像生成器，DALL-E 2、MidJourney，都归功于DALL-E 1，它们基于相同的变换器架构，并在类似的图像数据集与相关文字说明上进行训练。
DALL-E 2与MidJourney都是基于DALL-E 1的微调过程。
2022年：向世界揭开ChatGPT面纱
2022年11月30日，Sutskever帮忙推出ChatGPT，这引起大众的广泛关注，并在短短5天内发展到100万用户，2个月时间注册用户过亿。
ChatGPT工作方式是在大量文本数据集上预先训练深度神经 *** ，然后在特定任务上对其进行微调，如回答问题或生成文本。ChatGPT是基于GPT-3语言模型的对话式人工智能系统。理解对话的背景并产生适当的反应，是ChatGPT的主要功能之一。
该机器人会记住对话线索，并根据以前的问题与答案作出后续回应。与其他聊天机器人不同的是，这些机器人通常仅限于预编程的反应，而ChatGPT可以在应用中产生反应，使其能够进行更加动态与多样化的对话。
Elon Musk是OpenAI创始人之一，评价到ChatGPT优秀得可怕。我们离危险的强大人工智能不远。
尾注
Ilya Sutskever对人工智能的热情，推动他的突破性研究，改变该领域的进程。他在深度学习与机器学习方面的工作，对推进技术水平与塑造该领域的未来方向起到重要作用。
我们也亲身见证Sutskever在人工智能领域工作的影响，他已经改变该领域的进程，并将继续在这个方向努力。
尽管多次面对物质上的诱惑，Sutskever还是选择追求他的 *** ，专注于他的研究；他对工作的奉献，对任何研究人员来说都堪称典范。如今我们已经见证Sutskever对我们这个世界的影响。很显然，这仅仅是个开始。
OpenAI首席科学家Ilya Sutskever的成长故事
字数：2,407字
如果要了解Ilya Sutskever的故事，必须从2015年一顿饭讲起。
2015年，Ilya Sutskever还是年轻的计算机科学家，知名AI学者Geoffrey Hinton的学生，当时正在专攻深度学习。
就在那一年，Y Combinator总裁Sam Altman给他发一封电子邮件：Hey, let’s get dinner with some cool people。
就这样，Ilya与 Stripe联合创始人Greg Brockman、Elon Musk与其他有影响力的人物吃一顿晚饭。这场聚会上，他们解释说他们想创建新的人工智能实验室。
对Ilya Sutskever来说，这是相当完美的时机，因为他一直梦想创建自己的人工智能公司。
他们创立OpenAI，几年之后，这家公司成为AI研究的领导者。著名的GPT，这是能够创建令人惊叹的真实对话的深度学习模型。就像在这个例子中，GPT（Norn）将程序员引入一个神秘的世界：
Norn使用GPT-3创建的虚拟实体，能够创造神秘的故事
在本文中，我们将了解这位出生于俄罗斯的年轻科学家，如何最终成为有史以来最有影响力的人工智能研究人员之一，以及他对该行业的预测。
正确的位置
要解Ilya的故事，我们需要从Geoffrey Hinton故事开始。
Geoffrey Hinton，是数学家与教育家Mary Everest Boole与她的丈夫逻辑学家George Boole的曾曾孙，George Boole的工作最终成为计算机科学的基础（布尔数据类型以他的姓氏命名）。
Hinton在英国学习心理学与人工智能，在难以为研究找到资金支持后，搬到美国。1986年，在卡内基梅隆大学工作期间，Hinton所在的团队展示如何使用反向传播算法成功训练神经 *** 。
在前些年，该领域缺乏成果的状况，导致人工智能在很长一段时间内遭遇寒冬，由于缺乏好的训练算法，神经 *** 名声很差。
多年后，Hinton从美国搬到加拿大，Ilya就是在那里遇见Hinton。
Ilya 1986年出生在俄罗斯，在以色列长大，16岁随父母移居加拿大。正如他所解释的，他父母希望全家过上更好生活，但移居美国通常比移居加拿大更复杂，而当搬到加拿大时，多伦多通常是之一个去的地方。
当他在多伦多大学计算机科学专业攻读博士学位时，他的教授是Geoffrey Hinton。Ilya从小就梦想着解决问题。他在一次采访中解释说，他从小就考虑用人工智能解决国际象棋问题。Ilya与Hinton讨论几篇深度学习论文，因为Ilya对此非常好奇。
Hinton给Sutskever一个研究项目：改进随机邻居嵌入算法。该项目是他们合作的开始，Sutskever出色表现给Hinton留下深刻印象。顺理成章，Sutskever在攻读博士学位时加入Hinton小组。
Sutskever在接受多伦多大学采访时说：多亏与Geoffrey合作，我才有机会研究我们这个时代最重要的一些科学问题，并追求大多数科学家都非常不理解，结果却是完全正确的那些想法。
重塑行业
李飞飞1976年出生在中国北京，15岁移居美国，在美国普林斯顿大学主修物理与计算机科学。李飞飞在研究AI问题时，意识到没有足够的数据来训练神经 *** 模型。
李飞飞创建包含数百万张图像的广泛数据库，计算机可以使用这些图像来训练他们的人工视觉。李飞飞在2009年将该数据库命名为ImageNet。
2010年以来，ImageNet项目每年举办一次软件竞赛，让不同软件程序比较检测对象与场景的能力。
2012年，一个程序能做到的更好程度，就是以近30%错误率识别图像。
Ilya Sutskever、Geoffrey Hinton、Alex Krizhevsky想参加比赛，2012年，在Hinton指导下，Sutskever与博士生同学Alex Krizhevsky开发AlexNet，在2012年ImageNet LSVRC-2012比赛中脱颖而出。
AlexNet以新颖的神经 *** 架构在NIPS亮相，包含5个卷积层与3个完全连接层。这篇论文被广泛认为是一项真正的开创性工作，首次证明在GPU上训练的深度神经 *** 可以将图像识别任务提升到新的水平。
2012年9月30日，AlexNet在ImageNet上实现15.3%的错误率，这一成就标志着新一波人工智能浪潮开始。
更重要的是，AlexNet让Sutskever意识到，深度学习可以解决任何模式识别问题，只要有一个深度神经 *** 训练大量的数据。
他们如何做到
在对有史以来前100篇科学论文的分析中，一位物理学家发现，过去100年中唯一取得重大进展的领域是人工智能。但是，大多数开发人员仍然不知道如何实现它。
Ilya对人工智能未来的担忧之一，是没有足够的工程师真正改进这些技术。
让我们看看他们是如何用粗线条与简单的文字创建AlexNet。
人工神经 *** 是一种机器，我们可以像训练孩子大脑一样训练它，例如识别圆形与矩形。为此，我们将向神经 *** 展示许多圆形与矩形的示例，我们可以使用Geoffrey Hinton证明有效的反向传播算法对其进行训练。
神经 *** 的表征
当AI寒冬结束时，我们确信，如果想让神经 *** 识别更难的模式，比如区分男性与女性，我们需要深度神经 *** （这只是一个具有两个以上隐藏层的神经 *** ），尽管如此，这些 *** 并不擅长识别更复杂的模式，比如识别图片中的人。
AlexNet使用卷积神经 *** 来检测这些模式。这些类型的 *** 使用滤波器来检测代码中的特定模式。想象一下，有几个工人负责特定的工作：一个工人将检测图像中的圆圈，另一个将检测边缘，另一个将使用前两个工人的输出来检测人脸。
在此示例中，由于矩阵中的1，滤波器正在检测人脸的对角线。
虽然这看起来实现起来超级复杂，但在由Ilya Sutskever协助开发的TensorFlow等现代框架中，只需要一行即可创建卷积层：model.add(layers.Conv2D(32, (3, 3), activation='relu')。
在接下来几年里，这些 *** 变得非常流行，被用于特斯拉汽车、Instagram算法、谷歌的DeepMind，以及基本上任何需要计算机视觉的地方。
奇点
那次会面后，Elon Musk、Sam Altman、Ilya Sutskever创立OpenAI。Ilya成为公司首席科学家，年薪190万美元，该公司迅速成为人工智能领域领导者。
OpenAI使用强化学习，通过复制动物进化来训练其模型：强化有助于实现目标的行为。他们训练数字人玩捉迷藏，让隐藏者与搜寻者的大脑相互竞争。
他们创建OpenAI Gym，这是供开发人员创建强化学习算法的工具。
但他们更先进的模型GPT-3，真正向奇点迈进一步。技术奇点，或者简称奇点，是一个假设的时间点，在这个时间点，技术增长变得无法控制与不可逆，从而导致人类文明发生不可预见的变化。
GPT-3是大规模语言模型，使用深度学习来生成类人文本。Ilya Sutskever在Twitter上引发全球AI社区的讨论。
Futuri *** 报道，Sutskever在发布他推文后不久就遭到强烈反对，大多数研究人员担心他过分描述人工智能已变得多么先进。
定义意识是非常复杂的任务，大多数时候与人类状况密切相关。我们不能说今天的神经 *** 是有意识的，但我们越来越接近机器可以模仿我们，并以我们无法理解的方式处理其内部系统中数据的地步。
但可以确定的是，Sutskever工作永远改变我们的生活。大公司都在支持OpenAI，他们每天都在取得新的成就，而今天的Ilya Sutskever还不到40岁。
深度学习崛起10年：开挂的OpenAI革新者
字数：10,898字
AlexNet、AlphaGo、GPT、CLIP、DALL-E、Codex，集齐六龙珠的Ilya Sutskever，其论文被引次数超过25万次。他是Geoffrey Hinton的学生，也是OpenAI联合创始人兼首席科学家，在本文，他将介绍自己在多伦多大学，谷歌与OpenAI的职业生涯，以及对AI的洞见。
AlexNet、AlphaGo、GPT、CLIP、DALL-E、Codex，这些在AI界轰动一时的杰作，对任何AI领域的研究者，主导或参与上述任何一个项目都可以成就一段辉煌的职业生涯，但是，偏偏有人就能集齐这六龙珠。
更让人感到绝望的是，这个人成就还不止于此。在他2012年博士毕业后的10年里，他的论文被引次数超过25万次，在AI学术界有着巨大影响力。此人就是OpenAI联合创始人、首席科学家Ilya Sutskever。
在多伦多大学读本科时，深度学习三巨头之一的Geoffrey Hinton成了Ilya Sutskever导师，当时这个领域一片荒芜，但Ilya Sutskever学习动机非常明确，就是要对AI做出哪怕非常小但有意义的贡献。Geoffrey Hinton一开始给Ilya Sutskever研究项目是改进随机邻居嵌入算法，后者的出色表现给Hinton留下深刻印象。
2012年，Ilya Sutskever在多伦多大学读博期间，在Hinton指导下，Ilya Sutskever与博士生同学Alex Krizhevsky设计了AlexNet，并在2012年ImageNet大赛上一举夺魁。AlexNet的出现，使得深度学习大放异彩，并让AI在过去10年取得突飞猛进发展。
Ilya Sutskever博士毕业后，加入Hinton新研究公司DNNResearch，2013年3月，这家只有3个人的创业公司被谷歌收购，Sutskever担任Google Brain的研究科学家。
期间，Ilya Sutskever与谷歌研究员Oriol Vinyals、Quoc Le提出Seq2seq学习，开启RNN广泛应用于语言任务的时代。
Ilya Sutskever还参与开发机器学习框架TensorFlow，用于大规模机器学习。在谷歌大脑团队中，Sutskever加入Google开源库TensorFlow的开发，用于大规模机器学习。
TensorFlow具有许多便利的功能与实用程序，如今是世界上更流行的机器学习系统。它使用数据流图来表示计算，将数据流图的节点映射到集群中的许多机器上，并与各种计算设备连接，包括CPU、GPU、与定制设计的ASIC、称为张量处理单元的Google TPU。
更重要的是，Ilya Sutskever还参与研发DeepMind的AlphaGo，该系统基于深度神经 *** 与蒙特卡罗树搜索方面进行训练，并使用强化学习算法自学习，Ilya Sutskever也是AlphaGo论文的作者之一。
同样在谷歌大脑，Sutskever协助DeepMind研究人员开发划时代的围棋人工智能AlphaGo，该系统基于深度神经 *** 与蒙特卡罗树搜索方面进行训练，并使用强化学习算法自学。
AlphaGo在2016年3月的5场更佳对决比赛中，击败韩国围棋大师李世石，创造历史。这款机器首次在最复杂的战略棋盘游戏中超越人类最强大的能力。关于AlphaGo的论文，2016年在Nature上发表，Sutskever是合著者。
2015年7月，Sutskever在Sand Hill Road一家餐厅，参加一场有Y Combinator前总裁Sam Altman、Elon Musk、现OpenAI首席技术官Greg Brockman出席的晚宴。在场的每个人达成一个共识：人类需要一个组织，一个非营利组织，没有任何竞争激励来削弱其实现人工智能的使命，它还需要世界上更好的人工智能研究人员。他们一致决定要成立工程型的AI实验室。
Brockman后来在博客文章中回忆道，Ilya是知识与愿景广泛的技术专家，并且可以随时深入解当前系统的局限性与能力。
Ilya对离开谷歌的选择百感交集，虽然很享受在GoogleBrain工作，但想做的更多。
2015年末，Ilya Sutskever与Greg Brockman共同创立OpenAI，致力创造出通用人工智能AGI，并获得Elon Musk、Sam Altman、LinkedIn创始人Reid Hoffman等人的私人投资，在6年时间里，OpenAI开发出GPT、CLIP、DALL-E、Codex等震动业界的AI项目。
Sutskever说：有可能在我们有生之年，我们将建立一个在每个有意义的维度上都具有认知能力的人工智能系统。
Ilya Sutskever作为AI前沿领域的探索者，纵览其职业生涯，每一次转向似乎都能恰到好处挖到黄金。
Sutskever对AI发展的敏锐度来自何处，又如何看待未来神经 *** 、AI发展机遇？
2021年9月，在Pieter Abbeel主持的The Robot Brains Podcast节目中，Ilya Sutskever分享他在多伦多大学、谷歌、OpenAI等经历的研究往事，在深度学习崛起10年之际，我们将解到这个AI革新者与引领者背后的思考与分析。
以下为访谈内容纪要：
为何决定研究神经 ***
Pieter Abbeel：很多人认为，新一轮AI *** 到来是从2012年AlexNet突破开始，你是促成这一时刻发生的人之一。但在那之前，别人都在研究其他各种计算机视觉 *** ，你为什么却在研究应用于计算机视觉的神经 *** ？
Ilya Sutskever：这一决定是由过去几年一系列认识产生的结果。之一个认识是，James Martens写的《通过Hessian-Free优化深度学习》的论文，之一次证明可以从监督数据进行端到端训练深度 *** 。
但在当时某些情况下，大家都觉得无法训练深度 *** 。反向传播太弱，你需要进行某种形式的预训练，然后才可能会有一些进展。而且，即使能进行端到端训练，深度 *** 到底能做什么？
当然，现在我们提到深度学习，就觉得训练神经 *** 是理所当然，只需要一个大型神经 *** ，输入数据，然后输出很不错的结果。
人们真正关注的是机器学习模型，他们希望可以有一种算法，完美训练这些模型。但是，如果你把这个条件强加给自己，并且想找到简单优雅的数学证明时，这最终会限制模型能力。
相比之下，神经 *** 基本算是小型并行计算机，尽管已经不算小。而训练一个神经 *** ，相当于用反向传播算法给这台并行计算机进行编程。所以当我看到Hessian优化的结果后，我真的很高兴，这意味着现在可以对并行计算机编程。你可能觉得，也许有人会雄心勃勃训练这些东西，但显然基本不可能成功，局部极小值是个大难题。但现在，你可以训练神经 *** 。
第二个认识是，人类视觉速度很快，最快几百毫秒就能识别出物体，尽管神经元的速度很慢。这意味着甚至不需要那么多层来实现多好的视觉效果。如果有一个相当大的神经 *** ，那么可以通过调参在视觉应用上实现很好的效果。要是一开始就有做训练用的数据集就好。然后ImageNet、GPU出现，我就想，神经 *** 也必然会出现。
某一次我与Alex Krizhevsky聊天，他提到自己的GPU代码可以训练一个小的卷积 *** ，在60秒内输出很不错的结果，我感到很震惊。我想如果在图像上这么做肯定能成功。所以事情就是这样发生的。
Pieter Abbeel：我还记得你之一次告诉我，神经 *** 只是一个计算机程序的情景，这甚至比Andrej Karpathy说软件2.0是用神经 *** 编程还要早好几年。但在神经 *** 取得成功之前，你就看到这一点。你什么时候意识到神经 *** 在ImageNet上更有效？
Ilya Sutskever：我一直都相信这样做会有效。那时，Alex一直在训练神经 *** ，得到的结果越来越好，每周都有很大进步。
但从我的角度看，当时神经 *** 都不够大，更大风险是我们是否有能力充分利用GPU来训练非常大的神经 *** ，它应该比其他所有的神经 *** 都要好。当然我们做的远不止这些。
我们计算机速度更快，神经 *** 更大，但我们目标是尽可能利用当时硬件走得更远，这就是风险所在。幸运的是，Alex用高度优化的CUDA内核消除这个风险。
Pieter Abbeel：如今我们可以直接在PyTorch或TensorFlow中训练神经 *** ，但那时，你必须自己搭建一些专业的工具才能正常运行。我很好奇，当你比其他人更早知道AlexNet的突破发生后，你在想什么？
Ilya Sutskever：当时在思考2件事。首先我相信，我们已经证明神经 *** 可以解决人类在短时间内可以解决的问题，我们已经证明可以用适量的层来训练神经 *** 。因此，我认为我们可以把神经 *** 做得足够宽Wide，但如果想把神经 *** 做得很深Deep却很难。如何做深还需要大量思考才可能解决。
我们能不能找到一些有趣的、不需要太多思考的问题？我考虑的实际是强化学习，而语言正是人们可以快速理解的东西，翻译也是语言领域着重需要解决的问题。
另一件事，也是关于AIphaGo系统，使用卷积 *** 或许会为当时其他非神经 *** 系统提供非常好的直觉参考。
Pieter Abbeel：神经 *** 如何改变AlphaGo系统的行为？
Ilya Sutskever：在深度学习之前，任何与AI有关的东西都会涉及某种搜索程序或某种硬编码的启发式 *** 。这种情况下，真正有经验的工程师需花很多时间认真思考：在什么情况下，他们应该继续做某事或停止做某事，还是扩展资源，他们所有时间都花在找启发式 *** 上。
但是神经 *** 是形式化的直觉，会提供一种专家式直觉。我曾经了解到，在任何一款游戏中，专业级玩家只要观察一下情况，马上就能有一种非常强烈的直觉：不是这么做，就是那么做。然后在剩下时间里，他就会考虑是这两个选择里哪一个。
如果你相信神经 *** 可以完成人类短时间内完成的事情，神经 *** 就真的能做到。围棋这样的游戏，就是一个大的软柿子Soft problem，我们是有能力做到的。
Pieter Abbeel：当我之一次听说围棋游戏使用卷积 *** 时，我之一反应是，既然卷积以平移不变性而闻名，而围棋棋盘上是没办法保证平移不变的，因为一个特征所处的位置真的很重要。但很明显，这并没有阻止卷积 *** 成功，而且它掌握这种特征。
Ilya Sutskever：这又是并行计算机的力量，你能想象编写一个卷积 *** 来做正确的事情吗？这的确不可思议，但的确是人们信念上的一次飞跃。我最后也间接参与AlphaGo的论文。我有个实习生Chris Maddison，我们一起想给AlphaGo应用超级卷积 *** 。
与此同时，谷歌收购DeepMind，所有员工都去拜访过谷歌。我们与David Silver、Aja Huang（AlphaGo主要作者）进行交谈，这是一个很酷的项目。DeepMind真的付出很多努力，他们在这个项目上执行得非常出色。
Pieter Abbeel：AlexNet是大多数AI研究人员看到深度学习时代到来的新起点，AlphaGo的面世可能让大多数人看到AI能够实现许多不可能的时刻。世界上大多数人都在关注这一点，比如在自然语言处理方面中发生一些非常基本、颠覆性的事情。
整个谷歌翻译系统已经用神经 *** 进行改造，尽管当时很多人认为神经 *** 只是特征识别，而特征应该是像语音或者是视觉上的信号，语言却是离散、独立的。如何从这些连续的信号跳转到离散的、独立的语言上去？这两者差异很大。
Ilya Sutskever：如果你相信生物神经元与人工神经元没什么大的不同，你就会认为这个跳转非常自然。世界上更好的专业翻译，应该是极度精通至少两种语言的人，他几乎可以马上把一种语言翻译为另一种语言。因此，在这个人的头脑中存在一些层数相对较少的神经 *** ，可以完成这项任务。
如果我们在电脑里有一个规模没有那么大的神经 *** ，通过输入、输出多次训练这个神经 *** ，我们肯定能得到这样一个神经 *** 解决问题。因此，世界上极度精通两种语言的人类的存在，也可以证明神经 *** 可以做到。现在我们有大型神经 *** ，我们大脑也相当强大，也许你可以大胆说，我们可以不断训练数字神经元，再少点儿噪音就可以。
当然，现在神经 *** 还没有达到人类翻译水平。但我们可以推断，既然生物神经元与人工神经元没有什么不同，那为什么神经 *** 不能做到？再等等吧。
Pieter Abbeel：你与谷歌的合作者发明一种用神经 *** 进行机器翻译的 *** ，你介绍下工作原理。
Ilya Sutskever：你所需要的只是一个大型神经 *** ，它能以某种方式吸收单词的某些表征。在AI领域，我们经常使用表征这个词。比如字母a或者是cat这个单词，要怎么把它们传达给计算机或神经 *** ？
计算机或神经 *** ，会在单词或字母上建立某种映射，生成某种神经 *** 可以接受的形式。所以你只需设计一本字典，然后把这些信号输入到神经 *** ，然后用某种 *** 让神经 *** 一次一个接收这些信号，之后在翻译过程中一个一个输出这些单词。这就是现在很流行的所谓自回归建模 *** 。
用这个 *** 并不是因为它有多特别，只是因为比较方便。神经 *** 会做所有事情，它知道如何建立内部机制，如何构建神经元来正确翻译每个单词的意思。
神经元会把它们分块、转换、编排，一次输出一个正确的单词。也有其他方式来设计其他的神经 *** 来接收这些单词的信号，现在人们也正在探索，比如扩散模型。也许神经 *** 能够并行接收单词，做一些顺序性工作，然后并行输出。
事实上，这并不重要。重要的是，我们只是以某种方式将单词呈现给神经 *** ，有办法让神经 *** 可以输出目标单词。
大学生涯与导师Hinton
Pieter Abbeel：是什么让你最终成为AI研究人员？
Ilya Sutskever：我1986年在俄罗斯出生，以色列长大，16岁移居加拿大。据我父母说，我很小的时候就开始谈论AI。我也清楚记得，曾经思考过AI的事情，还读到有文章称这个领域是在用蛮力下棋的说法。
很明显，AI似乎可以下国际象棋。但AI真正的核心应该是学习，这也是AI如此糟糕的缘由。因为它不学习，而人类一直在学习，那么我们能一直做到所有的学习吗？
自我去多伦多大学后，我就找到研究深度学习的教授Geoffrey Hinton。另一个原因是，他在训练神经 *** ，而神经 *** 似乎是更有希望的方向，因为它们没有明显的计算限制，尽管决策树这些在当时比较流行。
Pieter Abbeel：去多伦多大学后有没有想过，Hinton在这个领域研究30~40年，似乎一直没有什么起色，再研究30~40年后可能也不会成功？
Ilya Sutskever：我动机非常明确，就是要对AI做出哪怕非常小，但有意义的贡献。我认为学习并不总是完全有效，如果因为我的存在，AI的研究变得更好一点，那么我就成功。
Pieter Abbeel：是否记得自己之一次与Hinton见面时的场景？
Ilya Sutskever：我大三时之一次见到他，当时我专业是数学，大家都认为数学很难，真正有天赋的人，才会学习数学。我当初选择机器学习，因为它不仅是真正有价值的研究，还因为所有聪明人都去学数学与物理，我对这种状况感到高兴。
Pieter Abbeel：我在读Cade Metz书时，Hinton讲述他与你见面的事情。他当时给你一篇论文，你回去读之后说看不懂，他说没关系，你还在读本科，有什么不明白，他可以解释给你听。然后你说，手动操作的地方太多，你不明白为什么他们不把整个学习过程自动化。你能看懂这篇论文，只是不明白他们为什么要这么做。Hinton心想，哇哦，有点儿意思。
后来他给你另一篇论文，你读后回来说，你也不理解为什么他们为每个应用程序都单独训练一个神经 *** ，为什么不能训练一个庞大的 *** 来完成所有的事？一起训练效果应该会更好。
这些事让我想起我们在OpenAI的时候，感觉你的思考总是走在我们前面，你会预测事情未来将如何发展。今天回过头来看，你好像真的知道几年后事情的发展是怎样。
Ilya Sutskever：确有其事。我刚从事这个领域的时候，AI并不被人看好，还没有人做出什么成就，这个领域一片荒芜，也不清楚未来是否会有什么进展。
我一开始给自己制定目标是，推进对AI有用、有意义的一小步。这是我在相当长一段时间内很明确的动机。在这个动机变得更清晰之前，这条路可能会更加崎岖陡峭，但同时也燃起我们斗志。
OpenAI与GPT的诞生
Pieter Abbeel：从多伦多大学开始研究生涯，到去谷歌工作，再到创立OpenAI公司，你似乎都是在恰当的时间更换自己的处境，做领域内更具开创性的工作，这些转变是怎么发生的？
Ilya Sutskever：我记得我在谷歌时候，感觉非常舒服，同时也非常不安。我认为有两个因素造成这样的感觉：一方面，我可以展望未来10年，对事情的发展有点太清楚，我不太喜欢那样；另一方面，看到DeepMind在AlphaGo构建工作的经历，非常鼓舞人心，我认为这是深度学习领域开始成熟的标志。
在这之前，AI领域的所有进展，都是由从事小项目的一小部分研究人员推动。大部分工作都是以想法为重，然后通过工程执行以证明想法有效。但我觉得，AlphaGo的不同在于，它展现工程设计的重要性。
事实上，这个领域将发生变化，开始进入工程领域，工具变得非常可靠。接下来的问题是，如何真正训练这些 *** ？如何调试？如何设置分布式训练？有很多工作要做，而且堆积的东西相当深。
我觉得谷歌的文化与学术界文化非常相似，确实有利于产生激进的新奇想法。事实上，谷歌这些年在AI产生很多激进与革命性的想法，最明显的是过去几年的Transformer。
但我觉得这不会是AI进步的全部，它只是AI进步的一部分。如果把AI看作是身体，那还需要肌肉、骨骼、神经系统。如果你只有其中一个部件，挺好的，但整个事情不会有真正的进展，你需要集齐所有部件。如果某个公司将这些部件都放在一起，就真的很好。
但我不知道怎么做，只是随便想想。某天，我收到Sam Altman的电子邮件，他说让我们与一些很酷的人一起吃个饭。Elon Musk、Greg Brookman等人在那里，我们聊聊在一个新的AI实验室里开始研究会很好。因为我也在思考同样的想法，我真的希望它是工程型的。看到Elon将参与其中，我想不到还能从比他更好的人身上学到大型工程项目方面的东西。我认为这就是OpenAI的真正起因。从我的角度看，就像白日梦成真。
Pieter Abbeel：在OpenAI成立初期，你打算怎么塑造它？
Ilya Sutskever：一开始有各方面的压力，我不完全清楚如何马上开始行动。有一点明确的是，我们需要做某种大型项目。我对这个想法感到兴奋，如果你能很好预测，就能在监督学习上取得进展，但除此之外，还不清楚该怎么做。
当时情况是，DeepMind已经在强化学习领域取得一些非常令人兴奋的进展。首先，通过对神经 *** 训练，用强化学习来玩简单的电脑游戏，然后AlphaGo事件发生，人们开始觉得强化学习也许可以做一些事情，但在过去，这看起来是不可能实现的任务。
在我们尝试很多不同的项目后，最终决定，也许解决有挑战的实时战略游戏，比如Dota。这是Greg一展身手的地方，他接手这个项目，即使看起来真的不可能。但不知何故，他用最老套的深度学习方式发挥作用，我们尝试过最简单的策略梯度法最终奏效，并且从未停止过通过更大规模与更多训练进行改进。它证明我们可以做大型项目。
Pieter Abbeel：最简单的 *** 最终奏效，的确令人惊讶。在语言领域，OpenAI还做出GPT模型，它的能力非常令人惊讶，对你来说，什么时候让你相信这是要去做的事情？
Ilya Sutskever：从我的角度看，一件非常重要的事情是，我对无监督学习非常感兴趣。Alexnet、AlphaGo、Dota，都是以某种方式向神经 *** 提供输入与期望的输出来进行训练，今天来看这种方式非常直观，而且，你至少可以有合理的强烈直觉，知道为什么监督学习、强化学习可行。但相比之下，至少在我看来，无监督学习要神秘得多。
到底什么是无监督学习？你可以通过简单的观察来了解这个世界，而不需要有一个老师来告诉你理想行为应该是什么。问题是，这怎么可能行得通？
普遍的想法是，也许你有某种任务，比如输入图像让神经 *** 以某种方式去转换它，然后产生相同的图像。但为什么这对你所关心的任务来说是件好事，是否有一些数学上的原因？
我觉得这很不令人满意，在我看来，无监督学习根本就没有好的数学基础，我真的为此感到困扰。经过大量的思考，我形成这样的信念，实际上，如果你能很好预测下一步，应该就有一个很好的监督者。
具体来说，如果你能很好预测下一个位（bit），那么就已经能提取出所有有意义的信息，模型以某种方式知道存在于信号中这些信息，它应该有一个所有概念的表征，就是语言模型上下文语境中的想法。
这是非常直观的，你可以适度准确预测下一个单词。也许模型会知道单词只是由空格分隔的字符串。如果你预测得更好，你可能知道那儿有一个词汇表，但是你不擅长语法。如果你进一步改进你的预测，那么你语法也会变得更好，也会突然产生一些语法上的莫名其妙的错误。
但如果进一步改进你的预测，那么语义必须发挥作用，我觉得这同样也可以用来预测像素。
所以在某种程度上，我开始相信，这也许在预测方面做得非常好。有趣的是，现在每个人都知道无监督学习就是有效的。但在不久前，这似乎还是一件非常棘手的事。
回到GPT是如何产生的这个故事。真正朝这个方向迈出一步的项目，是由Alec Radford领导的，他是GPT传奇的一个重要英雄，在那个项目里，我们训练神经系统与LSTM来为亚马逊产品的评论中预测下一个字。
我们发现，这个LSTM有一个与情绪相对应的神经元。换句话说，如果你阅读的评论是正面的，那么情绪神经元就会触发，如果你阅读的评论是负面的，那么情绪神经元就会抑制（fall）。这很有趣，验证我们的猜想。
后来，我们非常高兴看到Transformer神经 *** 架构出来，我们相信长程依赖（Long-Term Dependency）真的很重要，而Transformer对长程依赖有一个非常干净、优雅、计算效率高的答案。
但在技术上，我们讨论这些神经 *** 在某种程度上是深层的，直到最近都是这样，要训练深度神经 *** 相当困难。
以前用于训练模型与语言序列的神经 *** ，序列越长， *** 就越深，就越难训练。但Transformer将深度与序列的长度解耦，可以用非常长的序列得到一个可管理的深度Transformer，这令人兴奋。这直接导致GPT-1面世，后来我们继续扩大参数规模，就得到GPT-2与GPT-3。
Pieter Abbeel：GPT-3出来的时候，整个社区都异常兴奋，当你提供一点额外的文本，就可以让它做你想做的事情，甚至可以编写一些基础代码。它大概是怎么运作的？
Ilya Sutskever：你只需要有一个神经 *** ，还有一些文本，让它输出一个有根据的预测内容，这是对单词可能是什么的概率猜测。你可以根据神经系统输出的概率来挑选一个词，然后提交给它，让神经元一次又一次预测下一个词。足够好的预测带来你所梦想的一切。
Pieter Abbeel：让人印象深刻的一点是，GPT是非常实用的重大研究突破。当GPT开始有效时，你或者其他人是否已经开始考虑相关应用？
Ilya Sutskever：我们对潜在应用绝对感到兴奋，以至于我们围绕GPT-3构建API产品，以便人们可以去构建他们的语言应用。看待正在发生的事情的另一种视角是，AI只是不断继续获得越来越多的能力。
要分辨某一研究进展是否真实，有时会比较棘手。假设你有一些很酷的Demo，可能很难理解这个应用进步的幅度，特别是如果你不知道这个Demo与他们训练数据有多相似。这个领域已经非常成熟，你不再需要依靠Demo甚至是基准作为衡量进步的唯一指标。不过，产品的有用性是衡量进步的最真实指标。
AI如何影响生产力
Pieter Abbeel：你觉得这些工具将怎样帮助人类提高生产力？
Ilya Sutskever：短期内，生产力会逐步提高。随着时间推移与AI系统能力提高，生产力也会显著提升。长期看，AI系统会让所有工作都由AI来完成，我非常有信心见证生产力的大幅提高。
Pieter Abbeel：人们会通过很多方面来思考，这种背景下，当你赋予AI较强生产力时，它更好一直做正确的事情。AI不会把事情搞砸，或误解人们想让他做的事。我对这个项目非常好奇，因为它将强化学习与GPT结合在一起。
Ilya Sutskever：退一步说，我们拥有的这些AI系统正变得越来越强大。它们强大的功能来自在非常大的数据集上训练它们，我们对于它们的作用有着直观解。
我们有这些大型语言模型，有能力通过提示信息（prompt）来控制它们。事实上，语言模型越好，控制能力越强，它就越容易通过提示信息来控制。但我们希望模型完全按照我们的意愿办事，或者尽可能接近我们要求。
你刚提到用人类反馈的强化学习来训练这些语言模型。现在强化学习不是针对模拟器而是针对人类裁判，这些人会告诉你输出是理想的还是不理想的。这种强化学习环境真的很令人兴奋，你甚至可以争辩说强化学习可能慢一点，因为还没有很好的环境。
在强化学习中，通常会提供好坏两种结果。但是我们通过人类反馈的强化学习 *** ，老师需要观察模型的两个输出，然后判断哪个更好。
比较两件事相对来说哪个更好，是比判断一件事绝对的是好还是坏更简单的任务。然后我们做一点机器学习，从奖励模型中创建奖励，使用这个模型来训练神经 *** 。这是一个非常简单有效的事，你可以用精细的方式来控制这些语言模型与神经 *** 的行为。
最近我们一直在训练指令跟踪Instruction-following模型。实际上，人们可以通过GPT3中的开放API进行使用。
所以你需要非常聪明指定你的提示信息来设计一种核心，并让模型做你想做的，提供一些例子，在这些例子中，指令跟踪模型以这种方式接受训练，可以真正做到我们让它做什么，它就做什么。有一个词在机器学习领域的一些子集里是已知的，但并不是所有的子集都知道。
但再往前，你想从各种方面学习老师，想使用机器学习，不仅仅通过提供有监督例子或奖励，但是你想有一个对话，在其中提出正确问题，来解这个概念所需的信息。
这就是未来的发展趋势。现在这个 *** 已经成功的使用，让GPT模型比自然情况下更一致aligned。
Pieter Abbeel：我理解的对齐，是可以用个性化方式调整它们，从而与特定的要求保持一致。就像我可以教你遵循我的喜好一样。
Ilya Sutskever：这是肯定可以的，我提到的指令追踪模型是一个单一模型。它已经被对齐，已经通过训练与激励来追踪你给出的指示。它是一个非常方便的界面，使用这些神经 *** 可以让它们做任何你想做的事，可以用任何你想用的方式来训练它们。你也可以用任何方式进行个性化设置，用户可以在段落中指定或使用它们过去的一些操作。几乎一切都是可能的。
Pieter Abbeel：最近你与OpenAI合作者一起发布可以在同一模型中处理视觉与语言的CLIP与DALL-E，并根据需要有效的在两者之间进行转换。你们是如何做到的？
Ilya Sutskever：我认为潜在的动机是，未来的神经 *** 不会同时处理视觉与语言，这似乎令人难以置信。至少在我看来，有大量证据表明如果把神经 *** 做得很大，并且有一个合适的数据集。如果它们能生成语言，为什么不生成图像的语言？也许我们应该把它看作是一种探索，在图像与文本中训练神经 *** ，并使用DALL-E作为语境。
DALL-E实际上是一个在文本上训练的GPT3，像图像的文本表示一样，因此使用这些tokens来表示图像。从模型角度看，它只是一种时髦的语言，就像你可以在英语与法语文本上训练GPT。
那并不重要。如果你有一种不同的语言，某些人类语言与图像语言，那DALL-E的工作方式完全符合你的预期，看到神经系统生成图像仍然很有趣。CLIP是相反方向的探索，它学习大量的视觉语境概念，健壮性非常好。
Pieter Abbeel：CLIP数据集比ImageNet大多少？
Ilya Sutskever：大数百倍，它有开放式类别，这些类别只是自由格式的文本，但它确实有点大。它需要多样化数据，如果数据集来源很窄，就会损害神经 *** 。
拥有更强大的神经 ***
Piter Abbeel：回顾自AlexNet突破以来的过去10年，似乎每年都有新突破。当你展望未来时，是否有一些令你感到特别兴奋的事情在未来几年可能会发生？
Ilya Sutskever：某种意义上说，深度学习的传奇故事，要比过去10年时间还要长久。如果读Rosenblatt在60年代的一些介绍就会觉得很有趣，他发明感知器，是最早的可以在真实计算机上学习有趣东西的神经 *** 之一。
Rosenblatt曾称，总有一天神经 *** 会看、听到与能翻译，并成为你的朋友。他试图筹集资金来建造越来越大的计算机，也招来一些学者批评，这导致神经 *** 发展的首个低潮期到来。
我认为这些想法还在思考中，只是环境还没准备好。因为一旦需要数据与计算准备就绪，就能够抓住这个机会实现进步。我相信进展会继续，我们会拥有更强大的神经 *** 。我不想把可能发生的事情说得太具体。
这些事情很难预测，但好的一点是我们神经系统更可靠，你可以相信它们的输出。当它们遇到不会的，只会告诉你，可能会要求进行验证。我认为这是非常有影响力的，它们会比现在采取更多的行动。
我认为，我们神经 *** 仍然是惰性与被动（inert and passive）的，它们用处会继续增加。我肯定我们需要一些新想法，即使这些想法中看待事物的方式可能与现在不同。但很多深度学习的主要进展都是以这种形式出现。
例如，监督学习的最新进展，我们只是训练更大的语言模型，但它们过去就存在，只是我们才意识到语言模型的方向一直都是正确的。我们眼前的东西实际上比我们预期的要更强大，我期望这些系统的能力可以继续提高，它们将在世界上变得越来越有影响力。我们将看到难以置信的革命性产品，可以想象很多人都会拥有非常强大的AI。最终，人们会进入享受AI工作的世界。
Pieter Abbeel：那真的很美好，你的模型在某种意义上反映一种愿景，AI的好处可能无限。把无限的利益集中在一小群人身上对其他人来说并不好。很多人都在讨论AI的成本可能会变得越来越高。我在想是不是钱越多，模型越大，性能就越好，还是未来会不一样？
Ilya Sutskever：找到钱半功倍的 *** 是提高模型效率，这种动力是很强大的，它影响着这个领域的每个人。我期望在未来，硬件成本会下降，相关 *** 会更有效率，可以用一小部分成本来做更多事情。同时我认为模型越来越大是更好的，现实就是如此。
我希望有一种不同模型做不同事情的规则，有一些非常强大的模型用于特定任务，更小更专业模型也仍然非常有用。我也希望，对每个级别的计算都有一些更佳的使用 *** ，人们发现这种 *** 并创建非常有趣的应用程序。
Pieter Abbeel：过去10年甚至更早，你在AI领域有许多研究突破。你有哪些习惯或特质帮助你拥有强大的创造力与生产力？
Ilya Sutskever：给出笼统的建议很难。但这两个答案可能会有帮助，也就是节约时间与努力。你得面对困境，解决这些困难后就能得到你想要的。
Pieter Abbeel：节约的时间会做什么？
Ilya Sutskever：我有很多独立的工作，与一些人会进行非常重要且深入的研究性谈话。这是我主要在做的事。
Pieter Abbeel：我解到你也是个艺术家，这对提高创造力是否有帮助?
Ilya Sutskever：很难说，但我认为有帮助。
“长期主义”栏目每周六、与长假更新，分以下系列：
宏观说：全球各大国政要、商业领袖等
社会说：比尔·盖茨等
成长说：洛克菲勒、卡内基等
科学说：历年诺奖获得者、腾讯科学WE大会等
科技说：马斯克、贝索斯、拉里·佩奇/谢尔盖·布林、扎克伯格、黄仁勋、Vitalik Buterin、Brian Armstorng、Jack Dorsey、孙正义、华为、马化腾、张小龙、张一鸣、王兴等
投资说：巴菲特、芒格、Baillie Giffrod、霍华德·马克斯、彼得·蒂尔、马克·安德森、凯瑟琳·伍德等
管理说：任正非、稻盛和夫等
能源说：曾毓群等
汽车说：李想、何小鹏、王传福、魏建军、李书福等
智能说：DeepMind、OpenAI等
元宇宙说：Meta/Facebk、苹果、微软、英伟达、迪士尼、腾讯、字节跳动、EpicGames、Roblox、哔哩哔哩/B站等
星际说：中国国家航天局、NASA、历年国际宇航大会，SpaceX、Starlink、蓝色起源、维珍银河等
军事说：全球主要航空航天展等
消费说：亚马逊、沃尔玛、阿里、京东、拼多多、美团、东方甄选等
每个系列聚焦各领域全球顶尖高手、产业领军人物，搜集整理他们的致股东信、公开演讲/交流、媒体采访等一手信息，一起学习经典，汲取思想养分，做时间的朋友，做长期主义者。
相关研报：
人类未来文明三部曲之一：元宇宙专题预售开启，59期45万字
九宇资本赵宇杰：1.5万字头号玩家年度思考集，科技创新，无尽前沿
九宇资本赵宇杰：1.5万字智能电动汽车年度思考集，软件定义，重塑一切
【重磅】前沿周报：拥抱科技，洞见未来，70期合集打包送上
【重磅】六合年度报告全库会员正式上线，5年多研究成果系统 *** 付
【智能电动汽车专题预售】百年汽车产业加速变革，智能电动汽车时代大幕开启
【头号玩家之一季预售】：科技巨头探索未来，头号玩家梯队式崛起
【头号玩家第二季预售】：科技创新带来范式转换，拓展无尽新边疆
【首份付费报告+年度会员】直播电商14万字深度报告：万亿级GMV风口下，巨头混战与合纵连横
【重磅】科技体育系列报告合集上线，“科技+体育”深度融合，全方位变革体育运动
【重磅】365家明星公司，近600篇报告，六合君4年多研究成果全景呈现
九宇资本赵宇杰：CES见闻录，开个脑洞，超级科技巨头将接管一切
【万字长文】九宇资本赵宇杰：5G开启新周期，进入在线世界的大航海时代｜GBAT 2019 大湾区5G峰会
九宇资本赵宇杰：抓住电子烟这一巨大的趋势红利，抓住产业变革中的变与不变
【IPO观察】之一季：中芯国际、寒武纪、思摩尔、泡泡玛特、安克创新等11家深度研报合集
【IPO观察】第二季：理想、小鹏、贝壳、蚂蚁、Snowflake、Palantir等12家公司深度研报合集
【IPO观察】第三季：Coinbase、Roblox、快手、雾芯科技等12家公司深度研报合集
【重磅】年度观察2019系列合集：历时3个多月，超20万字近500页，复盘过去，展望未来，洞悉变与不变
【珍藏版】六合宝典：300家明星公司全景扫描，历时3年，210万字超5,000页，重磅推荐
九宇资本赵宇杰：对智能电动汽车产业的碎片化思考
九宇资本赵宇杰：九宫格分析法，语数外教育培训领域的道与术
【2022回乡见闻录】20位90、00后2万字，4国13地，全方位展现国内外疫情防疫、春节氛围、发展现状差异
【2021回乡见闻录】22位90后2万字，就地过年与返乡过年碰撞，展现真实、立体、变革的中国
【2020回乡见闻录】20位90后2万字，特殊的春节，时代的集体记忆
【重磅】22位“90后”2万字回乡见闻录，讲述他们眼中的中国县城、乡镇、农村
六合君3周岁生日，TOP 60篇经典研报重磅推荐
下午茶，互联网世界的三国杀
5G助推AR开启新产业周期，AR眼镜开启专用AR终端时代
新商业基础设施持续丰富完善，赋能新品牌、新模式、新产品崛起，打造新型多元生活方式
【重磅】中国新经济龙头，赴港赴美上市报告合辑20篇
知识服务+付费+音频，开启内容生产新的产业级机遇，知识经济10年千亿级市场规模可期
从APP Store畅销榜4年更替，看内容付费崛起
新三板，我们有个九宇会家族
新三板破万思考：新三板日交易量10年100倍？
九宇资本赵宇杰：科技改变消费，让生活更美好｜2017 GNEC 新经济新消费峰会
九宇资本赵宇杰：创业时代的时间法则，开发用户平行时间｜2016 GNEC 新经济新智能峰会
九宇资本赵宇杰：互联网引领新经济，内容创业连接新生态｜2016 GNEC 新经济新营销峰会
请务必阅读免责声明与风险提示
openai 创始人让ai在线收集数据 openai提出的新摩尔定律怎样理解
