近期，OpenAI 传出即将发布 GPT-4 的消息。据业内人士分析，升级版的 GPT 模型在技术上会有更大的提升，能够准确执行更接近人类能力的任务。
具体来讲，GPT-4 将拥有更多的参数，以便使用少量样本去处理多项任务。
回顾预训练语言模型 GPT 的发展历史可以发现。2018 年，OpenAI 在论文《通过预训练语言模型提升语言理解能力》（Improving Language Understanding by Generative Pre-Training）中提出了GPT-1 [1]。
根据论文中的描述可知，GPT 是一个通用模型，可执行多种不同类型的任务。它可以用无标签文本训练生成不同的语言模型，再用自然语言完成指定的任务。
2019 年，OpenAI 推出 GPT-2，相较于 GPT-1 有所升级。2020 年，OpenAI 在一篇题为《语言模型是小样本学习者》（Language Models are Few-Shot Learners）的论文中提出了 GPT-3 模型 [2]。
增加参数，用较少样本执行更多任务
在 GPT 模型不断更新的过程中，网络结构和方法都没有本质上的变化。但是，参数和数据集却在不断增多。
从规模来看，相较于 GPT-2 的 15 亿个参数，GPT-3 模型拥有 1750 亿个参数，增加了 100 多倍。
模型规模的增大不仅体现在数量上，而且还带来了质的飞跃。GPT-3 不仅可以用自然语言生成网页，还可以模仿人类行为、写定制的诗歌或歌曲等，并曾被《麻省理工科技评论》评为“2021 全球十大突破性技术”（TR10）之一。
基于此可以推测出，OpenAI 将延续这一趋势，进一步强化规模最大化理论，扩大 GPT 模型的规模，或许在即将推出的 GTP-4 中增加参数。
同时，GPT-4 不仅可以更精确地模拟人类的行为，而且使用成本也比从前低得多。
据悉，GPT-3 模型的学习能力随着模型中参数数量的增加而增强。因此，GPT-3 在机器翻译、回答问题和填空等 NLP 任务执行方面表现出色。然而，在没有经过事先训练的任务中，GPT-3 的执行能力一般。
而更新版的 GPT-4 具有多模态与多参数，可以接受文本、音频、图像、视频输入，更擅长通过训练强化学习，不断优化数据和计算能力，能够用较少的样本执行更多的任务。
不用提示，GPT-4也能准确完成任务
GPT-3 系统可以使用自然语言与外界交流。例如，外界可以在 GPT-3 系统中输入文字：“以下是关于宇宙的故事，智者正在对小男孩讲述故事。智者乐于助人，了解宇宙学和天文学的相关知识。”
通过从句子中获得的信息，GPT-3 会自动对故事进行续讲。
另外，GPT-3 还会根据输入的文字，自动将后续的故事进行编辑，并美化故事中出现的人物。此外，通过输入简单的英语，GPT-3 可以执行它从未接触过的任务。
然而，这些任务执行后的输出结果会在质量上有所不同。原因是抽取的样本可以“证明知识的存在，但不能证明知识的缺失”。
除非研究人员将提示程序进行标准化（这很可能在未来几年内实现），否则人为的错误将会一直存在。可以说，系统的技术局限性将一直让其无法获取完全正确的输出结果。
真正的人工智能从不应该过多地依赖提示。因此，研究人员需要让 GPT-4 模型的纠错功能变得更强大。在纠错环节，GPT-4 可以自动评估给定结果的质量，发现错误并及时纠正。
例如，GPT-4 可以对输入的信息表达怀疑和缺乏理解，输出“我不知道”“我对我的答案不是很确信”或“你的提示不是很清楚”的结果。这项功能的增加，使其在纠错上变得更加智能化。
GPT-4 具有更大的上下文窗口
虽然 GPT-3 的功能多样，但它的内存极其有限，导致无法获取上下文窗口之外的指令，用户必须重新编写不同的示例。这种限制严重阻碍了用少量样本执行任务的能力。
而 GPT-4 具有更大的上下文窗口，并允许用户向其输入书籍、长篇文章、图像、视频或音频等不同类型与格式的文件，进一步扩大了任务执行的范围。
综上所述，GPT-4 能够更少地依赖外界提示，并对人为错误具有更强的鲁棒性，故是一款功能多样、应用广泛、实用性强的网络模型。
参考资料：
1.https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf
2.https://arxiv.org/pdf/2005.14165.pdf
https://towardsdatascience.com/4-things-gpt-4-will-improve-from-gpt-3-2b1e7a6da49f?sk=44d56e4f1ab27e3f8d2abbaf44ca3602
https://www.hankyung.com/it/article/202211150468i
