T5（Text-to-Text Transfer Transformer）是谷歌在 2019 年推出的一种 NLP 模型，它借鉴了许多先前的模型，包括 GPT、BERT、XLNet、RoBERTa 和 ALBERT 等。它添加了一个新的独特数据集，称为 Colossal Clean Crawled Corpus (C4)，与用于 XLNet 的 Common Crawl 网络抓取相比，它允许转换器产生比其他数据集更高质量和上下文的结果。
T5 预训练促成了聊天机器人应用程序的创建，包括 InferKit Talk To Transformer 和 AI Dungeon 游戏。文本生成器类似于 ChatGPT，因为它们允许您根据 AI 在您的初始提示或查询后生成的内容生成逼真的对话。
T5 代码在 GitHub 上可用。
Salesforce 的 CTRL
Salesforce 的 CTRL（计算信任和推理层）是 Salesforce 于 2019 年 9 月宣布的最大的公开发布语言模型之一。 16 亿参数的语言模型可用于一次分析大量文本，例如与网页相关的文本。一些潜在的实际用途包括与评论、评级和归因配对。
CTRL 语言模型可以区分特定查询的意图的标点符号。 Salesforce 指出该模型可以区分“全球变暖是一个谎言”。作为一个不受欢迎的观点和“全球变暖是一个谎言”作为一个阴谋论，由于短语的时期不同，并为每个起草相应的 Reddit 线程。
CTRL 从维基百科、古腾堡计划、亚马逊评论和 Reddit 等来源参考多达 140GB 的数据进行预训练。它还引用了许多国际新闻、信息和琐事资源。
GitHub 上提供了 CTRL 代码。
Google 的 GShard
GShard 是谷歌于 2020 年 6 月推出的一个巨型语言翻译模型，用于神经网络扩展。该模型包含 6000 亿个参数，可同时进行大量数据训练。 GShard 特别擅长语言翻译，并接受过培训，可以在四天内将 100 种语言翻译成英语。
Facebook AI Research 的 Blender
Blender 是一款开源聊天机器人，由 Facebook AI Research 于 2020 年 4 月推出。与竞争对手模型相比，该聊天机器人的对话技巧得到了提高，能够提供引人入胜的谈话要点，倾听并表现出对合作伙伴意见的理解，并展示同理心和个性。
Blender 被比作谷歌的 Meena 聊天机器人，后者又被比作 OpenAI 的 GPT-2
Blender 代码可在 Parl.ai 上获得。
Google 的 Pegasus
Pegasus 是谷歌于 2019 年 12 月推出的一种自然语言处理模型。Pegasus 可以被训练来创建摘要，并且类似于其他模型，如 BERT、GPT-2、RoBERTa、XLNet、ALBERT 和 T5，它可以很好地调整到特定的任务。与人类受试者相比，Pegasus 在总结新闻、科学、故事、说明、电子邮件、专利和立法法案方面的效率已经过测试。
Pegasus 代码在 GitHub 上可用。
