如果说2023年什么最火，AI是当仁不让的第一。和AI有关的一切：AI聊天、语音、绘画、视频…刷爆了所有我们能接触到的社交媒体和新闻渠道。

但对非程序员群体来说，AI是有门槛的，至少现阶段是。即便不去使用，只是想和朋友同事聊聊这AI盛世，但好像只聊抖音上AI生成的小姐姐，也略显不上档次，格调不足。

那么如何在聊天中脱颖而出、引领话题，既能彰显学识渊博，又能点到即止，深藏功与名？很简单，学会这几个AI圈最火的单词，快速让你成为人群中最亮的那颗星。

01

LoRA

LoRA，直译为大语言模型的低阶适应（敲黑板，重点）。是微软的研究人员为了解决大语言模型微调而开发的一项技术。

大语言模型一般拥有巨大参数量，如GPT-3有1750亿参数，如果这时需要让GPT学习某个特定领域的内容，就需要对大语言模型做微调，但如果直接对GPT-3做微调，因其巨大的参数量，每项微调都会产生巨大的成本和工作量。

LoRA的作用在此时显现，LoRA冻结了预训练模型的权重，并在每个 Transformer 块中注入可训练层，因为不需要大多数模型参与计算，所以大大降低了需要训练的参数量和对GPU硬件的要求。

简单来说，为了避免所有对大语言模型的训练都要调用所有参数，LoRA剥离出需要参与训练的部分，并只对这部分进行修改，大语言模型中的其他部分保持不动，从而降低了工程量和成本。

尽管 LoRA 最初是为大模型提出的，但该技术也可以应用于其他地方，比如近期大火的AI绘画中。

Stable Diffusion，一款以文本生成图像的 AI 工具，也是唯一一款能部署在家用电脑上的 AI 绘图工具。用户在使用它时，面临着与我们上述提到的大语言模型类似的问题，即因参数量过大导致微调成本极高。原本要对Stable Diffusion进行微调，需要破解 diffusers的源代码，显然，这是一项很容易翻车的工作。

而LoRA的加入使对Stable Diffusion微调工作变得简单且安全，并带来了这些好处：

·更快的训练速度

·计算要求较低。可以在具有 11 GB VRAM 的 2080 Ti 中创建一个全微调模型！

·小了很多的训练模型。

结果是，现在任何人都可以到C站，即https://civitai.com/，下载一个LoRA模型，生成自己想要的小姐姐。

02

Checkpoint

Checkpoint指主版本关键点模型，与LoRA类似，也是生成AI绘画的模型，由于Checkpoint生成模型很消耗算力，所以运算到某个关键位置就建立一个关键点保存已经运算部分，以后方便回滚和继续计算。这个主模型在AI绘画中就对应整体风格。

依靠Checkpoint可以直接生成图片，LoRA不行。按贴吧网友“英国地图”的说法：“checkpoint是基础模型，LoRA是特殊订（定）制的画风插件。二次元checkpoint配合海绵宝宝，LoRA就是二次元海绵宝宝，三次元checkpoint配合海绵宝宝，LoRA就是三次元海绵宝宝。”

03

Prompt

Prompt源自自然语言处理领域，直译“提示”，按字面理解，它能告诉、指导模型接下来你应当要做什么任务，是一个提示。或者换一种说法，就是它能够将下游任务改造成预训练模型期望的样子。

与此对应，我们将Prompt之前的Pre-train称作“第三范式”，它当时的原理是，将自己改造成下游任务期望的样子，“迁就”各种下游任务。

如果把范式们比作提供服务的乙方，那么“第三范式”Pre-train选择牺牲自己，按甲方要求勤勤恳恳改造自己，而到了“第四范式”Prompt，选择活出自己，改造甲方！

这种方式大大地提升了预训练模型的使用效率：

传统的 Model Tuning （模式调整）的范式：对于不同的任务，都需要将整个预训练语言模型进行精调，每个任务都有自己的一整套参数。

而Prompt Tuning（提示调整），对于不同的任务，每个任务都单独训练Prompt 参数，不训练预训练语言模型，这样子可以大大缩短训练时间，也极大地提升了模型的使用率。

希望这次分享的LoRA、Checkpoint、Prompt三个AI圈热词能让大家对AI圈正在聊什么有个简单的认识，如果您还想知道什么和科技圈有关的词汇、话题，欢迎在后台留言，我们会仔细阅读并持续更新~

参考文章：

NLP新宠——浅谈Prompt的前世今生 https://zhuanlan.zhihu.com/p/399295895

近代自然语言处理技术发展的“第四范式” https://zhuanlan.zhihu.com/p/395115779

【NLP】Prompt Learning 超强入门程 https://zhuanlan.zhihu.com/p/442486331

使用 LoRA 进行 Stable Diffusion 的高效参数微调https://huggingface.co/datasets/HuggingFace-CN-community/translation/blob/main/lora_cn.md

图片源于Q仔互联网冲浪所得，若有侵权，后台联系，Q仔滑跪删除~