我们曾经见识过 GPT-4 的多模态功能，简直惊为天人。特别是它能够通过简洁的草稿图纸创建一个完整的网站，让我们提前感受到了 GPT-4 的强大多模态模型功能。

关于 MiniGPT-4

现在，一个名为迷你 GPT-4 的项目在阿卜杜拉国王科技大几位博士的努力下开源了，提供了类似 GPT-4 的图像解析力，短短几天斩获千万关注。

那么它的能力如何呢？我们来看看官方的视频。它可以轻松识别一片叶子上的斑点，并判断出这片叶子生病了，还给出了解决方案。它能够看出一张仙人掌图片展示的场景，不可能发生在真实世界，因为仙人掌不会生长在这么冰冷的环境中。

它还能够为图片中的产品撰写广告词，以及给出美食的烹饪方法。更神奇的是，它甚至可以通过几行指令来创建整个网站。太令人惊叹了，我们一定要试试它！

MiniGPT- 4 使用方法

打开迷你 GPT-4 的 demo 页面，在左边窗口上传一张图片，比我上传这张，接着点击Upload&Start Chat

接着在右边 User 窗口写出指令，让他我帮我们描述一下这张图片，有什么有趣的地方？

稍等一阵子之后，就给出了他的答案：

此图显示一只狗躺在地板上，爪子放在鞋里。狗的表情既好奇又顽皮，好像在想弄明白这只鞋是干什么用的。这个场景很有趣，因为它显示了狗顽皮的天性和对鞋子的好奇心。

大部分描述内容是准确的，不过白衬衫和蓝色牛仔裤，你就会发现他对人类的着装确实不在行，他也可以支持中文。接着我们用一张图片让他写一个故事，他很快就写了出来。

MiniGPT- 4 项目特点

  • 第一就是多模态，也就是能够读懂图片，在这个示例中呢，它可以回答图片是关于什么内容的，有多少种颜色，甚至能够说明这个图片，是属于什么风格的
  • 第二低成本仅仅用了 4 块的 A100，训练了仅仅 10 个小时，绝对称得上是迷你
  • 第三点就是整个项目是开源的，项目的 Github 地址https://github.com/Vision-CAIR/MiniGPT-4，这个项目还非常良心的，提供了 7 个演示地址，方便大家前去体验

总结

那根据 MiniGPT4 的实验结果表明，GPT4 的先进能力理论上可以归因于，它使用了更先进的大模型语言也就是说，未来在图像声音视频等等领域呢，基于这些大模型所制造出来的应用，实际的效果呢应该都不会太差。

这个项目也证实了，大语言模型在图像领域的可行性，接下来呢，相信应该会有不少的开发者跑步入场，将 GPT4 的能力进一步的，往音频视频等等领域延伸，让我们可以看到更多有趣，令人惊艳的 AI 应用程序，好了今天的分享呢就到这里。