极限体验：AI 无服务运行！

开源生态下，衍生出无限可能！

ChatGPT

ChatGPT^[1] 是由 OpenAI^[2] 开发的一个人工智能聊天机器人程序，于 2022 年 11 月推出。该程序使用基于 GPT-3.5^[3] 架构的大型语言模型并通过强化学习进行训练。在推出的几个月内迅速积累了大量用户，也基于它衍生出了庞大的类 ChatGPT 生态。查看《一文读懂 OpenAI》了解更多。

这里推荐一下我的开发的跨平台客户端（lencx/ChatGPT^[4]），支持 Mac，Windows，Linux 等平台，它最大的特点就是支持斜杠指令，聊天记录导出等等。

Claude

Claude^[5] 是下一代 AI 助手，基于 Anthropic 对训练有用、诚实和无害的 AI 系统的研究。它可以通过聊天界面和 API 在两种方式来进行访问，能够执行各种对话和文本处理任务（例如：可以完成诸如摘要、搜索、创意和协作写作、问答、编码等用例），同时保持高度的可靠性和可预测性。了解更多 Introducing Claude^[6]。

你可以将它添加到 Slack 应用（Claude App for Slack^[7]）中来使用它。对国内用户友好，免费无需代理（ChatGPT 的替代品）。

API Key

以下这些应用需要使用 OpenAI API Key^[8]。

Poe

Poe^[9] 是 Quora^[10] 推出的一款聊天机器人。随着聊天机器人爆炸式增长，Quora 的 CEO Adam D'Angelo 认为这是一个机会。希望通过将机器人全部集中在一个地方，让每个人都能更轻松地使用它。

AutoGPT

注意：因为 AutoGPT 需要不断递归执行任务，直到得出结论，所以它对 API 的消耗也是巨大的。

Auto-GPT^[11] 是一个实验性的开源应用程序，展示了 GPT-4^[12] 语言模型的能力。由 GPT-4 驱动，将大语言模型（LLM^[13]）的"思考"链接在一起，以自主地实现你设定的任何目标。作为 GPT-4 完全自主运行的最早的例子之一，Auto-GPT 推动了人工智能所能实现的界限。

简单来说：当你告诉 AutoGPT 最终目标是什么，它将自行生成并完成每一步任务所需的提示，直到返回最终的结果（在这期间它会调用网络和 GPT-4）。但 AutoGPT 之所以流行，是因为人们对它能做什么以及它对未来可能意味着什么着迷。AutoGPT 通过自己的推理达到目标的能力与人类的思考行为，处理信息的方式极其相似。

如果事情到这里结束，似乎有点无趣。它作为一个本地运行的程序，当获得操作系统的文件读写权限后，可以自动编写脚本代码并写入到本地文件，然后执行它！这使得它可以递归地调试、开发和自我完善…

AgentGPT

AgentGPT^[14] 允许你配置和部署自主 AI 代理。为自己的定制 AI 命名，并让它开始实现任何想象的目标。它将通过思考要做的任务、执行它们并从结果中学习来尝试达到目标 。与 AutoGPT 类似，但它是网页版。

MacGPT

MacGPT^[15] 是 Mac 平台下的一款高颜值 App，同时支持 API 和 Web 账号两种模式，也可在全局任意应用中唤起。

类 ChatGPT

开源生态下的类 ChatGPT 项目，让私有部署及本地化成为可能。

DeepSpeed

RLHF

ChatLLaMa

ChatLLaMa^[17] 允许你使用自己的数据和最少量的计算来创建超个性化的 ChatGPT 类助手。它的目的是通过抽象所需的计算优化和大量数据收集的努力，给开发人员带来安心。

Alpaca

Alpaca^[18] 是从 Meta 的 LLaMA^[19] 7B 模型中微调而来的。使用 text-davinci-003 在以自我指导^[20]方式生成的 52K 指令（类似人类的问题和答案的小型数据集）跟随演示上训练羊驼模型。令人惊讶的是，它表现出了类似于 ChatGPT 的交互性，但也出奇地小且易于重现/便宜。了解更多 Alpaca: A Strong, Replicable Instruction-Following Model^[21]。

Vicuna

Vicuna^[22] 是一款开源聊天机器人，由来自加州大学伯克利分校、卡内基梅隆大学、斯坦福大学和加州大学圣地亚哥分校的团队成员开发，其表现优异，使用 GPT-4 进行测试时，其聊天表现质量高达 ChatGPT 的 90%。

Dolly

定性能力

Midjourney

Midjourney^[24] 是一款从文字到图片的生成工具，它十分强大，但是目前免费体验通道已关闭。很多小白用户苦恼的问题就是如何编写 prompt，其实在 Midjourney Discord^[25] 频道中就包含大量优秀示例（没事多在频道里转转）。查看《Midjourney 入门篇》了解更多。

Stable Diffusion

Stable Diffusion^[26] 是 2022 年发布的一个文本到图像生成的深度学习模型。它主要用于根据文本的描述产生详细图像，支持文字生图，图生图等功能。查看《Stable Diffusion 入门篇》了解更多。它是 Midjourney 的完美替代品，使用门槛略高，适合专业级玩家。坊间流传的一句话：Midjourney 的上手成本低，上限低，Stable Diffusion 上手成本高，上限高（通俗来说：你可以用 Stable Diffusion 生成出极其复杂精美的图片，但你需要付出很大的努力。在 Midjourney 上，你可以用很简单的提示就生成出极其精美的图片，但细颗粒度的东西你是无法控制的，社区海量的模型，插件你也无法使用，受制于人）。

Clipdrop

Clipdrop^[29] 是一个在线工具集，任何人都可以利用它创建专业的视觉效果！，它主要包含以下工具：

• Cleanup^[30] - 在几秒钟内从图片中删除对象、缺陷、人物或文本

• Remove background^[31] - 一键在线删除图片背景

• Relight^[32] - 在几秒钟内重新点亮你的照片和绘图（添加光源）

• Image upscaler^[33] - 在几秒钟内提升、降噪和增强你的图像

• Stable Diffusion XL^[34] - 从文本生成图像

• Replace background^[35] - 使用 AI 将任何东西传送到任何地方

• Text remover^[36] - 从任何图像中删除文本

• Stable Diffusion reimagine^[37] - 从单张图像创建多个变体

随着开源生态的发展，模型体积越来越小，对运行环境的要求逐步降低，为本地化运行创造了一些条件。

AI 无服务器运行的环境要求：由于 WebGPU 尚未完全稳定，也从未有过如此大规模的 AI 模型在 WebGPU 上运行，所以这是极限测试。它可能无法在你的环境中正常工作。到目前为止，只在搭载 M1/M2 GPU 的 Mac 电脑上通过 Chrome Canary^[38]（Chrome 的每日构建版本）进行了测试，因为 WebGPU 相当新，低版本浏览器均不支持（Chrome 113 支持，Chrome 版本 ≤ 112 不支持）。已经在 Windows 上进行了测试，但由于可能存在驱动程序问题，目前无法正常工作。随着 WebGPU 的成熟，预计支持范围将会扩大。

/Applications/Google\ Chrome\ Canary.app/Contents/MacOS/Google\ Chrome\ Canary --enable-dawn-features=disable_robustness

WebLLM

WebLLM^[39] 将大型语言模型和聊天引入网络浏览器。一切都在浏览器内运行，无需服务器支持，并使用 WebGPU 加速。这开辟了许多有趣的机会，可以为每个人构建 AI 助手，并在享受 GPU 加速的同时实现隐私。

WebLLM 中的关键技术是机器学习编译（MLC）。解决方案依托于开源生态系统，包括 Hugging Face、LLaMA 和 Vicuna 的模型变体，以及 wasm 和 WebGPU。主要流程基于 Apache TVM Unity^[40]，它是 Apache TVM^[41] 社区中一个正在开发中的项目。

Web Stable Diffusion

Web Stable Diffusion^[42] 为网络浏览器带来 Stable Diffusion 模型。一切都在浏览器内运行，无需服务器支持。据项目作者称，这是世界上第一个完全在浏览器上运行的 Stable Diffusion。

Web Stable Diffusion 的关键技术是机器学习编译（MLC）。解决方案建立在开源生态系统的基础之上，包括 PyTorch、Hugging Face 的 diffusers 和 tokenizers、rust、wasm 和 WebGPU 等。主要的流程是建立在 Apache TVM Unity 上的，它是 Apache TVM 社区中一个正在开发中的项目。

References