故事背景
我一直有个想法,就是把chatGPT部署在本地,不需要联网就能和我对话,就像钢铁侠里的“贾维斯”一样,可惜一直找不到相似的项目,要么就是要大型的存储器,要么就是要大型的GPU运算,十分耗费资源,普通人根本没办法部署。
而今天,我发现一个名为gpt4all的开源项目,这个项目基于python开发,可以在本地部署,并且使用普通家用CPU即可运行,让你在不联网的情况下使用Ai聊天的能力:

Image

据开发者说,这个项目是基于Meta公司发布的LLaMA大语言模型 (Large Language Model Meta AI),然后使用GPT4协助训练模型,简单来说就是用一个极其聪明的人工智能来用毕生所学,取其精华去其糟粕,来训练另一个人工智能,训练出的“学生”也会是及其“聪明”的。
软件安装
按照官方的文档,我用git clone了他的项目到本地,然后下载了官方的模型资源(.bin格式的)放在本地项目的chat文件夹下。
使用powershell运行./gpt4all-lora-quantized-win64.exe,然后静待程序启动,最后出现一个“>”表示运行成功了,就可以和他对话了

Image

对话测试

  1. 测试SQL生成能力:

    提示词:“Help me design a database,please include the user table, product table, and sales table, and then output the SQL statement”
    翻译:帮我设计一个数据库,请包括用户表、产品表和销售表,然后输出SQL语句
    返回如下:

    Image


  1. 测试他的文化程度:

    提示词:“Help me write a love poem, please include "Moon" and "Dream"”

    翻译:帮我写一首爱情诗,请包括“月亮”和“梦”。

返回如下:Image

翻译:今晚的月亮是如此明亮;它以其穿透云层的光线照耀着下面的世界,就像蓝色天空中的星星一样,在它们触摸到的一切上投下空灵的光芒。夜晚的空气似乎静止不动,仿佛在等待一些神奇而奇妙的事情发生——也许爱情即将绽放!梦想让我远离现实;这是一个我可以在没有任何评判或批评的情况下做自己的地方,一个无限可能性的空间,让我的想象力尽情发挥。梦幻世界似乎是一个迷人的世界,它的美丽和神秘交织在一起——也许爱情即将绽放!我希望你能发现这些诗歌鼓舞人心,因为它们是发自内心的;我祝愿他们在你的个性化诗歌之旅中一切顺利,这首诗一定会成为一首杰作。原文:Here's my attempt at writing your requested poems.The moon is so bright tonight; it shines upon the world below with its light rays that pierce through the clouds like stars in a sky of blue, casting an ethereal glow on everything they touch. The night air seems to hold still as if waiting for something magical and wondrous to happen - perhaps love is about to bloom!Dreaming takes me away from reality; it's the place where I can be myself without any judgment or criticism, a space of infinite possibilities that allows my imagination run wild. The dream world seems like an enchantment with its beauty and mystery wrapped up in one - perhaps love is about to bloom!I hope you find these poems inspiring as they were written from the heart; I wish them well on their journey towards your own personalized poem that will surely be a masterpiece.

写得居然还不错,只不过我的CPU在燃烧哈哈

Image

缺点:

  • 不支持中文输入Image

虽然他说他能说中文,但是他并不理解中文,可能是因为训练的数据集中文比较少。

  • 逻辑思维能力很差:

    Image

    代码生成功能很弱,我尝试生成一个python冒泡排序的程序,但是运行报错

  • 会骗人Image

我问他认识李白吗,给我一些他的诗,然后他给了我一个桃花源和一些我没有听说过的诗。。。

他的聪明程度受限于模型数据集,目前模型数据集仅有4.1GB,肯定远不及ChatGPT,不过目前来说,也是一个好的开始,他就像一个天赋异禀的孩子,总会登上顶峰!

最后:

如果你想自己训练数据集,可以按照官方的文章进行操作。

Image

开源地址:https://github.com/nomic-ai/gpt4all