【GPT】如何拥有离线版本的GPT以及部署过程中的问题

18次阅读

##【背景】

目前很多公司由于数据安全的问题,不能使用 OpenAI 的 GPT,同时也没有必要非得使用如此泛用化的 GPT。很多公司因此有训练自己的离线 GPT 的需求,这样的 GPT 只需要具备专业知识即可。

要使这个成为可能,首先就需要能够让 GPT 的 Model 在本地运行。

【GPT】如何拥有离线版本的GPT以及部署过程中的问题插图

##【工具】

GPT4ALL 就是这样一个应运而生的工具。

官网地址:https://gpt4all.io/index.html

如果官网速度慢,可以下我存的百度:

链接:https://pan.baidu.com/s/1QodbiPxnK0RSYDcDc65sPg?pwd=dff3

提取码:dff3

– 来自百度网盘超级会员 V7 的分享

##【部署方法】

1. 第一种部署方法最简单,在官网首页下载对应平台的可执行文件,直接运行即可。这种方式的优点在于方便,配有 UI,UI 集成了包括 Model 下载,训练等在内的所有功能。缺点是这种方法只能本机使用 GPT 功能,个人培训个人的 GPT,学习和实验的成分多一些,如果要拿这个能力做局域网应用,还是需要别的部署方式。

2. 第二种推荐的部署方式就是 Python 部署。这里有几个注意点,如果你用的 Anaconda+Pycharm,注意保证 GPT 相应的编译器环境是 3.8 以上的,不然 install package 会报错。且 Anaconda 需要是 64 位。我一开始 64 位 OS 装了 32bitAnaconda 也会报错。这两个坑避免了,install 会顺利。

注意还需要在首页下载 model 的 bin 文件,推荐默认的 3.5 版本,免费可商用。其它还有很多别的模型,自行研究即可。

【GPT】如何拥有离线版本的GPT以及部署过程中的问题插图1

##【python 部署命令】

python 部署的具体命令 (可以命令行一步一步执行):

先是 Pycharm 的 Terminal 中

“`

pip install nomic

pip install gpt4all

“`

接着在 PythonConsole 中:

“`

import gpt4all // 看看是否成功导入

dir(gpt4all)// 查看相关的模块是否都安装了

from gpt4all import GPT4All// 开始验证 Prompt 功能

gpt = GPT4All(model_name="ggml-gpt4all-j-v1.3-groovy.bin",model_path="D:/gpt/")// 先把相应的 bin 模型引入并初始化

gpt.chat_completion([{"role":"assistant","content":"what are machine learning models"}])// 这条就是 Prompt 功能命令,送出后机器反应一会儿会给出问题的回答。

“`

##【其它信息】

GPT4ALL 是靠 CPU 而非 GPU 运行的,所以性能好坏跟 CPU 性能相关。

原文链接:https://www.bilibili.com/read/cv24910823/

正文完
 
追风者
版权声明:本站原创文章,由 追风者 2023-11-30发表,共计1181字。
转载说明:声明:本站内容均来自互联网,归原创作者所有,如有侵权必删除。 本站文章皆由CC-4.0协议发布。