使用Docker部署FastGPT本地知识库

一、几种开源知识库对比

二、FastGPT

FastGPT是一个功能强大的平台,专注于知识库训练和自动化工作流程的编排。它提供了一个简单易用的可视化界面,支持自动数据预处理和基于Flow模块的工作流编排。FastGPT支持创建RAG系统,提供自动化工作流程等功能,使得构建和使用RAG系统变得简单,无需编写复杂代码。

官方:https://fastgpt.in/

github:https://github.com/labring/FastGPT

三、基于Docker环境的FastGPT部署

1、下载并安装Docker:Get Started | Docker

2、安装Docker Compose:

pip install docker-compose

3、克隆FastGPT镜像

git clone https://github.com/labring/FastGPT

4、启动容器

(1)打开目录:FastGPT\deploy\docker,复制docker-compose-pgvector.yml到根目录:FastGPT,并重命名为docker-compose.yml。这里有三种docker-compose-xxx.yml,docker-compose-pgvector.yml非常轻量,适合数据量在 5000 万以下,根据需要使用。

(2)打开目录:C:\Users\Administrator\FastGPT\projects\app\data,将config文件复制到根目录:FastGPT。

然后执行如下指令启动容器:

docker-compose up -d

正常执行完基本就可以通过ip:3001访问OneAPI了,不过我的计算机3001端口被占用了,得调整一下,比如改为3002。具体在刚才复制的docker-compose.yml中修改即可。

然后重新运行

docker-compose up -d

至此,安装过程就完成了。

四、FastGPT访问

对应啷个访问路径:

  • 访问OneAPI:可以通过ip:3002访问OneAPI,默认账号为root密码为123456。在OneApi中添加合适的AI模型渠道。
  • 访问 FastGPT:通过 ip:3000 直接访问(注意防火墙)。登录用户名为 root,密码为docker-compose.yml环境变量里设置的 DEFAULT_ROOT_PSW。首次运行,会自动初始化 root 用户,密码为 1234(与环境变量中的DEFAULT_ROOT_PSW一致)

五、OneAPI配置

登录进入OneAPI后,界面如下:

1、令牌

切换到顶部【令牌】菜单,点击“添加新的令牌”:

创建令牌的时候,设置永不过期和无限额度,名称按需填写。

2、渠道

切换到顶部【渠道】菜单,点击“添加新的渠道”:

其中,我本地用ollama安装了模型(如果不知道怎么用ollama安装模型的,可以看我前面的文章),所以我选择了自定义渠道,ollama本地的接口地址为:http://host.docker.internal:11434,模型选择本地安装的模型即可。秘钥填写:sk-key。

设置完成后进行测试,提示成功就没问题了。

除了ollama之外,我们还需要配置一个索引模型m3e。使用以下指令在本地部署M3E模型:

# 使用CPU运行
docker run -d --name m3e -p 6008:6008 registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api
# nvida-docker 使用GPU
docker run -d --name m3e -p 6008:6008 --gpus all registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api

安装完成后,docker容器中可以看到m3e已经运行了。

然后再继续添加m3e的渠道。

注意,此处没有修改密钥,默认密钥是:sk-aaabbbcccdddeeefffggghhhiiijjjkkk,填错后续使用时会报401。如果想修改该密钥可以在启动容器时修改环境变量sk-key

至此,One API就配置好了。

五、FastGPT配置

1、复制在OneAPI中设置的令牌。

2、修改docker-compose配置:

3、模型配置

访问FastGPT地址进入页面,在账号-模型供应商界面下新增模型,这里模型配置的说明见:FastGPT 模型配置说明 | FastGPT

 

参考文档:Docker Compose 快速部署 | FastGPT

—— 完 ——
相关推荐
评论

立 为 非 似

中 谁 昨 此

宵 风 夜 星

。 露 , 辰

文章点击榜

细 无 轻 自

如 边 似 在

愁 丝 梦 飞

。 雨 , 花