higress icon indicating copy to clipboard operation
higress copied to clipboard

使用 Higress + NextChat 快速搭建私人GPT助理

Open johnlanni opened this issue 9 months ago • 36 comments

第一步:创建一个名为 docker-compose.yml 的文件,并填入以下内容:

注意:

  1. YOUR_DASHSCOPE_API_KEY 需要替换为你自己的通义千问的 API Key
  2. /path-to-local-config-folder 需要替换为一个本地可以用来保存配置文件的目录路径。
  3. CODE=访问密码 这里换成你自己的密码
version: '3.9'

networks:
  higress-net:
    external: false

services:
  higress:
    image: higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:1.4.0
    environment:
      - CONFIG_TEMPLATE=ai-proxy
      - DEFAULT_AI_SERVICE=qwen
      - DASHSCOPE_API_KEY=YOUR_DASHSCOPE_API_KEY
    networks:
      - higress-net
    ports:
      - "8080:8080/tcp" # 如果本地 8080 端口被占用,那么可以修改冒号前面的端口号进行规避。冒号后的 8080 请勿修改
      - "8001:8001/tcp"
    volumes:
      - /path-to-local-config-folder:/data
    restart: always
  nextchat:
    image: yidadaa/chatgpt-next-web
    environment:
      - CODE=访问密码
      - OPENAI_API_KEY=unused
      - CUSTOM_MODELS=-all,+gpt-4o
      - BASE_URL=http://higress:8080 # 这一行请勿修改
    networks:
      - higress-net
    ports:
      - "3000:3000/tcp"
    restart: always

第二步:在命令行中运行以下命令,启动 docker compose 项目:

docker compose -p higress-ai up -d

第三步:在浏览器里访问 http://localhost:3000/,打开 NextChat 页面;

image

第四步:点击对话输入框工具栏最右侧的模型设置按钮,将模型切换为 gpt-4-turbo 并关闭窗口。

因为 Higress 的 AI Proxy 插件(可以访问 http://localhost:8001 查看插件配置)配置了 gpt-4-turbo 到 qwen-max 的模型映射,所以实际上这里提供的模型服务是 qwen-max

image

完成!现在你就可以与 AI 进行对话了。

按照上面文件进行配置,默认和你对话的将是通义千问。如果想切换到OpenAI ChatGPT,只需要将文件中的 DEFAULT_AI_SERVICE=qwen 修改为 DEFAULT_AI_SERVICE=openai,并添加 OpenAI 的 API key 配置,然后重新启动 docker compose 项目即可。

# 以上配置省略
  higress:
    image: higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:1.3.6
    environment:
      - CONFIG_TEMPLATE=ai-proxy
      - DEFAULT_AI_SERVICE=openai
      - OPENAI_API_KEY=YOUR_OPENAI_API_KEY
# 以下配置省略
docker compose -p higress-ai down
docker compose -p higress-ai up -d

johnlanni avatar May 14 '24 08:05 johnlanni