one-api icon indicating copy to clipboard operation
one-api copied to clipboard

Published 20 hours ago • verified publisher icon songquanpeng

无法获取gpt-3.5-turbo令牌编码器

Open robotkeys opened this issue 1 year ago • 20 comments

问题描述 FATAL] 2024/01/06 - 13:00:39 | [failed to get gpt-3.5-turbo token encoder: Get "https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken": dial tcp: lookup openaipublic.blob.core.windows.net on 127.0.0.11:53: server misbehaving]

复现步骤 新创建时，使用justsong/one-api v0.5.10 0cefc8164e5c 的docker镜像就会出现这问题

[root@chat logs]# cat oneapi-20240106.log [SYS] 2024/01/06 - 12:59:57 | One API v0.5.10 started [SYS] 2024/01/06 - 12:59:57 | using MySQL as database [SYS] 2024/01/06 - 12:59:57 | database migration started [SYS] 2024/01/06 - 12:59:57 | database migrated [SYS] 2024/01/06 - 12:59:57 | SYNC_FREQUENCY not set, Redis is disabled [SYS] 2024/01/06 - 12:59:57 | initializing token encoders [FATAL] 2024/01/06 - 13:00:05 | [failed to get gpt-3.5-turbo token encoder: Get "https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken": dial tcp: lookup openaipublic.blob.core.windows.net on 127.0.0.11:53: server misbehaving] [SYS] 2024/01/06 - 13:00:05 | One API v0.5.10 started [SYS] 2024/01/06 - 13:00:05 | using MySQL as database [SYS] 2024/01/06 - 13:00:05 | database migration started [SYS] 2024/01/06 - 13:00:06 | database migrated [SYS] 2024/01/06 - 13:00:06 | SYNC_FREQUENCY not set, Redis is disabled [SYS] 2024/01/06 - 13:00:06 | initializing token encoders [FATAL] 2024/01/06 - 13:00:18 | [failed to get gpt-3.5-turbo token encoder: Get "https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken": dial tcp: lookup openaipublic.blob.core.windows.net on 127.0.0.11:53: server misbehaving] [SYS] 2024/01/06 - 13:00:18 | One API v0.5.10 started [SYS] 2024/01/06 - 13:00:18 | using MySQL as database [SYS] 2024/01/06 - 13:00:18 | database migration started [SYS] 2024/01/06 - 13:00:18 | database migrated [SYS] 2024/01/06 - 13:00:18 | SYNC_FREQUENCY not set, Redis is disabled [SYS] 2024/01/06 - 13:00:18 | initializing token encoders [FATAL] 2024/01/06 - 13:00:26 | [failed to get gpt-3.5-turbo token encoder: Get "https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken": dial tcp: lookup openaipublic.blob.core.windows.net on 127.0.0.11:53: server misbehaving] [SYS] 2024/01/06 - 13:00:27 | One API v0.5.10 started [SYS] 2024/01/06 - 13:00:27 | using MySQL as database [SYS] 2024/01/06 - 13:00:27 | database migration started [SYS] 2024/01/06 - 13:00:27 | database migrated [SYS] 2024/01/06 - 13:00:27 | SYNC_FREQUENCY not set, Redis is disabled [SYS] 2024/01/06 - 13:00:27 | initializing token encoders [FATAL] 2024/01/06 - 13:00:39 | [failed to get gpt-3.5-turbo token encoder: Get "https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken": dial tcp: lookup openaipublic.blob.core.windows.net on 127.0.0.11:53: server misbehaving] [SYS] 2024/01/06 - 13:00:40 | One API v0.5.10 started [SYS] 2024/01/06 - 13:00:40 | using MySQL as database [SYS] 2024/01/06 - 13:00:40 | database migration started [SYS] 2024/01/06 - 13:00:40 | database migrated [SYS] 2024/01/06 - 13:00:40 | SYNC_FREQUENCY not set, Redis is disabled [SYS] 2024/01/06 - 13:00:40 | initializing token encoders [FATAL] 2024/01/06 - 13:00:48 | [failed to get gpt-3.5-turbo token encoder: Get "https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken": dial tcp: lookup openaipublic.blob.core.windows.net on 127.0.0.11:53: server misbehaving]

robotkeys avatar Jan 06 '24 05:01 robotkeys

+1

Peter1303 avatar Feb 02 '24 11:02 Peter1303

+1

zhaoxin151 avatar Feb 26 '24 08:02 zhaoxin151

+1

xkatld avatar Feb 26 '24 15:02 xkatld

+1

272536601 avatar Feb 27 '24 07:02 272536601

咋解决

shikeqiang avatar Mar 23 '24 09:03 shikeqiang

https://github.com/songquanpeng/one-api/issues/680#issuecomment-2027281062

yixian3500 avatar Mar 29 '24 14:03 yixian3500

  1. 下载文件：https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken
  2. 将上一步的文件名改为9b5ad71b2ce5302211f9c61530b329a4922fc6a4
  3. 挂载目录： - ./oneapi/cache:/data/cache
  4. 将第二步的文件放到宿主机./oneapi/cache位置
  5. 设置容器环境变量：TIKTOKEN_CACHE_DIR: /data/cache
  6. 重建容器即可

igangang avatar May 07 '24 09:05 igangang

同上可解决： 下载文件：https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken 将上一步的文件名改为9b5ad71b2ce5302211f9c61530b329a4922fc6a4 挂载目录： - ./oneapi/cache:/data/cache 将第二步的文件放到宿主机./oneapi/cache位置 设置容器环境变量：TIKTOKEN_CACHE_DIR=/data/cache 重建容器即可。

one-api docker-compose.yml 对应文件写法如下：

oneapi: container_name: oneapi image: ghcr.io/songquanpeng/one-api:v0.6.4 ports: - 3001:3000 depends_on: - mysql networks: - fastgpt restart: always privileged: true environment: # mysql 连接参数 - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi # 登录凭证加密密钥 - SESSION_SECRET=oneapikey # 内存缓存 - MEMORY_CACHE_ENABLED=true # 启动聚合更新，减少数据交互频率 - BATCH_UPDATE_ENABLED=true # 聚合更新时长 - BATCH_UPDATE_INTERVAL=10 # 初始化的 root 密钥（建议部署完后更改，否则容易泄露） - INITIAL_ROOT_TOKEN=fastgpt # 修复无法获取gpt3.5令牌错误 - TIKTOKEN_CACHE_DIR=/data/cache volumes: - ./oneapi:/data

1suancaiyu avatar May 15 '24 08:05 1suancaiyu

同上可解决： 下载文件：https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken 将上一步的文件名改为9b5ad71b2ce5302211f9c61530b329a4922fc6a4 挂载目录： - ./oneapi/cache:/data/cache 将第二步的文件放到宿主机./oneapi/cache位置 设置容器环境变量：TIKTOKEN_CACHE_DIR=/data/cache 重建容器即可。

one-api docker-compose.yml 对应文件写法如下：

oneapi: container_name: oneapi image: ghcr.io/songquanpeng/one-api:v0.6.4 ports: - 3001:3000 depends_on: - mysql networks: - fastgpt restart: always privileged: true environment: # mysql 连接参数 - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi # 登录凭证加密密钥 - SESSION_SECRET=oneapikey # 内存缓存 - MEMORY_CACHE_ENABLED=true # 启动聚合更新，减少数据交互频率 - BATCH_UPDATE_ENABLED=true # 聚合更新时长 - BATCH_UPDATE_INTERVAL=10 # 初始化的 root 密钥（建议部署完后更改，否则容易泄露） - INITIAL_ROOT_TOKEN=fastgpt # 修复无法获取gpt3.5令牌错误 - TIKTOKEN_CACHE_DIR=/data/cache volumes: - ./oneapi:/data

我也是按照你的方式但为何还是失败，要去联网下载 image image

luommy avatar May 15 '24 08:05 luommy

同上可解决： 下载文件：https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken 将上一步的文件名改为9b5ad71b2ce5302211f9c61530b329a4922fc6a4 挂载目录： - ./oneapi/cache:/data/cache 将第二步的文件放到宿主机./oneapi/cache位置 设置容器环境变量：TIKTOKEN_CACHE_DIR=/data/cache 重建容器即可。 one-api docker-compose.yml 对应文件写法如下： oneapi: container_name: oneapi image: ghcr.io/songquanpeng/one-api:v0.6.4 ports: - 3001:3000 depends_on: - mysql networks: - fastgpt restart: always privileged: true environment: # mysql 连接参数 - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi # 登录凭证加密密钥 - SESSION_SECRET=oneapikey # 内存缓存 - MEMORY_CACHE_ENABLED=true # 启动聚合更新，减少数据交互频率 - BATCH_UPDATE_ENABLED=true # 聚合更新时长 - BATCH_UPDATE_INTERVAL=10 # 初始化的 root 密钥（建议部署完后更改，否则容易泄露） - INITIAL_ROOT_TOKEN=fastgpt # 修复无法获取gpt3.5令牌错误 - TIKTOKEN_CACHE_DIR=/data/cache volumes: - ./oneapi:/data

我也是按照你的方式但为何还是失败，要去联网下载 image image

我也遇到一样的问题了,跟你一样配置的同样不行，请问你最后如何成功的？

13829386012 avatar Jun 14 '24 16:06 13829386012

同上可解决： 下载文件：https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken 将上一步的文件名改为9b5ad71b2ce5302211f9c61530b329a4922fc6a4 挂载目录： - ./oneapi/cache:/data/cache 将第二步的文件放到宿主机./oneapi/cache位置 设置容器环境变量：TIKTOKEN_CACHE_DIR=/data/cache 重建容器即可。 one-api docker-compose.yml 对应文件写法如下： oneapi: container_name: oneapi image: ghcr.io/songquanpeng/one-api:v0.6.4 ports: - 3001:3000 depends_on: - mysql networks: - fastgpt restart: always privileged: true environment: # mysql 连接参数 - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi # 登录凭证加密密钥 - SESSION_SECRET=oneapikey # 内存缓存 - MEMORY_CACHE_ENABLED=true # 启动聚合更新，减少数据交互频率 - BATCH_UPDATE_ENABLED=true # 聚合更新时长 - BATCH_UPDATE_INTERVAL=10 # 初始化的 root 密钥（建议部署完后更改，否则容易泄露） - INITIAL_ROOT_TOKEN=fastgpt # 修复无法获取gpt3.5令牌错误 - TIKTOKEN_CACHE_DIR=/data/cache volumes: - ./oneapi:/data

我也是按照你的方式但为何还是失败，要去联网下载 image image

我也遇到一样的问题了,跟你一样配置的同样不行，请问你最后如何成功的？

同上可解决： 下载文件：https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken 将上一步的文件名改为9b5ad71b2ce5302211f9c61530b329a4922fc6a4 挂载目录： - ./oneapi/cache:/data/cache 将第二步的文件放到宿主机./oneapi/cache位置 设置容器环境变量：TIKTOKEN_CACHE_DIR=/data/cache 重建容器即可。 one-api docker-compose.yml 对应文件写法如下： oneapi: container_name: oneapi image: ghcr.io/songquanpeng/one-api:v0.6.4 ports: - 3001:3000 depends_on: - mysql networks: - fastgpt restart: always privileged: true environment: # mysql 连接参数 - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi # 登录凭证加密密钥 - SESSION_SECRET=oneapikey # 内存缓存 - MEMORY_CACHE_ENABLED=true # 启动聚合更新，减少数据交互频率 - BATCH_UPDATE_ENABLED=true # 聚合更新时长 - BATCH_UPDATE_INTERVAL=10 # 初始化的 root 密钥（建议部署完后更改，否则容易泄露） - INITIAL_ROOT_TOKEN=fastgpt # 修复无法获取gpt3.5令牌错误 - TIKTOKEN_CACHE_DIR=/data/cache volumes: - ./oneapi:/data

我也是按照你的方式但为何还是失败，要去联网下载 image image

我也遇到一样的问题了,跟你一样配置的同样不行，请问你最后如何成功的？

已解决，新版本需要两个文件 新版本两个包 9b5ad71b2ce5302211f9c61530b329a4922fc6a4 fb374d419588a4632f3f557e76b4b70aebbca790

13829386012 avatar Jun 14 '24 17:06 13829386012

同上可解决： 下载文件：https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken 将上一步的文件名改为9b5ad71b2ce5302211f9c61530b329a4922fc6a4 挂载目录： - ./oneapi/cache:/data/cache 将第二步的文件放到宿主机./oneapi/cache位置 设置容器环境变量：TIKTOKEN_CACHE_DIR=/data/cache 重建容器即可。 one-api docker-compose.yml 对应文件写法如下： oneapi: container_name: oneapi image: ghcr.io/songquanpeng/one-api:v0.6.4 ports: - 3001:3000 depends_on: - mysql networks: - fastgpt restart: always privileged: true environment: # mysql 连接参数 - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi # 登录凭证加密密钥 - SESSION_SECRET=oneapikey # 内存缓存 - MEMORY_CACHE_ENABLED=true # 启动聚合更新，减少数据交互频率 - BATCH_UPDATE_ENABLED=true # 聚合更新时长 - BATCH_UPDATE_INTERVAL=10 # 初始化的 root 密钥（建议部署完后更改，否则容易泄露） - INITIAL_ROOT_TOKEN=fastgpt # 修复无法获取gpt3.5令牌错误 - TIKTOKEN_CACHE_DIR=/data/cache volumes: - ./oneapi:/data

我也是按照你的方式但为何还是失败，要去联网下载 image image

我也遇到一样的问题了,跟你一样配置的同样不行，请问你最后如何成功的？

同上可解决： 下载文件：https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken 将上一步的文件名改为9b5ad71b2ce5302211f9c61530b329a4922fc6a4 挂载目录： - ./oneapi/cache:/data/cache 将第二步的文件放到宿主机./oneapi/cache位置 设置容器环境变量：TIKTOKEN_CACHE_DIR=/data/cache 重建容器即可。 one-api docker-compose.yml 对应文件写法如下： oneapi: container_name: oneapi image: ghcr.io/songquanpeng/one-api:v0.6.4 ports: - 3001:3000 depends_on: - mysql networks: - fastgpt restart: always privileged: true environment: # mysql 连接参数 - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi # 登录凭证加密密钥 - SESSION_SECRET=oneapikey # 内存缓存 - MEMORY_CACHE_ENABLED=true # 启动聚合更新，减少数据交互频率 - BATCH_UPDATE_ENABLED=true # 聚合更新时长 - BATCH_UPDATE_INTERVAL=10 # 初始化的 root 密钥（建议部署完后更改，否则容易泄露） - INITIAL_ROOT_TOKEN=fastgpt # 修复无法获取gpt3.5令牌错误 - TIKTOKEN_CACHE_DIR=/data/cache volumes: - ./oneapi:/data

我也是按照你的方式但为何还是失败，要去联网下载 image image

我也遇到一样的问题了,跟你一样配置的同样不行，请问你最后如何成功的？

已解决，新版本需要两个文件 新版本两个包 9b5ad71b2ce5302211f9c61530b329a4922fc6a4 fb374d419588a4632f3f557e76b4b70aebbca790

这两个文件都是cl100k_base.tiktoken改的么？

skytodmoon avatar Jul 10 '24 05:07 skytodmoon

同上可解决： 下载文件：https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken 将上一步的文件名改为9b5ad71b2ce5302211f9c61530b329a4922fc6a4 挂载目录： - ./oneapi/cache:/data/cache 将第二步的文件放到宿主机./oneapi/cache位置 设置容器环境变量：TIKTOKEN_CACHE_DIR=/data/cache 重建容器即可。 one-api docker-compose.yml 对应文件写法如下： oneapi: container_name: oneapi image: ghcr.io/songquanpeng/one-api:v0.6.4 ports: - 3001:3000 depends_on: - mysql networks: - fastgpt restart: always privileged: true environment: # mysql 连接参数 - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi # 登录凭证加密密钥 - SESSION_SECRET=oneapikey # 内存缓存 - MEMORY_CACHE_ENABLED=true # 启动聚合更新，减少数据交互频率 - BATCH_UPDATE_ENABLED=true # 聚合更新时长 - BATCH_UPDATE_INTERVAL=10 # 初始化的 root 密钥（建议部署完后更改，否则容易泄露） - INITIAL_ROOT_TOKEN=fastgpt # 修复无法获取gpt3.5令牌错误 - TIKTOKEN_CACHE_DIR=/data/cache volumes: - ./oneapi:/data

我也是按照你的方式但为何还是失败，要去联网下载 image image

我也遇到一样的问题了,跟你一样配置的同样不行，请问你最后如何成功的？

同上可解决： 下载文件：https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken 将上一步的文件名改为9b5ad71b2ce5302211f9c61530b329a4922fc6a4 挂载目录： - ./oneapi/cache:/data/cache 将第二步的文件放到宿主机./oneapi/cache位置 设置容器环境变量：TIKTOKEN_CACHE_DIR=/data/cache 重建容器即可。 one-api docker-compose.yml 对应文件写法如下： oneapi: container_name: oneapi image: ghcr.io/songquanpeng/one-api:v0.6.4 ports: - 3001:3000 depends_on: - mysql networks: - fastgpt restart: always privileged: true environment: # mysql 连接参数 - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi # 登录凭证加密密钥 - SESSION_SECRET=oneapikey # 内存缓存 - MEMORY_CACHE_ENABLED=true # 启动聚合更新，减少数据交互频率 - BATCH_UPDATE_ENABLED=true # 聚合更新时长 - BATCH_UPDATE_INTERVAL=10 # 初始化的 root 密钥（建议部署完后更改，否则容易泄露） - INITIAL_ROOT_TOKEN=fastgpt # 修复无法获取gpt3.5令牌错误 - TIKTOKEN_CACHE_DIR=/data/cache volumes: - ./oneapi:/data

我也是按照你的方式但为何还是失败，要去联网下载 image image

我也遇到一样的问题了,跟你一样配置的同样不行，请问你最后如何成功的？

已解决，新版本需要两个文件 新版本两个包 9b5ad71b2ce5302211f9c61530b329a4922fc6a4 fb374d419588a4632f3f557e76b4b70aebbca790

这两个文件都是cl100k_base.tiktoken改的么？

是的，两个文件是一样的，都是tiktoken文件，我这么操作一下就好了，用的最新的镜像

Luck0o0 avatar Jul 15 '24 13:07 Luck0o0