无法获取gpt-3.5-turbo令牌编码器

[robotkeys]

问题描述
FATAL] 2024/01/06 - 13:00:39 | [failed to get gpt-3.5-turbo token encoder: Get "https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken": dial tcp: lookup openaipublic.blob.core.windows.net on 127.0.0.11:53: server misbehaving]

复现步骤
新创建时，使用justsong/one-api v0.5.10 0cefc8164e5c 的docker镜像就会出现这问题

[root@chat logs]# cat oneapi-20240106.log
[SYS] 2024/01/06 - 12:59:57 | One API v0.5.10 started
[SYS] 2024/01/06 - 12:59:57 | using MySQL as database
[SYS] 2024/01/06 - 12:59:57 | database migration started
[SYS] 2024/01/06 - 12:59:57 | database migrated
[SYS] 2024/01/06 - 12:59:57 | SYNC_FREQUENCY not set, Redis is disabled
[SYS] 2024/01/06 - 12:59:57 | initializing token encoders
[FATAL] 2024/01/06 - 13:00:05 | [failed to get gpt-3.5-turbo token encoder: Get "https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken": dial tcp: lookup openaipublic.blob.core.windows.net on 127.0.0.11:53: server misbehaving]
[SYS] 2024/01/06 - 13:00:05 | One API v0.5.10 started
[SYS] 2024/01/06 - 13:00:05 | using MySQL as database
[SYS] 2024/01/06 - 13:00:05 | database migration started
[SYS] 2024/01/06 - 13:00:06 | database migrated
[SYS] 2024/01/06 - 13:00:06 | SYNC_FREQUENCY not set, Redis is disabled
[SYS] 2024/01/06 - 13:00:06 | initializing token encoders
[FATAL] 2024/01/06 - 13:00:18 | [failed to get gpt-3.5-turbo token encoder: Get "https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken": dial tcp: lookup openaipublic.blob.core.windows.net on 127.0.0.11:53: server misbehaving]
[SYS] 2024/01/06 - 13:00:18 | One API v0.5.10 started
[SYS] 2024/01/06 - 13:00:18 | using MySQL as database
[SYS] 2024/01/06 - 13:00:18 | database migration started
[SYS] 2024/01/06 - 13:00:18 | database migrated
[SYS] 2024/01/06 - 13:00:18 | SYNC_FREQUENCY not set, Redis is disabled
[SYS] 2024/01/06 - 13:00:18 | initializing token encoders
[FATAL] 2024/01/06 - 13:00:26 | [failed to get gpt-3.5-turbo token encoder: Get "https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken": dial tcp: lookup openaipublic.blob.core.windows.net on 127.0.0.11:53: server misbehaving]
[SYS] 2024/01/06 - 13:00:27 | One API v0.5.10 started
[SYS] 2024/01/06 - 13:00:27 | using MySQL as database
[SYS] 2024/01/06 - 13:00:27 | database migration started
[SYS] 2024/01/06 - 13:00:27 | database migrated
[SYS] 2024/01/06 - 13:00:27 | SYNC_FREQUENCY not set, Redis is disabled
[SYS] 2024/01/06 - 13:00:27 | initializing token encoders
[FATAL] 2024/01/06 - 13:00:39 | [failed to get gpt-3.5-turbo token encoder: Get "https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken": dial tcp: lookup openaipublic.blob.core.windows.net on 127.0.0.11:53: server misbehaving]
[SYS] 2024/01/06 - 13:00:40 | One API v0.5.10 started
[SYS] 2024/01/06 - 13:00:40 | using MySQL as database
[SYS] 2024/01/06 - 13:00:40 | database migration started
[SYS] 2024/01/06 - 13:00:40 | database migrated
[SYS] 2024/01/06 - 13:00:40 | SYNC_FREQUENCY not set, Redis is disabled
[SYS] 2024/01/06 - 13:00:40 | initializing token encoders
[FATAL] 2024/01/06 - 13:00:48 | [failed to get gpt-3.5-turbo token encoder: Get "https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken": dial tcp: lookup openaipublic.blob.core.windows.net on 127.0.0.11:53: server misbehaving]

[Peter1303]

+1

[zhaoxin151]

+1

[xkatld]

+1

[272536601]

+1

[shikeqiang]

咋解决

[yixian3500]

#680 (comment)

[igangang]

1. 下载文件：https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken
2. 将上一步的文件名改为9b5ad71b2ce5302211f9c61530b329a4922fc6a4
3. 挂载目录： - ./oneapi/cache:/data/cache
4. 将第二步的文件放到宿主机./oneapi/cache位置
5. 设置容器环境变量：TIKTOKEN_CACHE_DIR: /data/cache
6. 重建容器即可

[1suancaiyu]

同上可解决：
下载文件：https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken
将上一步的文件名改为9b5ad71b2ce5302211f9c61530b329a4922fc6a4
挂载目录： - ./oneapi/cache:/data/cache
将第二步的文件放到宿主机./oneapi/cache位置
设置容器环境变量：TIKTOKEN_CACHE_DIR=/data/cache
重建容器即可。

one-api docker-compose.yml 对应文件写法如下：

oneapi:
container_name: oneapi
image: ghcr.io/songquanpeng/one-api:v0.6.4
ports:
- 3001:3000
depends_on:
- mysql
networks:
- fastgpt
restart: always
privileged: true
environment:
# mysql 连接参数
- SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi
# 登录凭证加密密钥
- SESSION_SECRET=oneapikey
# 内存缓存
- MEMORY_CACHE_ENABLED=true
# 启动聚合更新，减少数据交互频率
- BATCH_UPDATE_ENABLED=true
# 聚合更新时长
- BATCH_UPDATE_INTERVAL=10
# 初始化的 root 密钥（建议部署完后更改，否则容易泄露）
- INITIAL_ROOT_TOKEN=fastgpt
# 修复无法获取gpt3.5令牌错误
- TIKTOKEN_CACHE_DIR=/data/cache
volumes:
- ./oneapi:/data

[luommy]

同上可解决： 下载文件：https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken 将上一步的文件名改为9b5ad71b2ce5302211f9c61530b329a4922fc6a4 挂载目录： - ./oneapi/cache:/data/cache 将第二步的文件放到宿主机./oneapi/cache位置 设置容器环境变量：TIKTOKEN_CACHE_DIR=/data/cache 重建容器即可。

one-api docker-compose.yml 对应文件写法如下：

oneapi: container_name: oneapi image: ghcr.io/songquanpeng/one-api:v0.6.4 ports: - 3001:3000 depends_on: - mysql networks: - fastgpt restart: always privileged: true environment: # mysql 连接参数 - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi # 登录凭证加密密钥 - SESSION_SECRET=oneapikey # 内存缓存 - MEMORY_CACHE_ENABLED=true # 启动聚合更新，减少数据交互频率 - BATCH_UPDATE_ENABLED=true # 聚合更新时长 - BATCH_UPDATE_INTERVAL=10 # 初始化的 root 密钥（建议部署完后更改，否则容易泄露） - INITIAL_ROOT_TOKEN=fastgpt # 修复无法获取gpt3.5令牌错误 - TIKTOKEN_CACHE_DIR=/data/cache volumes: - ./oneapi:/data

我也是按照你的方式但为何还是失败，要去联网下载

[13829386012]

同上可解决： 下载文件：https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken 将上一步的文件名改为9b5ad71b2ce5302211f9c61530b329a4922fc6a4 挂载目录： - ./oneapi/cache:/data/cache 将第二步的文件放到宿主机./oneapi/cache位置 设置容器环境变量：TIKTOKEN_CACHE_DIR=/data/cache 重建容器即可。
one-api docker-compose.yml 对应文件写法如下：
oneapi: container_name: oneapi image: ghcr.io/songquanpeng/one-api:v0.6.4 ports: - 3001:3000 depends_on: - mysql networks: - fastgpt restart: always privileged: true environment: # mysql 连接参数 - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi # 登录凭证加密密钥 - SESSION_SECRET=oneapikey # 内存缓存 - MEMORY_CACHE_ENABLED=true # 启动聚合更新，减少数据交互频率 - BATCH_UPDATE_ENABLED=true # 聚合更新时长 - BATCH_UPDATE_INTERVAL=10 # 初始化的 root 密钥（建议部署完后更改，否则容易泄露） - INITIAL_ROOT_TOKEN=fastgpt # 修复无法获取gpt3.5令牌错误 - TIKTOKEN_CACHE_DIR=/data/cache volumes: - ./oneapi:/data

我也是按照你的方式但为何还是失败，要去联网下载

我也遇到一样的问题了,跟你一样配置的同样不行，请问你最后如何成功的？

[13829386012]

同上可解决： 下载文件：https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken 将上一步的文件名改为9b5ad71b2ce5302211f9c61530b329a4922fc6a4 挂载目录： - ./oneapi/cache:/data/cache 将第二步的文件放到宿主机./oneapi/cache位置 设置容器环境变量：TIKTOKEN_CACHE_DIR=/data/cache 重建容器即可。
one-api docker-compose.yml 对应文件写法如下：
oneapi: container_name: oneapi image: ghcr.io/songquanpeng/one-api:v0.6.4 ports: - 3001:3000 depends_on: - mysql networks: - fastgpt restart: always privileged: true environment: # mysql 连接参数 - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi # 登录凭证加密密钥 - SESSION_SECRET=oneapikey # 内存缓存 - MEMORY_CACHE_ENABLED=true # 启动聚合更新，减少数据交互频率 - BATCH_UPDATE_ENABLED=true # 聚合更新时长 - BATCH_UPDATE_INTERVAL=10 # 初始化的 root 密钥（建议部署完后更改，否则容易泄露） - INITIAL_ROOT_TOKEN=fastgpt # 修复无法获取gpt3.5令牌错误 - TIKTOKEN_CACHE_DIR=/data/cache volumes: - ./oneapi:/data

我也是按照你的方式但为何还是失败，要去联网下载

我也遇到一样的问题了,跟你一样配置的同样不行，请问你最后如何成功的？

同上可解决： 下载文件：https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken 将上一步的文件名改为9b5ad71b2ce5302211f9c61530b329a4922fc6a4 挂载目录： - ./oneapi/cache:/data/cache 将第二步的文件放到宿主机./oneapi/cache位置 设置容器环境变量：TIKTOKEN_CACHE_DIR=/data/cache 重建容器即可。
one-api docker-compose.yml 对应文件写法如下：
oneapi: container_name: oneapi image: ghcr.io/songquanpeng/one-api:v0.6.4 ports: - 3001:3000 depends_on: - mysql networks: - fastgpt restart: always privileged: true environment: # mysql 连接参数 - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi # 登录凭证加密密钥 - SESSION_SECRET=oneapikey # 内存缓存 - MEMORY_CACHE_ENABLED=true # 启动聚合更新，减少数据交互频率 - BATCH_UPDATE_ENABLED=true # 聚合更新时长 - BATCH_UPDATE_INTERVAL=10 # 初始化的 root 密钥（建议部署完后更改，否则容易泄露） - INITIAL_ROOT_TOKEN=fastgpt # 修复无法获取gpt3.5令牌错误 - TIKTOKEN_CACHE_DIR=/data/cache volumes: - ./oneapi:/data

我也是按照你的方式但为何还是失败，要去联网下载

我也遇到一样的问题了,跟你一样配置的同样不行，请问你最后如何成功的？

已解决，新版本需要两个文件
新版本两个包 9b5ad71b2ce5302211f9c61530b329a4922fc6a4 fb374d419588a4632f3f557e76b4b70aebbca790

[skytodmoon]

同上可解决： 下载文件：https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken 将上一步的文件名改为9b5ad71b2ce5302211f9c61530b329a4922fc6a4 挂载目录： - ./oneapi/cache:/data/cache 将第二步的文件放到宿主机./oneapi/cache位置 设置容器环境变量：TIKTOKEN_CACHE_DIR=/data/cache 重建容器即可。
one-api docker-compose.yml 对应文件写法如下：
oneapi: container_name: oneapi image: ghcr.io/songquanpeng/one-api:v0.6.4 ports: - 3001:3000 depends_on: - mysql networks: - fastgpt restart: always privileged: true environment: # mysql 连接参数 - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi # 登录凭证加密密钥 - SESSION_SECRET=oneapikey # 内存缓存 - MEMORY_CACHE_ENABLED=true # 启动聚合更新，减少数据交互频率 - BATCH_UPDATE_ENABLED=true # 聚合更新时长 - BATCH_UPDATE_INTERVAL=10 # 初始化的 root 密钥（建议部署完后更改，否则容易泄露） - INITIAL_ROOT_TOKEN=fastgpt # 修复无法获取gpt3.5令牌错误 - TIKTOKEN_CACHE_DIR=/data/cache volumes: - ./oneapi:/data

我也是按照你的方式但为何还是失败，要去联网下载

我也遇到一样的问题了,跟你一样配置的同样不行，请问你最后如何成功的？

同上可解决： 下载文件：https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken 将上一步的文件名改为9b5ad71b2ce5302211f9c61530b329a4922fc6a4 挂载目录： - ./oneapi/cache:/data/cache 将第二步的文件放到宿主机./oneapi/cache位置 设置容器环境变量：TIKTOKEN_CACHE_DIR=/data/cache 重建容器即可。
one-api docker-compose.yml 对应文件写法如下：
oneapi: container_name: oneapi image: ghcr.io/songquanpeng/one-api:v0.6.4 ports: - 3001:3000 depends_on: - mysql networks: - fastgpt restart: always privileged: true environment: # mysql 连接参数 - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi # 登录凭证加密密钥 - SESSION_SECRET=oneapikey # 内存缓存 - MEMORY_CACHE_ENABLED=true # 启动聚合更新，减少数据交互频率 - BATCH_UPDATE_ENABLED=true # 聚合更新时长 - BATCH_UPDATE_INTERVAL=10 # 初始化的 root 密钥（建议部署完后更改，否则容易泄露） - INITIAL_ROOT_TOKEN=fastgpt # 修复无法获取gpt3.5令牌错误 - TIKTOKEN_CACHE_DIR=/data/cache volumes: - ./oneapi:/data

我也是按照你的方式但为何还是失败，要去联网下载

我也遇到一样的问题了,跟你一样配置的同样不行，请问你最后如何成功的？

已解决，新版本需要两个文件 新版本两个包 9b5ad71b2ce5302211f9c61530b329a4922fc6a4 fb374d419588a4632f3f557e76b4b70aebbca790

这两个文件都是cl100k_base.tiktoken改的么？

[Luck0o0]

同上可解决： 下载文件：https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken 将上一步的文件名改为9b5ad71b2ce5302211f9c61530b329a4922fc6a4 挂载目录： - ./oneapi/cache:/data/cache 将第二步的文件放到宿主机./oneapi/cache位置 设置容器环境变量：TIKTOKEN_CACHE_DIR=/data/cache 重建容器即可。
one-api docker-compose.yml 对应文件写法如下：
oneapi: container_name: oneapi image: ghcr.io/songquanpeng/one-api:v0.6.4 ports: - 3001:3000 depends_on: - mysql networks: - fastgpt restart: always privileged: true environment: # mysql 连接参数 - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi # 登录凭证加密密钥 - SESSION_SECRET=oneapikey # 内存缓存 - MEMORY_CACHE_ENABLED=true # 启动聚合更新，减少数据交互频率 - BATCH_UPDATE_ENABLED=true # 聚合更新时长 - BATCH_UPDATE_INTERVAL=10 # 初始化的 root 密钥（建议部署完后更改，否则容易泄露） - INITIAL_ROOT_TOKEN=fastgpt # 修复无法获取gpt3.5令牌错误 - TIKTOKEN_CACHE_DIR=/data/cache volumes: - ./oneapi:/data

我也是按照你的方式但为何还是失败，要去联网下载

我也遇到一样的问题了,跟你一样配置的同样不行，请问你最后如何成功的？

同上可解决： 下载文件：https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken 将上一步的文件名改为9b5ad71b2ce5302211f9c61530b329a4922fc6a4 挂载目录： - ./oneapi/cache:/data/cache 将第二步的文件放到宿主机./oneapi/cache位置 设置容器环境变量：TIKTOKEN_CACHE_DIR=/data/cache 重建容器即可。
one-api docker-compose.yml 对应文件写法如下：
oneapi: container_name: oneapi image: ghcr.io/songquanpeng/one-api:v0.6.4 ports: - 3001:3000 depends_on: - mysql networks: - fastgpt restart: always privileged: true environment: # mysql 连接参数 - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi # 登录凭证加密密钥 - SESSION_SECRET=oneapikey # 内存缓存 - MEMORY_CACHE_ENABLED=true # 启动聚合更新，减少数据交互频率 - BATCH_UPDATE_ENABLED=true # 聚合更新时长 - BATCH_UPDATE_INTERVAL=10 # 初始化的 root 密钥（建议部署完后更改，否则容易泄露） - INITIAL_ROOT_TOKEN=fastgpt # 修复无法获取gpt3.5令牌错误 - TIKTOKEN_CACHE_DIR=/data/cache volumes: - ./oneapi:/data

我也是按照你的方式但为何还是失败，要去联网下载

我也遇到一样的问题了,跟你一样配置的同样不行，请问你最后如何成功的？

已解决，新版本需要两个文件 新版本两个包 9b5ad71b2ce5302211f9c61530b329a4922fc6a4 fb374d419588a4632f3f557e76b4b70aebbca790

这两个文件都是cl100k_base.tiktoken改的么？

是的，两个文件是一样的，都是tiktoken文件，我这么操作一下就好了，用的最新的镜像