APIParkLab
bug: panic: runtime error: invalid memory address or nil pointer dereference
Current Behavior
部署方式：下载镜像包，内网环境通过脚本离线部署
在接入自定义模型后，传入 -d '{"message": "你好"}'这样的错误格式messages有{"object":"error","message":"[{'type': 'list_type', 'loc': ('body', 'messages'), 'msg': should be a valid list', 'input': None}]","type":"Bad Request","param":null,"code":400} 但是输入正确message格式-d '{"messages":[{"role":"user","content":"hello"}'，却无法收到response，出现curl: (52) Empty reply from server。 检查apinto容器日志发现错误：panic: runtime error: invalid memory address or nil pointer dereference github.com/pkoukk/tiktoken-go.(*Tiktoken).Encode(0x0, {0xc000033560, 0x5}, {0x0?,0xc0007744f0?, 0xf692cb?}, {0x0, 0x0, 0xc006d14f80?})
Expected Behavior
No response
Error Logs
No response
Steps to Reproduce
No response
Environment
- ApiPark version: 1.8.0-beta,eolinker/apinto-gateway:0.22.4
- Operating system (run
uname -a):
已经解决，启动容器的时候加入tiktoken环境变量TIKTOKEN_CACHE_DIR和对应文件就没问题了
兄弟，是大模型那个容器绑定，还是apispark的容器加了
已经解决，启动容器的时候加入tiktoken环境变量TIKTOKEN_CACHE_DIR和对应文件就没问题了
兄弟，是大模型那个容器绑定，还是apispark的容器加了
apinto-gateway容器，启动容器的时候把环境变量和tiktoken需要的文件加进去
已经解决，启动容器的时候加入tiktoken环境变量TIKTOKEN_CACHE_DIR和对应文件就没问题了
兄弟，是大模型那个容器绑定，还是apispark的容器加了
apinto-gateway容器，启动容器的时候把环境变量和tiktoken需要的文件加进去
是不是直接下载好tiktoken文件在docker-compose同级下，配置下那个环境变量把dir配置进去即可
已经解决，启动容器的时候加入tiktoken环境变量TIKTOKEN_CACHE_DIR和对应文件就没问题了
兄弟，是大模型那个容器绑定，还是apispark的容器加了
apinto-gateway容器，启动容器的时候把环境变量和tiktoken需要的文件加进去
是不是直接下载好tiktoken文件在docker-compose同级下，配置下那个环境变量把dir配置进去即可
是这样的，但是我用的是quick-start脚本跑的，你可以参考下： 在脚本的install_apinto()下docker启动命令 -v ${PWD}/tiktoken_cache:/tiktoken_cache -e TIKTOKEN_CACHE_DIR=/tiktoken_cache
已经解决，启动容器的时候加入tiktoken环境变量TIKTOKEN_CACHE_DIR和对应文件就没问题了
兄弟，是大模型那个容器绑定，还是apispark的容器加了
apinto-gateway容器，启动容器的时候把环境变量和tiktoken需要的文件加进去
是不是直接下载好tiktoken文件在docker-compose同级下，配置下那个环境变量把dir配置进去即可
是这样的，但是我用的是quick-start脚本跑的，你可以参考下： 在脚本的install_apinto()下docker启动命令 -v ${PWD}/tiktoken_cache:/tiktoken_cache -e TIKTOKEN_CACHE_DIR=/tiktoken_cache
好的，我先doker-compose关闭下，单独启动下
已经解决，启动容器的时候加入tiktoken环境变量TIKTOKEN_CACHE_DIR和对应文件就没问题了
兄弟，是大模型那个容器绑定，还是apispark的容器加了
apinto-gateway容器，启动容器的时候把环境变量和tiktoken需要的文件加进去
是不是直接下载好tiktoken文件在docker-compose同级下，配置下那个环境变量把dir配置进去即可
是这样的，但是我用的是quick-start脚本跑的，你可以参考下： 在脚本的install_apinto()下docker启动命令 -v ${PWD}/tiktoken_cache:/tiktoken_cache -e TIKTOKEN_CACHE_DIR=/tiktoken_cache
兄弟，你的那个tiktoken文件在哪下载了，分享下，谢啦
这个问题我们也查看一下，确认一下原因
docker-compose更新下，都是内网，那个脚本的搞不了，我现在一个人踩坑
好的，我想问下，现在用的是哪个模型导致了这个问题
这个问题我们也查看一下，确认一下原因
docker-compose更新下，都是内网，那个脚本的搞不了，我现在一个人踩坑
好的，我想问下，现在用的是哪个模型导致了这个问题
qwen3-32b
已经解决，启动容器的时候加入tiktoken环境变量TIKTOKEN_CACHE_DIR和对应文件就没问题了
兄弟，是大模型那个容器绑定，还是apispark的容器加了
apinto-gateway容器，启动容器的时候把环境变量和tiktoken需要的文件加进去
是不是直接下载好tiktoken文件在docker-compose同级下，配置下那个环境变量把dir配置进去即可
是这样的，但是我用的是quick-start脚本跑的，你可以参考下： 在脚本的install_apinto()下docker启动命令 -v ${PWD}/tiktoken_cache:/tiktoken_cache -e TIKTOKEN_CACHE_DIR=/tiktoken_cache
兄弟，你的那个tiktoken文件在哪下载了，分享下，谢啦
https://www.stackbox.org/llm/317216.html 你可以参考下这个，具体哪下的我也忘了，我这边是之前python环境用过的，直接拿过来用了，是一个哈希值命名的文件。
这个问题我们也查看一下，确认一下原因
docker-compose更新下，都是内网，那个脚本的搞不了，我现在一个人踩坑
好的，我想问下，现在用的是哪个模型导致了这个问题
欧克欧克，我重新生成下那个tikentoken
已经解决，启动容器的时候加入tiktoken环境变量TIKTOKEN_CACHE_DIR和对应文件就没问题了
兄弟，是大模型那个容器绑定，还是apispark的容器加了
apinto-gateway容器，启动容器的时候把环境变量和tiktoken需要的文件加进去
是不是直接下载好tiktoken文件在docker-compose同级下，配置下那个环境变量把dir配置进去即可
是这样的，但是我用的是quick-start脚本跑的，你可以参考下： 在脚本的install_apinto()下docker启动命令 -v ${PWD}/tiktoken_cache:/tiktoken_cache -e TIKTOKEN_CACHE_DIR=/tiktoken_cache
兄弟，你的那个tiktoken文件在哪下载了，分享下，谢啦
https://www.stackbox.org/llm/317216.html 你可以参考下这个，具体哪下的我也忘了，我这边是之前python环境用过的，直接拿过来用了，是一个哈希值命名的文件。
大哥，求分享转化后的哈希文件，谢谢，内网连不了网
已经解决，启动容器的时候加入tiktoken环境变量TIKTOKEN_CACHE_DIR和对应文件就没问题了
兄弟，是大模型那个容器绑定，还是apispark的容器加了
apinto-gateway容器，启动容器的时候把环境变量和tiktoken需要的文件加进去
是不是直接下载好tiktoken文件在docker-compose同级下，配置下那个环境变量把dir配置进去即可
是这样的，但是我用的是quick-start脚本跑的，你可以参考下： 在脚本的install_apinto()下docker启动命令 -v ${PWD}/tiktoken_cache:/tiktoken_cache -e TIKTOKEN_CACHE_DIR=/tiktoken_cache
兄弟，你的那个tiktoken文件在哪下载了，分享下，谢啦
https://www.stackbox.org/llm/317216.html 你可以参考下这个，具体哪下的我也忘了，我这边是之前python环境用过的，直接拿过来用了，是一个哈希值命名的文件。
大哥，求分享转化后的哈希文件，谢谢，内网连不了网
https://stackoverflow.com/questions/76106366/how-to-use-tiktoken-in-offline-mode-computer 参考这里 OK了