one-api icon indicating copy to clipboard operation
one-api copied to clipboard

如何自定义ollama的服务器地址和端口?

Open srszzw opened this issue 10 months ago • 11 comments

现在的项目好像是写死的http://localhost:11434

srszzw avatar Apr 23 '24 06:04 srszzw

渠道 API 地址,写上你实际的 URL(试试更新到最新版)

image

RexWzh avatar Apr 23 '24 16:04 RexWzh

ollama中, ollama serve之前export OLLAMA_HOST=0.0.0.0:6006可以修改端口,如果使用systemctl,查看/etc/systemd/system/ollama.service文件,

[Service]
Environment="OLLAMA_HOST=0.0.0.0:6006"

可以参考(ollama常见问题解答)[https://github.com/ollama/ollama/blob/main/docs/faq.md]

liuhetian avatar Apr 24 '24 05:04 liuhetian

建议用 docker 部署,不然模型下载路径,GPU 显卡设置,以及启动端口,这些都不能灵活控制。

btw, 这个问题应该去 ollama 项目问,而不是在这里吧。。。

RexWzh avatar Apr 24 '24 06:04 RexWzh

渠道 API 地址,写上你实际的 URL(试试更新到最新版)

image

v0.6.6-alpha.5 没有看到渠道 API 地址,另外要填API Key.

anjia1991 avatar Apr 24 '24 08:04 anjia1991

渠道 API 地址,写上你实际的 URL(试试更新到最新版) image

v0.6.6-alpha.5 没有看到渠道 API 地址,另外要填API Key.

Rex 使用的是 https://github.com/MartialBE/one-api 这个二次开发的版本把,我使用了 链接这个可以接入

xx025 avatar Apr 25 '24 07:04 xx025

建议用 docker 部署,不然模型下载路径,GPU 显卡设置,以及启动端口,这些都不能灵活控制。

btw, 这个问题应该去 ollama 项目问,而不是在这里吧。。。

我问的是ollama已经安装发布好了,one-api中配置ollama的时候,可不可以指定ollama的地址和端口,不是ollama部署问题

srszzw avatar Apr 25 '24 08:04 srszzw

ollama中, ollama serve之前export OLLAMA_HOST=0.0.0.0:6006可以修改端口,如果使用systemctl,查看/etc/systemd/system/ollama.service文件,

[Service]
Environment="OLLAMA_HOST=0.0.0.0:6006"

可以参考(ollama常见问题解答)[https://github.com/ollama/ollama/blob/main/docs/faq.md]

我问的是ollama已经安装发布好了,one-api中配置ollama的时候,可不可以指定ollama的地址和端口,不是ollama部署问题

srszzw avatar Apr 25 '24 08:04 srszzw

ollama中, ollama serve之前export OLLAMA_HOST=0.0.0.0:6006可以修改端口,如果使用systemctl,查看/etc/systemd/system/ollama.service文件,

[Service]
Environment="OLLAMA_HOST=0.0.0.0:6006"

可以参考(ollama常见问题解答)[https://github.com/ollama/ollama/blob/main/docs/faq.md]

我问的是ollama已经安装发布好了,one-api中配置ollama的时候,可不可以指定ollama的地址和端口,不是ollama部署问题

??? 这个问题第一个留言已经回复了啊,“建议更新到新版” 在新建渠道 那里填上,截图都贴给你了。

麻烦认真翻下渠道界面,或者贴截图,你用哪个版本不能改 api 链接的?

RexWzh avatar Apr 25 '24 09:04 RexWzh

@srszzw 问得模棱两可的,所以留言给了两种回答,不知道你是 OneAPI 找不到填写入口,还是 ollama 找不到修改入口。

建议表述清楚点,按 Issue 自带模板认真填一下:节约别人时间也是节约你的时间

RexWzh avatar Apr 25 '24 09:04 RexWzh

渠道 API 地址,写上你实际的 URL(试试更新到最新版) image

v0.6.6-alpha.5 没有看到渠道 API 地址,另外要填API Key.

Rex 使用的是 https://github.com/MartialBE/one-api 这个二次开发的版本把,我使用了 链接这个可以接入

@RexWzh 我尝试了v0.65和v0.6.6-alpha.6,的one-api都没有填写入口。引用里指出的二次开发版本是有的,所以麻烦下次带上新版本的链接,谢谢帮助!

anjia1991 avatar Apr 25 '24 23:04 anjia1991

官方镜像也可以通过设置代理解决,参考: image 在oneapi镜像中调本地部署的ollama

TroiiF avatar May 06 '24 07:05 TroiiF