hahali-li

Results 4 comments of hahali-li

> > 我们对接dify使用比较流畅了 api在长问题中有可能core dumped 参考 [#505](https://github.com/kvcache-ai/ktransformers/issues/505) 其它体验都还正常 > > ![Image](https://github.com/user-attachments/assets/05596957-6c14-4219-9907-f8639f152515) > > 😋😋😋 > > 你好,你们dify上的api接口怎么填写的,方便指导一下吗,是 用的dify上OpenAI-API-compatible接口吗? 你好大佬这个是怎么连接自己的模型的,我在本地部署的ktransformers的deepseek可以被openwebui访问,但是到了这里下面的模型和新增模型都找不到我的模型,这是我连接的配置图 ![Image](https://github.com/user-attachments/assets/17a23e8b-41af-4085-bbfd-c2296c9f7213)

![Image](https://github.com/user-attachments/assets/e485bc34-0517-4cde-9149-95e3151688fe)终端跳出的好像是ktransformers给的回应,这是怎么回事呢,我的ktransformers是本地conda部署的,dify是docker部署的

> > ![Image](https://github.com/user-attachments/assets/e485bc34-0517-4cde-9149-95e3151688fe)终端跳出的好像是ktransformers给的回应,这是怎么回事呢,我的ktransformers是本地conda部署的,dify是docker部署的 > > 没啥问题 dify为了验证api是否可用会直接测试回应 等他回复完成应该就行了 ![Image](https://github.com/user-attachments/assets/3757317c-7433-418b-b683-39fb71e0f8b2)我在后续调用出现了疑问,因为列表中没有我的模型,我使用添加模型显示没有找到模型我的运行指令中有指定名称--model_name Deepseek-V3:671B,想问这个是如何连接的呢

> > > > ![Image](https://github.com/user-attachments/assets/e485bc34-0517-4cde-9149-95e3151688fe)终端跳出的好像是ktransformers给的回应,这是怎么回事呢,我的ktransformers是本地conda部署的,dify是docker部署的 > > > > > > > > > 没啥问题 dify为了验证api是否可用会直接测试回应 等他回复完成应该就行了 > > > > > > ![Image](https://github.com/user-attachments/assets/3757317c-7433-418b-b683-39fb71e0f8b2)我在后续调用出现了疑问,因为列表中没有我的模型,我使用添加模型显示没有找到模型我的运行指令中有指定名称--model_name Deepseek-V3:671B,想问这个是如何连接的呢 > > 他都是遵循的openai的标准 model也是 你调用openai的任何一个model都是它...