Open-LLM-VTuber
Open-LLM-VTuber copied to clipboard
[GET HELP] Error in conversation chain: list index out of range
Error in conversation chain: list index out of range 我使用的是第三方的OpenAI,是否支持?
这个方法,只是解决了回复空值的问题,但没有根源上解决问题,问的问题一直都是空值,一直没有回复 https://github.com/Open-LLM-VTuber/Open-LLM-VTuber/pull/184
如果你用的是 basic_memory_agent 并且传入的是 openai 的调用。 可以手动对AsyncOpenAI,AsyncStream, 调用进行测试。类似这样: 填入第三方的 base url 和 api
self.client = AsyncOpenAI(
base_url=base_url,
api_key=llm_api_key,
)
self.client = OpenAI
stream: AsyncStream[
ChatCompletionChunk
] = await self.client.chat.completions.create(
messages=messages_with_system,
model=self.model,
stream=True,
temperature=self.temperature,
)
async for chunk in stream:
if chunk.choices[0].delta.content is None:
chunk.choices[0].delta.content = ""
print chunk.choices[0].delta.content
如果有回复就可以考虑把原项目里的 config 的 base_url 平替掉
如果不支持这样的调用,那么就自己写一个转发函数然后把 openai_compatible_llm.py 里的 chat_completion 的返回给替换掉