本地部署 modelscope llm 时，为什么只取message的第0条消息？

[zhangsibo1129]

为什么只取第0条消息，而不是把所有消息整合成 raw_prompt

    def _chat_no_stream(self,
                        messages: List[Dict],
                        stop: Optional[List[str]] = None,
                        **kwargs) -> str:
        # The ModelScopeLLM only supports str inputs?
        prompt = messages[0]['content']


        if self.custom_chat and self.model.chat:
            response = self.model.chat(

https://github.com/modelscope/modelscope-agent/blob/439a27fdbc013cd1bac052de37f76966d9bea1fe/modelscope_agent/llm/modelscope.py#L98

[zhaihailong]

我也遇到了这个问题，bot.run('')里的信息没有传给模型

[zzhangpurdue]

你用的是哪个模型进行推理的？

[zzhangpurdue]

我也遇到了这个问题，bot.run('')里的信息没有传给模型

你的模型是哪个？

[mushenL]

@zzhangpurdue 您好，关于本地部署modelscope llm的方案，建议您参考docs/local_deploy.md这个文档来进行部署，这个使用的是modelscope_agent/llm/openai.py进行构建的，modelscope_agent/llm/modelscope.py属于较早版本内容，近期没有维护计划，建议参考文档使用agent的最新的本地部署方案

[zhangsibo1129]

@zzhangpurdue 您好，关于本地部署modelscope llm的方案，建议您参考docs/local_deploy.md这个文档来进行部署，这个使用的是modelscope_agent/llm/openai.py进行构建的，modelscope_agent/llm/modelscope.py属于较早版本内容，近期没有维护计划，建议参考文档使用agent的最新的本地部署方案

modelscope_agent/llm/modelscope.py 这条路线后面还维护吗？

[zzhangpurdue]

在维护，modelscope上的llm可以用本地部署的方式部署起来，按照上面的方法可以跑起来先。 另外，不过如果想走这个modelscope_agent/llm/modelscope.py的话，我需要知道是你选用的哪个模型？我们看看是不是因为没有适配模型导致你的问题

[zhangsibo1129]

modelscope.py 的模型推理方式我在本地修复了，问题出在有些函数没实现+停止条件的一些细节，不是之前提到的message[0]的问题，验证可以得到预期结果，需要的话我可以提个PR @zzhangpurdue

[zzhangpurdue]

欢迎，欢迎

modelscope.py 的模型推理方式我在本地修复了，问题出在有些函数没实现+停止条件的一些细节，不是之前提到的message[0]的问题，验证可以得到预期结果，需要的话我可以提个PR @zzhangpurdue