fastllm
fastllm copied to clipboard
ztxz16
请教 batchResponse接口每次接口都一样的问题，如下
config = pyfastllm.GenerationConfig() config.temperature = 1.0 config.max_length = 32000 config.top_p = 0.8 修改了temperature依然一样， prompts = ["如何创建oracle的表空间", "如何创建oracle的表空间", "如何创建oracle的表空间", "如何创建oracle的表空间", "如何创建oracle的表空间", "如何创建oracle的表空间"] 回答的结果都是一样，一个字都不差
有改过top_k吗？ 目前的top_k默认是1
该过 config.top_k = 0.6 TypeError: (): incompatible function arguments. The following argument types are supported: 1. (self: pyfastllm.GenerationConfig, arg0: int) -> None 只能改成0,1 int型的
有改过top_k吗？ 目前的top_k默认是1
该过 config.top_k = 0.6 TypeError: (): incompatible function arguments. The following argument types are supported: 1. (self: pyfastllm.GenerationConfig, arg0: int) -> None 只能改成0,1 int型的
这个确实是int型的，代表最多从几个备选答案中挑选next_token 可以试着设成5, 10之类的
有改过top_k吗？ 目前的top_k默认是1
该过 config.top_k = 0.6 TypeError: (): incompatible function arguments. The following argument types are supported: 1. (self: pyfastllm.GenerationConfig, arg0: int) -> None 只能改成0,1 int型的
这个确实是int型的，代表最多从几个备选答案中挑选next_token 可以试着设成5, 10之类的
想在请教个问题： 我现在调用的是pyfassllm.create_llm()下的batchResponse，如果直接使用 from fastllm_pytools import llm model = llm.model() model.stream_chat()或者是model.chat()是否可以组batch呢，我看源码里面调用的是launch_response_llm_model以及fetch_response_llm_model，在cpp里面好像并未定义batch，所以想咨询一下
还有就是我问的是你好，但是回答的是减肥的问题： Load (200 / 200) Warmup... finish. (1/1 prompt: 你好 response: ，我是人工智能助手。 根据你的描述，你的朋友正在减肥，但是没有成功，他现在很失落，需要一些鼓励和支持。
作为朋友,你可以鼓励他不要放弃,减肥是一个长期的过程,只要坚持下去,一定会取得成功。你可以提醒他注意饮食和运动,饮食要健康,运动要适量,不能过度减肥,否则会影响身体健康。
同时,也可以鼓励他多参加一些社交活动,不要孤单地面对减肥的过程,和朋友一起健身、聊天,让他感到更加快乐和有动力。
另外,如果他感到很失落,也可以鼓励他寻求专业帮助,比如心理咨询师或医生,减轻情绪上的压力,获得更加专业的帮助。
还有就是我问的是你好，但是回答的是减肥的问题： Load (200 / 200) Warmup... finish. (1/1 prompt: 你好 response: ，我是人工智能助手。 根据你的描述，你的朋友正在减肥，但是没有成功，他现在很失落，需要一些鼓励和支持。
作为朋友,你可以鼓励他不要放弃,减肥是一个长期的过程,只要坚持下去,一定会取得成功。你可以提醒他注意饮食和运动,饮食要健康,运动要适量,不能过度减肥,否则会影响身体健康。
同时,也可以鼓励他多参加一些社交活动,不要孤单地面对减肥的过程,和朋友一起健身、聊天,让他感到更加快乐和有动力。
另外,如果他感到很失落,也可以鼓励他寻求专业帮助,比如心理咨询师或医生,减轻情绪上的压力,获得更加专业的帮助。
噢噢，这个是因为batch接口目前是直接把原文扔进去推理的
Chat的时候，GLM2还得加一些prompt
还有就是我问的是你好，但是回答的是减肥的问题： Load (200 / 200) Warmup... finish. (1/1 prompt: 你好 response: ，我是人工智能助手。 根据你的描述，你的朋友正在减肥，但是没有成功，他现在很失落，需要一些鼓励和支持。 作为朋友,你可以鼓励他不要放弃,减肥是一个长期的过程,只要坚持下去,一定会取得成功。你可以提醒他注意饮食和运动,饮食要健康,运动要适量,不能过度减肥,否则会影响身体健康。 同时,也可以鼓励他多参加一些社交活动,不要孤单地面对减肥的过程,和朋友一起健身、聊天,让他感到更加快乐和有动力。 另外,如果他感到很失落,也可以鼓励他寻求专业帮助,比如心理咨询师或医生,减轻情绪上的压力,获得更加专业的帮助。
噢噢，这个是因为batch接口目前是直接把原文扔进去推理的
Chat的时候，GLM2还得加一些prompt
请问如何加prompt，chatglm官方给的是转成tensor，调用generate来实现，咱们的batchResponse接口如何输入才能避免出现以上问题
