tico Ag

```sh export VLLM_USE_MODELSCOPE=True python -m vllm.entrypoints.openai.api_server \ --model qwen/Qwen1.5-72B-Chat-GPTQ-Int4 \ --served-model-name Qwen1.5-72B-Chat-Int4 ``` 使用Qwen1.5-72B-Chat-Int4调用就可以了

问题不就是 > > 改下vllm参数，模型输入32K太大了，可以改小点 --tensor-parallel-size 2 --max-model-len 8192 还有些别的参数都可以试下 > > 这样虽然能部署成功，但是这样的接口只能响应 < max-model-len 的请求，这样不是限制了上下文长度吗 问题不是现在显存不足以支持32k上下文的推理么......要不先了解一下vllm？

> No special token is required, just enter the command directly, eg: > > ```python > output = llm.generate("Hi") > ``` 刚试过了，不work 另外vllm回退0.3.3了 目前AWQ的版本 apply_chat_template后的形式work

> 在P40显卡下也是一样的情况，以下是我的实验记录： > > * 不启用fp16，load_in_8bit True bs == 2，占用显存18G左右 > * 不启用fp16，load_in_8bit True bs == 1，占用显存12G左右 > * 不启用fp16，load_in_8bit False bs == 1，RuntimeError: expected scalar type Half but found...

@hiyouga 可以参考：https://github.com/abacusai/smaug/issues/2#issuecomment-2019468927

定义`self.dpo_positive_lambda` ```python elif self.loss_type == "positive": # ref: https://github.com/abacusai/smaug/issues/2#issuecomment-2019468927 losses = -F.logsigmoid(self.beta * logits) - self.dpo_positive_lambda * torch.clamp( reference_chosen_logps - policy_chosen_logps, min=0 ) elif self.loss_type == "peremptory": losses = (...

> I had solved it same err, could u tell us how to solve it?

> I have the same issue, and it is not recognizing the suggested parameter Embeddings.create() got an unexpected keyword argument 'check_embedding_ctx_length' upgrade package and check usage ```python from langchain_openai import...

> 感谢大佬的贡献！看起来你解析了所有markdown并得到了它们需要的材料。暂时不计划合并，考虑到突然莫名其妙多个python文件在仓库里有点儿令其它的贡献人困惑，除非这个模块是我们编译必需的。我建议试试让这个模块进一步做一些实用的用例，例如我们可以加入到CI里，自动化检查是否步骤中出现了未提及的原材料等。或者你还能想到什么用例都可以整整活。现在社区里比较需要的其实是：输入我冰箱里的材料，输出我可以做哪些菜。就是这种功能我不知道好不好加到mkdocs里，还是需要单独出个container。 如果是基于本仓库的食谱实现输入材料，输出可以做哪些菜的话，需要这部分处理出来的数据(如果不依赖第三方且最小资源消耗)，基于p1针对输入的关键词(完全匹配材料+模糊匹配)，检索材料数量重合度最高的食谱(这样≈把数据处理的逻辑集成到项目构建中了) 另外这个环节可以引入tag, 对于匹配出的食谱进行二次筛选

> 另外对于标签的issue [#3](https://github.com/Anduin2017/HowToCook/issues/3) ，我个人建议引入一些ai的因素，但在开始之前我们需要非常严格的定义一份标准，就是哪些要素需要进入tag。例如原材料肯定不太需要tag，除非它太离谱。那么多离谱就需要严格的定义一下。 > > 因为tag毕竟还是方便搜索和索引。 实现都好实现，一半天就写完了，就是确定都要什么，感觉issue收集意见及探讨时延好高哈哈哈哈哈