XYZliang
XYZliang
如果你在服务器上进行测试,暂时使用127.0.0.1 服务器在局域网上就内网ip 后期发布要外网使用就需要服务器公网ip对应的域名了,并且需要https
我是在数据库中设置了触发器: 当有新用户进入时,自动将演示会议室设置为这个新用户的关注会议室 同时在小程序删除取消关注、添加关注的按钮 这样所有人都能看到,也不能取消关注这个会议室,效果很完美
> 这个feature被我们落下了。 8月份底的版本估计加不进来,有其他重要的feature在开发和review中。 9月份的版本,我们排一下 还希望尽快支持,昇腾不少 NPU 例如 910系列是不支持 BF16 的 ``` /home/ma-user/anaconda3/envs/lmdeploy/lib/python3.10/site-packages/torch_npu/contrib/transfer_to_npu.py:211: ImportWarning: ************************************************************************************************************* The torch.Tensor.cuda and torch.nn.Module.cuda are replaced with torch.Tensor.npu and torch.nn.Module.npu now.. The torch.cuda.DoubleTensor is replaced with...
应该是自己不小心下错了模型,应该是internlm/internlm2_5-20b-chat,错误下载成了internlm2,经过测试internlm/internlm2_5-7b-chat正常,应该是你们的internlm2还没有对mindsearch场景做微调导致输出存在偏差。我接着尝试internlm/internlm2_5-20b-chat进行量化后使用看看,也给后面的朋友们一个提示,还是得用internlm2_5系类
经过测试,原版的internlm2.5系列模型不会出现错误,但是4bit量化后还是会出现 `ValueError: not enough values to unpack (expected 2, got 1)` 不知道是不是使用lmdeploy量化导致的能力受影响。 ①希望InternLM可以推出internlm2_5-20b-chat官方量化版本并避免这个问题,②或者让lmdeploy支持gguf系类模型(文档没看到相关信息,直接指定路径会报错),③或者让或者可以给出一些官方示例的微调文件,方便大家对模型再次微调,甚至是对其他第三方模型进行微调
> 请问需要python的哪个版本 我用的是 3.10
I also encountered the problem of Invalid argument: ``` shuzhilian@ARC3060:/etc/modprobe.d$ sudo modprobe -v rtw_8852ce insmod /lib/modules/6.5.0-45-generic/kernel/drivers/net/wireless/realtek/rtw89/rtw89core.ko modprobe: ERROR: could not insert 'rtw_8852ce': Invalid argument ```
你使用别的推理框架,例如mindie,或者vllm-npu去启动openai推理接口,再进行测试不就行了
voidful/albert_chinese_xxlarge等模型也存在一样的问题
感谢对国产化的支持!期待在昇腾系列上的效果,太缺一个高效的推理引擎了