MOSS issues

求出个量化版的推理示例

8

目前只用了量化版的脚本进行推理，但是不清楚怎么去设置联网 & 插件开关，直接用现有没经过量化的会报错， .index.json没找到

Copilot-X

单张显卡的限制下，MOSS回答类似hello等简单问题最快可以到多少？用的什么卡？

3

如题，希望大佬能解答，目前是3090和3080上一句hello回答1m30s左右

Hdiao112

NameError: name 'autotune' is not defined

12

使用pip 安装 autotune-0.0.3 后仍存在这个问题

nlp-enthusiast

使用moss-moon-003-sft-int8量化模型后会报错 is not a folder containing a `.index.json`

25

整体文件上也查看了，确实是没有xxx.index.json文件。 https://huggingface.co/fnlp/moss-moon-003-sft-int8/tree/main 标准的未量化的。https://huggingface.co/fnlp/moss-moon-003-sft/tree/main内包含有index.json文件。

meishild

在安装triton时老是提示下面两个错误： ERROR: Could not find a version that satisfies the requirement triton (from versions: none) ERROR: No matching distribution found for triton 查了下，网上回答是triton包不支持windows...这个能不能注释一下...或者有没有哪位大神有编译好的whl包？目前只找到适用于python3.10的，这里又要求python3.8

SitaraJin

Tesla P40 报错不支持半精度计算，有什么方法可以在Tesla P40上跑起来的方案吗？

4

有什么方法可以在Tesla P40上跑起来的方案吗？

akdcelcopr77

3090显卡，CUDA11.1版本，单卡运行INT4推理报错

8

3090显卡，CUDA11.1版本，单卡运行INT4推理报错 ![image](https://user-images.githubusercontent.com/131581396/233912435-908fec26-0c3c-428d-bddb-9375d16c567a.png) 是CUDA版本的问题吗？MOSS最低CUDA版本是哪个？

dwq370