AwesomeCodingBoy
AwesomeCodingBoy
这个不是PPQ负责处理的问题，这个需要由推理框架负责
看起来openvino不支持动态输入，你需要在导出网络的时候设置其输入输出为静态形状
``` auto tApA = [&](auto... coords) { return cute::elem_less(tAcA(Int{}, coords...), shape(mA)); } ``` Cool
相差巨大听起来确实是...量化没做好
这个是可以的
你可以加我的QQ: 281077761
我们好像还没遇到过这种地方会出错的网络，你有具体的网络结构可以分享给我们吗？
在这里，是否使用对称量化取决于你的硬件和推理框架，不应该取决于ONNX或者PPQ。 所以如果你的硬件使用非对称量化，那么你应当设置RELU的输出为非对称的。 如果你得硬件使用对称量化，那么你应当设置RELU的输出为对称的。
1. 你不能用PPQ完成大语言模型的量化，大语言模型的量化方案与传统模型不同，我们没有在PPQ里实现相关内容。 2. PPLCUDA_INT4_Quantizer已经被移除，因为PPL CUDA后续的开发计划中没有了INT4的开发规划。 3. 3bit, 4bit量化无法用onnx表示。