mlc-llm
mlc-llm copied to clipboard
8gen2数据
这是8gen2处理器数据。运行时gpu占满,话说用的是int8还是多少。他能否运行在npu上?如果能运行在npu上,使用int4量化说不定有更快的速度(第一款npu支持int4的处理器)