micronet
micronet copied to clipboard
如何进行定点化测试
大佬您好,感谢您提供的资料! 受益匪浅。 由于刚入门量化工作,想向您请教一下,在用IAO方法进行伪量化训练后,保存的模型实质上还是浮点数。请问如何转为定点数模型?并用定点输入对定点模型进行测试呢? 在bn_folding中没有找到合适的方法,烦请指教!谢谢!
量化部署推理这部分确实还需要完善。三/二值适合在fpga/asic上部署,这部分参数后处理/推理仿真已有。高位量化(8-bit、4-bit)适合在通用cpu/gpu上部署,后续会加入:1、量化推理仿真;2、量化训练后接到推理框架(tensorrt/mnn等)部署。你提到的转换和测试包含其中。