bolt icon indicating copy to clipboard operation
bolt copied to clipboard

Published 20 hours ago • verified publisher icon huawei-noah

是否支持BGEMM？

Open ThisisBillhe opened this issue 2 years ago • 3 comments

请问二值化的linear和matmul操作是否支持？

ThisisBillhe avatar Jul 15 '22 07:07 ThisisBillhe

目前不支持，这个是cnn网络吗？可以换用等价写法，用conv 1x1，注意输出通道数是32倍数

yuxianzhi avatar Jul 27 '22 03:07 yuxianzhi

目前不支持，这个是cnn网络吗？可以换用等价写法，用conv 1x1，注意输出通道数是32倍数

是linear层。主要是想了解一下transformer二值化的可能性，当然全都换成conv1*1也不是不行。

ThisisBillhe avatar Jul 27 '22 03:07 ThisisBillhe

实现：bolt目前没写1bit linear，可以开issue加，或者临时用替代方案 算法：目前我们这边只有cnn做到1bit，NLP的bert 2w8a

yuxianzhi avatar Jul 27 '22 03:07 yuxianzhi