FastBERT icon indicating copy to clipboard operation
FastBERT copied to clipboard

Published 20 hours ago • verified publisher icon autoliuweijie

关于论文中的FLOPs计算

Open bestbzw opened this issue 3 years ago • 1 comments

请问论文中 BERT baseline的FLOPs为什么是21785M？ 按照表一列的内容，BERT的FLOPs不应该是1809.9 * 12 + 46.1 = 21765M吗？

bestbzw avatar Jan 08 '21 08:01 bestbzw

请问论文中 BERT baseline的FLOPs为什么是21785M？ 按照表一列的内容，BERT的FLOPs不应该是1809.9 * 12 + 46.1 = 21765M吗？

作者代码里用thop库算出来的MACS为10892625664, 1MACS=2FLOPS，所以算出来总共的FLOPS=10892625664*2=21785M

Brain97 avatar Jan 30 '21 17:01 Brain97