TNN icon indicating copy to clipboard operation
TNN copied to clipboard

bytes_offset的实际意义

Open kache1995 opened this issue 1 year ago • 1 comments

你好,我想问一下bytes_offset的实际意义: 我转了一个fp16的浮点模型(onnx->tnn); 在本地Ubuntu跑的时候,我打印bytes_offset=0 在手机(armv8a-64)上跑cpu的时候,打印bytes_offset=16。

我李姐bytes_offset应该指的是我一个元素所占字节的大小,看样子似乎不是这样。bytes_offset究竟是一个元素占字节大小,还是只一个元素有多少位?为什么pc上跑bytes_offset=0呢?

还有加tnn的群一直进不去?

kache1995 avatar Mar 28 '23 04:03 kache1995

bytes_offset是内部内存管理的一种机制,有的device下为了效率,内存不是一个tensor一个tensor单独分配而是一起计算出大小后,通过bytes_offset来确定tensor的起始位置。

darrenyao87 avatar May 11 '23 02:05 darrenyao87