TNN
TNN copied to clipboard
bytes_offset的实际意义
你好,我想问一下bytes_offset的实际意义: 我转了一个fp16的浮点模型(onnx->tnn); 在本地Ubuntu跑的时候,我打印bytes_offset=0 在手机(armv8a-64)上跑cpu的时候,打印bytes_offset=16。
我李姐bytes_offset应该指的是我一个元素所占字节的大小,看样子似乎不是这样。bytes_offset究竟是一个元素占字节大小,还是只一个元素有多少位?为什么pc上跑bytes_offset=0呢?
还有加tnn的群一直进不去?
bytes_offset是内部内存管理的一种机制,有的device下为了效率,内存不是一个tensor一个tensor单独分配而是一起计算出大小后,通过bytes_offset来确定tensor的起始位置。