sherrytonger
Results
2
comments of
sherrytonger
> Hi, 我们这里的batch主要考虑mapper中一个样本生成多个样本的情况，返回时需要包装成batch，目前只有mapper支持batch功能，且输入batch大小固定为1。确实每个类型的op都应支持batch比较合理，且batch大小的设置应该开放给用户。但是这边用户可能需要考虑一下打batch的开销，如果batch_op的加速不足以cover住这部分开销可能速度会更慢。 batch的开销有什么呢？内存占用？
spark 3