yuguo

OneFlow 0.8 for DCU (tmp)

1

BASED ON DTK AND ROCM

目前能想到的可以批量出rejected的方法： 1.采用较差的模型生成的anwser作为rejected 2.anwser部分数据集提取摘要作为rejected 想问下你们的rejected部分数据集是怎么生成的，谢谢

add DCU amp in docs

2

add DCU amp in docs

[DCU] new features

2

### PR Category Performance Optimization ### PR Types New features ### Description surpport multiclass_nms3 op for DCU（单测通过） surpport miopen bn for DCU when FLAGS_cudnn_batchnorm_spatial_persistent is 1（test_batch_norm_op/test_batch_norm_op_v2单测通过） surpport gemm fp16 compute...

[DCU] New features for LLM

1

PR Category Performance Optimization PR Types New features Description 支持flash attention（mha，gqa前反向，单测通过） 支持a8w8相关算子（单测通过） 支持quant_linear相关算子（单测通过） 支持fused rope相关算子（单测通过） 支持multiclass_nms3 op（单测通过） 支持batch norm调用miopen（FLAGS_batch_norm_use_miopen=1使能，v1，v2单测通过） 支持gemm fp16计算类型（FLAGS_gemm_use_half_precision_compute_type=1使能）

[DCU] LLM train surpport bf16

1

### PR Category Performance Optimization ### PR Types New features ### Description LLM训练支持bf16