[Question]: 想问下AquilaDecoderLayer里的传参为什么是float的？这样是用的float类型的attention

[Chenjingliang1]

Description

https://github.com/FlagAI-Open/FlagAI/blob/master/flagai/model/aquila2/modeling_aquila.py#L421 想问下函数参数这里写的是float的原因是啥，为什么不能是half的？ 如果想用half的attention该怎么修改，尝试在这里改输入的数据类型，后面会有数据类型不匹配的报错。

Alternatives

No response

[BAAI-OpenPlatform]

后面会在哪里报错呢

[Chenjingliang1]

后面做matmul会报数据类型不一致的错

后来我改了脚本传入的deepspeed配置文件，里面配了fp16 enable，走了fp16的训练了。

还想问下脚本里 --fp16，这个是代表啥意思？