LLMTuner icon indicating copy to clipboard operation
LLMTuner copied to clipboard
verified publisher icon zejunwang1

关于flashattention的问题

Open zeminroot opened this issue 2 years ago • 1 comments

请教一下，您使用的flashattention是什么版本呢？使用的是什么显卡呢？目前由于显卡的问题需要尝试安装1.x版本的flashattention，安装后出现一些列错误。

zeminroot avatar Dec 05 '23 05:12 zeminroot

使用的是 flash attention 2，我在 A5000 显卡上做的测试，flash attention 在 A 系列的显卡上应该都能用

zejunwang1 avatar Dec 05 '23 05:12 zejunwang1