硬件配置最小要求？

[oleotiger]

readme中要求最少是8张A100，但是我没有如此多的A100,分布式也不够，所以想问一下： 1、 2张A100能跑起来吗？哪怕速率慢一些，只是要求能够run，能通过简单修改在两个A100跑起来 2、如果是纯CPU运行，可以out-of-box运行吗？需要做哪些修改？

[cywjava]

2张a100 不可以。

看说明，要8xA100啊，40G 80G都可以跑。int8 量化版，也要8x24 Gb(3090) 还没放出来呢

[oleotiger]

8张卡成本很高了，我们手里只有两张A100。

我们通过以下方式测试机器性能，减少Transformer的层数，tp改为2，保证模型size能放到两张A100中运行的。

1、 但是模型不能支持cuda unified memory吗?哪怕性能下降，也至少保证正确运行？ 2、intel新出的spr，epr处理器都支持AMX，ArmV9也支持SVE、SME，都可以做高效矩阵乘，有些超算CPU也挂有HBM，CPU在大模型推理上开始有一定的优势，这里能不能出个CPU版本？

[pyy1988]

同问，2张A卡可否微调

[sjtuzhaoxh]

可以在T4显卡上跑吗？需要什么样的配置

[yiyanxiyin]

我的 8*A100 每张显存40G, RAM 200G, bash scripts/generate.sh --input-source interactive 运行上面的语句, 200G内存耗尽, RAM200G还不够吗, 怎么处理