AquialChat example 代码自动退出

[hanswang73]

System Info

lasted FlagAI code

python setup.py install pip3 install jsonlines pip3 install bminf

Information

• [ ] The official example scripts
• [ ] My own modified scripts

Tasks

• [ ] An officially supported task in the examples folder (such as T5/AltCLIP, ...)
• [ ] My own task or dataset (give details below)

Reproduction

在项目的根目录下执行 examples/Aquila/Aquila-chat/README.md 中 “1. 推理/Inference" 一节的示例代码（把代码中的 aquilachat-33b 改为了 aquilachat-7b，把 examples/Aquila/Aquila-chat/cyg_conversation.py 拷贝到项目的根目录下），执行完下面的代码后，程序就莫名退出，用 vs-code 远程debug也是一样，单步就不会执行后面的代码

... state_dict = "./checkpoints_in" model_name = 'aquilachat-7b' loader = AutoLoader( "lm", model_dir=state_dict, model_name=model_name, use_cache=True) ...

Expected behavior

成功执行

[hanswang73]

NVIDIA-SMI 525.105.17 Driver Version: 525.105.17 CUDA Version: 12.0 GPU 0: NVIDIA RTX A5000 (UUID: GPU-2eee88f8-e721-497f-ef3d-5c2e72cc4e78) Python 3.8.10

[hanswang73]

Pytorch 2.0.0

[shuyhere]

您好，可以问一下是怎么修复的嘛，我也遇到这个问题

[ftgreat]

可能是内存爆了。预计会发个版本1.7.2，内存需要32G，显存需要16G。

[hanswang73]

可能是内存爆了。预计会发个版本1.7.2，内存需要32G，显存需要16G。

期待 ... 啥时发？

[ftgreat]

可能是内存爆了。预计会发个版本1.7.2，内存需要32G，显存需要16G。

期待 ... 啥时发？

今天会发。

[BAAI-OpenPlatform]

新版本1.7.2已发

[ftgreat]

如有问题请重新打开issue，谢谢