Eric Shi

Sublime text4

`run_pt.sh`执行的`run_clm_pt_with_peft.py`，A5500(24G)，感觉就差这3个多G。 ``` torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 3.12 GiB (GPU 0; 23.65 GiB total capacity; 19.90 GiB already allocated; 2.41 GiB free; 19.95 GiB reserved in total...

> 从文档推测，Base的上下文长度是4096么？ 是否能给出不同的模型的上下文长度列表？ Orion-14B-Base Orion-14B-Chat Orion-14B-LongChat: 320k. Orion-14B-Chat-RAG: Orion-14B-Chat-Plugin: Orion-14B-Base-Int4: Orion-14B-Chat-Int4: Orion-14B-LongChat: 320k. --> 这个传入大于4096的Tokens无法使用。

Hope to support BAAI/bge-m3, BAAI/bge-reranker-v2-m3