Hao Gu

tokenizer无法加入special token

1

### Is there an existing issue for this? - [X] I have searched the existing issues ### Current Behavior ''' from transformers import AutoTokenizer, AutoModel tokenizer = AutoTokenizer.from_pretrained("/data/chatglm/chatglm2-6b", trust_remote_code=True) encoded_input...

你好，有两个问题 1. 我下载了videochat_instruct_11k.json的数据集，但是比如数据集中的视频名字是这样的：000001_000050/1066682446.mp4，下载的webvid数据，是对应的是1066682446.mp4这个视频吗? 2. 在做模态对齐的时候，video模态的对齐是使用的10M个视频吗，因为我看prepare.md的时候是wget -nc http://www.robots.ox.ac.uk/~maxbain/webvid/results_2M_train.csv

multi doc

3

小白求问，这个支持add多个document，然后进行rag吗？非常感谢非常感谢

lightning run model

1

lightning run model \ --node-rank=0 \ --main-address=172.16.101.5 \ --accelerator=cuda \ --devices=8 \ --num-nodes=2 \ pretrain/tinyllama.py --devices 8 --train_data_dir data/slim_star --val_data_dir data/slim_star 您好，我想请问一下lightning run model是如何启动服务的，并没有看到pytorch lightning有这样的命令啊