Ta Wei (David) Ho

### 1. Issue or feature description Cannot pass through RTX 3090 GPU by k8s-device-plugin(both k8s-only or helm failed.) ### 2. Steps to reproduce the issue My kubeadm version: 1.21.1 My...

Hi 想請教一下在進行微調時是否有需要對資料的格式進行處理，在網路上有看到不同作法，例如： 1. 以alpaca格式，儲存為jsonl形式後，直接作為資料集提供給SFTTrainer進行微調。 2. 將對話以`[INST] {instruction} [/INST] {response} `的形式紀錄，並直接提供給SFTTrainer進行微調。 3. 將(1)(2)的資料集以tokenizer進行處理後，取得`attention_mask`以及`input_ids`後才提供給SFTTrainer進行微調。 想詢問哪一種方式會是比較好的，同時也好奇`attention_mask`在微調過程中的必要性，以目前Hugging Face的SFTTrainer而言，並未有一個參數能指定這個mask的名稱，實在不確定提供了之後是否會被使用，以及這向資訊是否為必要的。 感謝撥冗閱讀，還請不吝賜教。