Taiwan-LLM
Taiwan-LLM copied to clipboard
MiuLab
Traditional Mandarin LLMs for Taiwan
Hi, 請問一下在 LM Studio 裡面要怎麼設定才能讓這個模型的輸出效果跟示範網站 twllm.com 有一致的效果？ 我目前是用 M3 Max 48G RAM 的機器在做部署…模型選用的是 audreyt/Taiwan-LLM-13B-v2.0-chat-GGUF 這個版本… 發現同樣的問題…給出的答案跟 twllm.com 的詳細程度差異很大…不曉得是不是設定上造成的差異… 再麻煩你解惑了… 謝謝…
Hi 想請教一下在進行微調時是否有需要對資料的格式進行處理，在網路上有看到不同作法，例如： 1. 以alpaca格式，儲存為jsonl形式後，直接作為資料集提供給SFTTrainer進行微調。 2. 將對話以`[INST] {instruction} [/INST] {response} `的形式紀錄，並直接提供給SFTTrainer進行微調。 3. 將(1)(2)的資料集以tokenizer進行處理後，取得`attention_mask`以及`input_ids`後才提供給SFTTrainer進行微調。 想詢問哪一種方式會是比較好的，同時也好奇`attention_mask`在微調過程中的必要性，以目前Hugging Face的SFTTrainer而言，並未有一個參數能指定這個mask的名稱，實在不確定提供了之後是否會被使用，以及這向資訊是否為必要的。 感謝撥冗閱讀，還請不吝賜教。
這個模型是從llama2 SFT出來的話，看llama2的論文似乎llama2並沒有經過RLHF(llama2-chat有)，請問Taiwan llama2有經過RLHF的訓練嗎？如果沒有的話，有關繁體中文的對齊，可以使用RLHF來進行，而非SFT。至於comparison的資料集，可以考慮用ChatGPT來產生，這樣不知有沒有試過，謝謝 
Hi As I tried with 13b version in TGI, it works fine with bitsandbytes quantization. While trying with AWQ quantization in TGI, it shows error as "Cannot load 'awq' weight,...
請問訓練 (pretraining & fine-tuning)用的程式碼是用哪一套? Axolotl? Llama-factory? 或是其它呢? (huggingface_trl 似乎不支援 pretraining) 可否分享訓練用的設定檔案? 謝謝!
torch.distributed.elastic.multiprocessing.errors.ChildFailedError: ============================================================ axolotl.cli.train FAILED ------------------------------------------------------------
