Junbum Lee
Junbum Lee
혹시 `pip install -U transformers accelerate` 명령어로 두 패키지 버전을 최신으로 맞추고 한번 다시 실행해서 동일한 에러가 나는지 확인해주시겠어요?
안녕하세요, 아래와 같은 프롬프트를 한번 써보시겠어요? https://chat.koalpaca.com/r/wu8W54G ``` 아래 기사를 요약해줘. ### 기사: ### 요약: ```
데이터셋을 모르는 상황에서는 정확한 원인을 추론하기 어렵습니다. 데이터 예시와 데이터 특성(길이 등)을 함께 적어주셔보시겠어요?
1. Base Model은 어떤것을 사용하셨나요? (ex: beomi/llama-2-ko-7b, EleutherAI/polyglot-ko-5.8b 등) 2. EOS token(ex: ``, `` 등)를 어디에 추가하셨나요? 보통은 아래와 같이 추가해 학습을 진행합니다. ``` System: 질문의 주제를 판단하세요. User: 나는...
만약 똑같이 나오길 원하면 학습 epochs를 더 늘려주거나, 혹은 lr을 높여보시는 것도 방법입니다. 그리고 생성시 temperature를 0.5 이하로 줄여보세요.
1. 혹시 LoRA로 학습을 진행중이신가요? 그렇다면 Full finetune을 해보시는게 좋을 수 있습니다. 2. 베이스 모델로, 이미 파인튜닝된 `beomi/KoAlpaca-Polyglot-12.8B` 대신 `beomi/llama-2-koen-13b` 혹은 `EleutherAI/polyglot-ko-12.8b` 모델와 같이 사전학습된 모델을 사용하시는걸 추천합니다. 현재 Prompt형식을...
혹시 PEFT 모델을 저장하실때 `.save_pretrained` 방법을 사용하셨나요? 해당 방법을 쓰시면 자동으로 adapter_model bin과 config json파일이 모두 생성되어야 합니다.
@lodestone-rock Hi, I'm using this code to use grad accumulation: ```python optimizer = optax.MultiSteps(optimizer, config.accumulate_gradient_steps) ``` Should I use MutliSteps optimizer like this to avoid TPU OOM? ```py with jax.default_device(jax.devices("cpu")[0]):...
안녕하세요, 혹시 실행시 python main.py로 하셨나요? distributed run시에는 torchrun main.py ~로 실행해주셔야 합니다. 혹시 torchrun 실행시에도 동일하다면 실행하신 명령어를 첨부해주세요.
넵 확인 감사합니다 ( ")//