Yu-won Lee

Yes the you should put the `\n` inside the text for my code. That is because I made some other repos for finetuning VLM and its for the code consistency....

Actaully there is a simple explanation about the argument in the README. Some arguments like `adam_beta2` are very basic hyperparameters in deeplearining (I think, it's just for adam). The effect...

Oh sorry. I'm not sure with num_lora_module but to the best of my knowledge, tuning all the layers for lora should be the best. Also, tuning vision and img_projector should...

It should be merged using the scripts. I'll check for it.

방금 확인해봤는데 작동하는데 문제 없는걸 확인하했는데, 혹시 데이터셋 예시를 좀 볼 수 있을까요? deepspeed에서 deadlock이 생기는건가 싶네요. 제가 vram 이슈로 gpu당 1배치 이상은 안돌려봐서 한번 실험해보고 다시 말씀드리겠습니다. 혹시 데이터셋...

아예 에러 로그같은것이 전혀없이 멈춰있는게 deadlock 상태입니다. deepseed에서 모든 gpu마다 같은 cuda graph가 컴파일 되어있어야하기 떄문에 그런 현상이 발생합니다. 혹시 이미지 여러장이 있는 경우가 있고, 어떤 경우에는 아닌 경우가 있는건가요?

forward에서 에러가 나는건가요? 일단 데이터에서 `\n` 식으로 개행문자가 있어야 되긴 했습니다만, 없어 처리할 수도 있게 코드를 업데이트 했습니다. 어디서 에러가 나는지 에러가 어떤 형태인지도 다 함께 첨부해주시면 수월할 것 같습니다.

데이터셋 일부만 예시로 20개정도만 떼서 해보시고, 만약에 거기서는 실행이 된다면 데이터셋 중간에 형태가 다른게 있는걸 겁니다. 여러가지 형태의 데이터로 실험해봤을때, 배치2까지는 멀쩡히 동작했네요 방금. 최근에 다른 모델 때문에 패키지를 조금...

``` accelerate==1.3.0 aiohttp==3.9.5 aiosignal==1.3.1 annotated-types==0.6.0 appdirs==1.4.4 asttokens==2.4.1 async-timeout==4.0.3 attrs==23.2.0 av==13.1.0 bitsandbytes==0.45.2 Brotli==1.0.9 certifi==2024.2.2 charset-normalizer==2.0.4 click==8.1.7 comm==0.2.2 datasets==2.19.2 debugpy==1.6.7 decorator==5.1.1 decord==0.6.0 deepspeed==0.16.3 dill==0.3.8 dnspython==2.7.0 docker-pycreds==0.4.0 docstring_parser==0.16 einops==0.7.0 entrypoints==0.4 exceptiongroup==1.2.0 executing==2.0.1 filelock==3.13.1...

@Lim-Sung-Jun 혹은 Offloading 시엔 극단적으로 많이 느려져서 진행이 안된다고 착각하실 수도 있으니 offlaoding 없이도 해보시면 좋을것같습니다. ``` { "id": "218_jpg", "image": "traffic_od/train/images/218_jpg.rf.3ce9ce7df56d4eca4414ff50185846d0.jpg", "conversations": [ { "from": "human", "value": "\nPresent a...