kogpt

kogpt copied to clipboard

gpu 메모리 관련

1

안녕하세요. 혹시 학습에 사용된 gpu 총 메모리를 알 수 있을까요? Finetuning을 진행하고 싶은데 40gb A100 *4로는 OOM이 발생하는 것 같습니다.

fmlini251

기존에 있는 예제 코드에서 아래와 같이 일부 수정 해서 동작 했을때 null 값이 나오는 에러가 발생 합니다. import torch from transformers import AutoTokenizer, AutoModelForCausalLM device = torch.device("mps") tokenizer = AutoTokenizer.from_pretrained(...

nuri428

# Changes > Github supports markdown format Latex which doesn't require additional color settings for different github themes. Very useful. - URL Latex -> Markdown Latex # Screenshots ### Before...

yjjem

## 버그 발생 상황 GPU 환경에서 기존의 코드를 동작시킬 때 아래와 같은 에러가 발생합니다. ``` RuntimeError: Expected all tensors to be on the same device, but found at least two...

Se-Hun

안녕하세요, 현재 모델이 CUDA 환경만 가능한 걸로 되어 있고 CPU로는 돌릴 수 없게 되었는데 혹시 M1 gpu (mps)로 돌릴 수 있게 하는 방법은 없나요?

park-jay

새로운 소설, 새로운 소설을 써야한다. 무명작가로 지금까지 순수소설 몇 편을 써봤지만 이렇다 할 재미를 보지 못했다. 아내와 아이들이 나를 쳐다보고 있다. 몇 개의 알바를 다니고 임시직 직장을 다녀 쥐꼬리만 한...

whyleeee