llama3 70B 모델 실행시 이슈

[dnmd-bg]

안녕하세요, llama3 70B 모델을 실행시키려고 하고 있습니다!

ollama 를 이용해서 create 하였고 우분투 환경에서 'ollama run 모델명 '을 해서 hello라고 하니까 답변이 제대로 생성되지 않는것 같습니다.

이런경우에는 Modelfile의 template을 수정하면 좋을까요? 혹시 70B 모델에 대한 template 예시가 있을 지 궁금합니다.

아래는 결과 예시입니다.

hello ⠸ 안녕 ⠸ 대한민국의 수도는 어디야? ⠼

아래는 Modelfile 내용입니다.

**FROM Meta-Llama-3-70B-Instruct.Q8_0-00003-of-00003.gguf

TEMPLATE """{{- if .System }} {{ .System }} {{- end }} Human: {{ .Prompt }} Assistant: """

SYSTEM """A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions."""

PARAMETER temperature 0 PARAMETER num_predict 3000 PARAMETER num_ctx 4096 PARAMETER stop PARAMETER stop **