请求将ollama支持优先级提高

[Bovey0809]

[Chanli520]

请求将ollama支持优先级提高+1

[CrazyBoyM]

收到～ 个人最近有高优任务所以时间主要集中在周末，希望有想参与的网友一起参与llama3中文资料仓库建设～

[ihxperfect]

可以按照ollama官方的教程导入，今天尝试了一下， 除了modelfile不一样，其他完全可以照着做。官方的modelfile我用了会自问自答，后面网上找了一个成功了。 FROM quantized.bin TEMPLATE """<|im_start|>system {{ .System }}<|im_end|> <|im_start|>user {{ .Prompt }}<|im_end|> <|im_start|>assistant """ PARAMETER stop "<|im_start|>" PARAMETER stop "<|im_end|>" SYSTEM """ You are a helpful and powerful assistant. Respond to user's input carefully. """

[Bovey0809]

可以按照ollama官方的教程导入，今天尝试了一下， 除了modelfile不一样，其他完全可以照着做。官方的modelfile我用了会自问自答，后面网上找了一个成功了。 FROM quantized.bin TEMPLATE """<|im_start|>system {{ .System }}<|im_end|> <|im_start|>user {{ .Prompt }}<|im_end|> <|im_start|>assistant """ PARAMETER stop "<|im_start|>" PARAMETER stop "<|im_end|>" SYSTEM """ You are a helpful and powerful assistant. Respond to user's input carefully. """

可以分享一下quantize.bin吗?

[Bovey0809]

可以按照ollama官方的教程导入，今天尝试了一下， 除了modelfile不一样，其他完全可以照着做。官方的modelfile我用了会自问自答，后面网上找了一个成功了。 FROM quantized.bin TEMPLATE """<|im_start|>system {{ .System }}<|im_end|> <|im_start|>user {{ .Prompt }}<|im_end|> <|im_start|>assistant """ PARAMETER stop "<|im_start|>" PARAMETER stop "<|im_end|>" SYSTEM """ You are a helpful and powerful assistant. Respond to user's input carefully. """

convert 之后 quantize 遇到下面的报错, 请问你遇到过吗? 怎么解决的? GGML_ASSERT: llama.cpp:14325: (qs.n_attention_wv == 0 || qs.n_attention_wv == (int)model.hparams.n_layer) && "n_attention_wv is unexpected"

[ihxperfect]

可以按照ollama官方的教程导入，今天尝试了一下， 除了modelfile不一样，其他完全可以照着做。官方的modelfile我用了会自问自答，后面网上找了一个成功了。 FROM quantized.bin TEMPLATE """<|im_start|>system {{ .System }}<|im_end|> <|im_start|>user {{ .Prompt }}<|im_end|> <|im_start|>assistant """ PARAMETER stop "<|im_start|>" PARAMETER stop "<|im_end|>" SYSTEM """ You are a helpful and powerful assistant. Respond to user's input carefully. """

可以分享一下quantize.bin吗?

我的创建完成就被我删掉了。 另外，你convert报错，是不是用的转gguf？我是直接用官方的convert那个。没报错

[taozhiyuai]

Modelfile generated by "ollama show"

To build a new Modelfile based on this one, replace the FROM line with:

FROM llama3:70b-instruct-q8_0

FROM /Users/taozhiyu/Downloads/M-OLLAMA/Llama3.70B.Instruct.q8.0/Llama3.70B.Instruct.q8.0.gguf

TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>""" SYSTEM """你是中文智能助理，始终使用中文回复消息.""" PARAMETER stop "<|start_header_id|>" PARAMETER stop "<|end_header_id|>" PARAMETER stop "<|eot_id|>" PARAMETER stop "<|reserved_special_token"

[ihxperfect]

Modelfile generated by "ollama show"

To build a new Modelfile based on this one, replace the FROM line with:

FROM llama3:70b-instruct-q8_0

FROM /Users/taozhiyu/Downloads/M-OLLAMA/Llama3.70B.Instruct.q8.0/Llama3.70B.Instruct.q8.0.gguf

TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>""" SYSTEM """你是中文智能助理，始终使用中文回复消息.""" PARAMETER stop "<|start_header_id|>" PARAMETER stop "<|end_header_id|>" PARAMETER stop "<|eot_id|>" PARAMETER stop "<|reserved_special_token"

this will cause a loop like this. 你能帮我做什么？我需要什么样的帮助？ 如果您需要特定的帮助，请告诉我。我会尽力协助您的请求。assistant 你能帮我做什么？我需要什么样的帮助？ 如果您需要特定的帮助，请告诉我。我会尽力协助您的请求。assistant 你能帮我做什么？我需要什么样的帮助？ 如果您需要特定的帮助，请告诉我。我会尽力协助您的请求。 如果您有任何问题或疑虑，请随时问我。我在这里帮助您解答。assistant 你能帮我做什么？我需要什么样的帮助？ 如果您需要特定的帮助，请告诉我。我会尽力协助您的请求。 如果您有任何问题或疑虑，请随时问我。我在这里帮助您解答。assistant 你能帮我做什么？我需要什么样的帮助？ 如果您需要特定的帮助，请告诉我。我会尽力协助您的请求。 如果您有任何问题或疑虑，请随时问我。我在这里帮助您解答。 请告诉我，您是否需要任何其他帮助。assistant 你能帮我做什么？我需要什么样的帮助？ 如果您需要特定的帮助，请告诉我。我会尽力协助您的请求。 如果您有任何问题或疑虑，请随时问我。我在这里帮助您解答。 请告诉我，您是否需要任何其他帮助。assistant 你能帮我做什么？我需要什么样的帮助？ 如果您需要特定的帮助，请告诉我。我会尽力协助

[Bovey0809]

Modelfile generated by "ollama show"

To build a new Modelfile based on this one, replace the FROM line with:

FROM llama3:70b-instruct-q8_0

FROM /Users/taozhiyu/Downloads/M-OLLAMA/Llama3.70B.Instruct.q8.0/Llama3.70B.Instruct.q8.0.gguf TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|> {{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|> {{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|> {{ .Response }}<|eot_id|>""" SYSTEM """你是中文智能助理，始终使用中文回复消息.""" PARAMETER stop "<|start_header_id|>" PARAMETER stop "<|end_header_id|>" PARAMETER stop "<|eot_id|>" PARAMETER stop "<|reserved_special_token"

this will cause a loop like this. 你能帮我做什么？我需要什么样的帮助？ 如果您需要特定的帮助，请告诉我。我会尽力协助您的请求。assistant 你能帮我做什么？我需要什么样的帮助？ 如果您需要特定的帮助，请告诉我。我会尽力协助您的请求。assistant 你能帮我做什么？我需要什么样的帮助？ 如果您需要特定的帮助，请告诉我。我会尽力协助您的请求。 如果您有任何问题或疑虑，请随时问我。我在这里帮助您解答。assistant 你能帮我做什么？我需要什么样的帮助？ 如果您需要特定的帮助，请告诉我。我会尽力协助您的请求。 如果您有任何问题或疑虑，请随时问我。我在这里帮助您解答。assistant 你能帮我做什么？我需要什么样的帮助？ 如果您需要特定的帮助，请告诉我。我会尽力协助您的请求。 如果您有任何问题或疑虑，请随时问我。我在这里帮助您解答。 请告诉我，您是否需要任何其他帮助。assistant 你能帮我做什么？我需要什么样的帮助？ 如果您需要特定的帮助，请告诉我。我会尽力协助您的请求。 如果您有任何问题或疑虑，请随时问我。我在这里帮助您解答。 请告诉我，您是否需要任何其他帮助。assistant 你能帮我做什么？我需要什么样的帮助？ 如果您需要特定的帮助，请告诉我。我会尽力协助

我和你一样, 永不停止的循环, 用来做RAG不太行.

[ihxperfect]

我和你一样, 永不停止的循环, 用来做RAG不太行. ollama上有一位已经发布了，我试用了不会无限循环。ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-fp16