Taiwan-LLM

Taiwan-LLM copied to clipboard

Conversation link: https://chat.twllm.com/r/9x4LuGK ## Error trace > An error occurred with the web search > "Non-zero status code returned while running Add node. Name:'/embeddings/Add_1' Status Message: /onnxruntime_src/onnxruntime/core/providers/cpu/math/element_wise_ops.h:560 void onnxruntime::BroadcastIterator::Append(ptrdiff_t, ptrdiff_t)...

martin0258

模型感覺不錯，但是要是聊天室網站（https://chat.twllm.com/ ）的 UI 本身也是正體中文就更好了。

MuTsunTsai

GGUF

2

I'm trying to run local llm with this model, where can I find the gguf file of this model on huggingface?

DavidWang67

Update README.md

2

ei9

請問可以下載模型?

1

請問可以下載模型? 還是可以到hugging face的網站下載 有需要填個人資料嗎? 謝謝

jasonsu123

目前使用 vllm 的方式運行8B模型 ```bsah export NUM_GPUS=1 export PORT=8000 docker run \ -e HF_TOKEN=$HF_TOKEN \ --gpus all \ -v ~/.cache/huggingface:/root/.cache/huggingface \ -p "${PORT}:8000" \ --ipc=host \ vllm/vllm-openai:v0.4.0.post1 \ --model "yentinglin/Llama-3-Taiwan-8B-Instruct" \...

Hsun1128

請問是否有LLM 3.1的導入計畫? 另外請問是否可以將此模組於商業用途? 謝謝

hugo4004