ps-rock
Results
2
comments of
ps-rock
我都遇到這個問題，我是用ollama 行llama3.1的 我試過定義 role 是 "You are a helpful assistant of company ABC" 接問用local search 問"你是誰" 時， 會直接回答 I'm an artificial intelligence model known as Llama 但縮短了LOCAL_SEARCH_SYSTEM_PROMPT後(例如 直接刪走Data tables) ，...
如果你是用Ollama的話可以參考這個方法 我找到原來Ollama限制了tokens長度為2000，可以用Modelfile或經API 設定num_ctx的上限(e.g: 12800)，這樣LLM就接收到完整的system prompt了。