注意力权重可视化

[ziwang-com]

trafficstars

https://github.com/abetlen/llama-cpp-python/issues/237 你的意思是像这样可视化代币概率吗？

是的。可能吗？理想情况下 - 可以将BertViz https://github.com/jessevig/bertviz 用于LLaMA和衍生模型。

该示例应该适用于我刚刚推送的 v0.1.51。

步骤：

安装 llama-cpp-python >= v0.1.51 启动 Web 服务器--model_alias text-davinci-003 通过 docker 启动 openplayground，并将那里的 IP 地址替换为 llama-cpp-python Web 服务器的本地 IP 地址docker run --rm -e OPENAI_API_KEY=sk-xxx -e OPENAI_API_BASE=http://100.64.159.73:8000/v1 -p 5432:5432 natorg/openplayground 转到您的 Web 浏览器并使用我们刚刚创建的“openai”模型。http://localhost:5432