glide-the
glide-the
运行出现相同的情况 cd node_modules/ rm -rf node-sync-ipc-nwjs/ cd node-sync-ipc/ cnpm install cd .. cp -rf node-sync-ipc node-sync-ipc-nwjs
I feel like I can use this to rewrite the langchain to the act structure, and wrapping it with the JSON structure would be more accurate https://github.com/1rgs/jsonformer
dev-llmf分支查看项目启动参数models/loader/args.py
can you print log file
> > > 通过分析程序源码，发现是在流式输出时，__next__函数中，q.get被阻塞了，但不知道阻塞的原因是什么呢？ > > > > > > 最新版代码中应该已经删掉这部分代码了 > > 我确实发现最新的代码已经有变化了，但在windows中，使用最新的代码后仍然会出现这样的情况。 最新这段代码已经被删除，如果还出现，这个阻塞的问题，您需要检查代码版本了 > 通过分析程序源码，发现是在流式输出时，__next__函数中，q.get被阻塞了，但不知道阻塞的原因是什么呢？
https://python.langchain.com/en/latest/modules/prompts.html 参考官网对prompts的定义
这是因为目前master对每个checkpoint兼容不同，建议参考dev_llm分支，此分支抽象了checkpointloader
> @glide-the 你好，看了下代码，有点看不懂，按照dev-llm分支加载别的模型具体操作是啥啊 doc有个启动选项的文档，哪里可以看看
> @glide-the 最终会选择接入某个llama模型到master吗。为了本地运行节省vram，要么用ggml，要么用gptq。这两个技术和glm，moss目前都不兼容。感觉国产llm在压缩技术上有点脱节，只有int4/int8量化。 版本迭代应该需要一段时间，目前这个项目的设计架构还在完善当中