Langchain-Chatchat icon indicating copy to clipboard operation
Langchain-Chatchat copied to clipboard

wip: support image-bind embedding model

Open YangziyiSDUFE opened this issue 2 years ago • 6 comments
trafficstars

接入ImageBind,并使用它拓展原本的embedding。 ImageBind:facebook提出的多模态模型

YangziyiSDUFE avatar May 12 '23 10:05 YangziyiSDUFE

现在的embedding实现只是在做正确性验证。现在正在做拆分,让image bind变成可配置项。

YangziyiSDUFE avatar May 12 '23 12:05 YangziyiSDUFE

请问可否在myembedding文件中增加作为主函数时的代码,即只运行MyEmbedding.py时对imagebind进行测试

imClumsyPanda avatar May 13 '23 01:05 imClumsyPanda

没问题,我会尽快把相关代码上传。

------------------ 原始邮件 ------------------ 发件人: "imClumsyPanda/langchain-ChatGLM" @.>; 发送时间: 2023年5月13日(星期六) 上午9:18 @.>; @.@.>; 主题: Re: [imClumsyPanda/langchain-ChatGLM] wip: support image-bind embedding model (PR #340)

请问可否在myembedding文件中增加作为主函数时的代码,即只运行MyEmbedding.py时对imagebind进行测试

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

YangziyiSDUFE avatar May 13 '23 01:05 YangziyiSDUFE

非常感谢!

imClumsyPanda avatar May 13 '23 01:05 imClumsyPanda

我做了一些修改,现在你可以在embedding.py下测试ImageBind了。如果报错说找不到ImageBind,可以用export PYTHONPATH来解决。你也可以用test.py来测试ImageBind在整体中的性能,但是这需要你修改vs_store。

YangziyiSDUFE avatar May 26 '23 12:05 YangziyiSDUFE

请问能做一下codeview吗?测试一下这个feature。

YangziyiSDUFE avatar Jun 05 '23 11:06 YangziyiSDUFE