红色暗星
红色暗星
> > 这里讨论AI检索的意思是:我认为joplin本身的模糊查找是一种简单的实现,处于第一代水平,第二代全文检索,第三代AI总结和搜索,实现起来并不是很困难,现在做RAG的项目很多,很多笔记都已实现AI的集成,如Notion,这一点Joplin远远落后的,即便有一些AI插件支持,比如贾维斯效果也很差,所以此处并不是讨论实现AI检索的必要性 > > 抱歉,没看到这个回复。RAG 的项目很多,像 Notion 这种笔记也确实实现了,但就吾辈之前的体验而言,基于向量匹配然后总结的方式与大模型内化知识的差距较大,例如在 GPT-3.5 刚出来时就尝试将整本书这样扔进去(在早期试过 llmindex),但效果不好。虽然但是,也有 ChatPDF 之类的初创公司,也许现在他们真的能让这个想法变得实用,吾辈还没有在笔记上尝试过。 我试过将joplin的笔记导入到anythingllm、maxkb、qivr等等这些RAG项目,进行检索,效果还是不如ChatGPT4强,另外我也搭建了ChatPDF服务,效果还可以,感觉不如ChatGPT
> > 显示的结果有点少,主要还是joplin自身的检索结果本身较差,插件又截取了Top n作为结果输出导致搜索不到想要的内容,现在的情况是要么搜索不到任何一条内容(这种情况占绝大多数),要么手动分词后,搜索出的笔记较多,插件输出结果不全 > > 理解了,也许修改为默认 50 条? 😄这个看你们的最终决定,就我目前的体验来说搜索出的结果是不够的,可能是我把浏览器书签都导入进joplin的原因,这问题的根本原因还是joplin的搜索机制决定的,现在的搜索结果很差,如果搜索出的结果符合用户需求,是否效果会更好些
> > 我试过将joplin的笔记导入到anythingllm、maxkb、qivr等等这些RAG项目,进行检索,效果还是不如ChatGPT4强,另外我也搭建了ChatPDF服务,效果还可以,感觉不如ChatGPT > > 我指的内化的知识是 GPT 能理解的知识,例如一本小说(红楼梦、三体)作为训练数据被编入模型中,就可以回答这本小说相关的问题。 但如果吾辈从外部添加一个文档,即便是 gpt-4o 也无法真正正确理解它。 > > 不求现在的AI能理解,我觉得主要是解决搜索和总结两大问题,在笔记中我个人认为还是搜索更重要些,因为现在的场景是一个正常人类不可能记住笔记中关键字,并一字不差的输入搜索,这点正常人是根本做不到的,一个标点符号差错都会导致搜索不到结果,这样就导致了根本搜索不到内容,引入AI,是因为AI可以通过词语的相关性检索到用户想要的结果,就像我需要搜索“ps快捷键”,但笔记里写的是“Photoshop快捷键备忘”,事实上这里的ps也是指的是photoshop。总结在笔记中是另外的问题,但严重性远不及搜索重要,因为大多数笔记往往是人手动做的高度总结的产物
> > 本身打算用 https://github.com/linonetwo/segmentit?tab=readme-ov-file 这样的本地分词器去实现这些功能,优点是不需要请求网络接口更稳定 > > 已实现,你愿意帮忙在本地安装测试一下效果么?不过这导致安装包从 1.2M 膨胀到了 3.9M,吾辈可能要晚点支持其他语言了(例如 ja) > > 1. 下载 zip > 2. 解压 zip 得到 vsix > 3. 从 vscode 中安装本地 vsix 插件...
> > 本身打算用 https://github.com/linonetwo/segmentit?tab=readme-ov-file 这样的本地分词器去实现这些功能,优点是不需要请求网络接口更稳定 > > 已实现,你愿意帮忙在本地安装测试一下效果么?不过这导致安装包从 1.2M 膨胀到了 3.9M,吾辈可能要晚点支持其他语言了(例如 ja) > > 1. 下载 zip > 2. 解压 zip 得到 vsix > 3. 从 vscode 中安装本地 vsix 插件...
> > 本身打算用 https://github.com/linonetwo/segmentit?tab=readme-ov-file 这样的本地分词器去实现这些功能,优点是不需要请求网络接口更稳定 > > 已实现,你愿意帮忙在本地安装测试一下效果么?不过这导致安装包从 1.2M 膨胀到了 3.9M,吾辈可能要晚点支持其他语言了(例如 ja) > > 1. 下载 zip > 2. 解压 zip 得到 vsix > 3. 从 vscode 中安装本地 vsix 插件...
> > > > 本身打算用 https://github.com/linonetwo/segmentit?tab=readme-ov-file 这样的本地分词器去实现这些功能,优点是不需要请求网络接口更稳定 > > > > > > > > > 已实现,你愿意帮忙在本地安装测试一下效果么?不过这导致安装包从 1.2M 膨胀到了 3.9M,吾辈可能要晚点支持其他语言了(例如 ja) > > > > > > 1. 下载 zip...
> > vscode的这个插件是第一次使用,在配置了token之后就一直是这样了 > > 发布了一个新版本,应该解决了配置修改之后无法立刻应用的问题。 > > [joplin-vscode-plugin-1.5.0.zip](https://github.com/rxliuli/joplin-utils/files/15500296/joplin-vscode-plugin-1.5.0.zip) > > Kapture.2024-05-30.at.21.08.20.mp4 太棒了,确实解决了问题,功能都实现了,效果比以前搜索强好多👍,请问有没有更新chrome浏览器插件的计划呢?