chat-ollama icon indicating copy to clipboard operation
chat-ollama copied to clipboard

能否支持SQL或者CSV、XLSX等格式

Open heimy2000 opened this issue 10 months ago • 6 comments

能否加入类似csv数据,因为我不太会js,我下面有一个建议,我用python写了一个pandas加载csv,并使用langchain加载了csv,将每一行数据导入为键值对的形式,一行数据就是一个 document(类似于 NoSQL),在每个 document 中加入数据源和行号的信息,作为 meta data 的一部分,返回的是一个列表,每个列表元素是一个 document。下面是一个案例

import pandas as pd 
df = pd.read_csv("/content/Reviews.csv", nrows=10)
df.to_csv("review10.csv", index=False)
loader = CSVLoader(file_path="/content/review10.csv")
data = loader.load()
data

这样我就可以拿到一个文档,然后加入embedding

heimy2000 avatar Apr 20 '24 16:04 heimy2000

前面 #251 已经有这个request了。

meokey avatar Apr 20 '24 18:04 meokey

已经支持了,xlsx 转换为csv 问题不大,但是我试了下效果不好 ,有人找出靠谱的 embedding 方式 可以分享下

hyzx86 avatar Apr 22 '24 15:04 hyzx86

已经支持了,xlsx 转换为csv 问题不大,但是我试了下效果不好 ,有人找出靠谱的 embedding 方式 可以分享下

我也是做研究的,我的计划是提取行和列去检索,这样效果会好一些(我的是python),但也会出现一些问题

heimy2000 avatar Apr 22 '24 15:04 heimy2000

是的 我的测试数据有两种,但是无论哪种都没法直接列出所有符合条件的数据。。要么句4条,要么就7条 估计这玩意儿 不适合直接做数据分析 给它个 表结构 给你写SQL 估计还行

hyzx86 avatar Apr 22 '24 16:04 hyzx86

是的 我的测试数据有两种,但是无论哪种都没法直接列出所有符合条件的数据。。要么句4条,要么就7条 估计这玩意儿 不适合直接做数据分析 给它个 表结构 给你写SQL 估计还行

是不是可以参考这个Pandas Dataframe?

meokey avatar Apr 23 '24 01:04 meokey

是的 我的测试数据有两种,但是无论哪种都没法直接列出所有符合条件的数据。。要么句4条,要么就7条 估计这玩意儿 不适合直接做数据分析 给它个 表结构 给你写SQL 估计还行

是不是可以参考这个Pandas Dataframe?

感谢,我去研究下

hyzx86 avatar Apr 23 '24 02:04 hyzx86