DataX
DataX copied to clipboard
mongodbreader插件优化
1.原始的切片算法 col.find().skip(skipCount).limit(chunkDocCount).first()没有加过滤条件, 在对大数据量的mongodb表进行切片时,耗时太长。对mongodb的切片算法加上过滤条件 2.重写mongodb的反序列化,原有的方式对于很多mongodb类型处理的不好。 3.增加mongo的登录验证方式 4.新增了batchsize参数,批量读取mongodb表数据 5.设置read preference,优先读取副本 6.增加jsonType参数,可以将mongodb所有数据扫描json,而不是扫描固定的column字段(需求变化频繁的表)
代码准备提交到datax https://github.com/liukunyuan/DataX/blob/master/mongodbreader/doc/mongodbreader.md
大佬给力!原来mongodb的Object类型导出来太难看了,用你这个变成json字符串,很舒服
代码准备提交到datax https://github.com/liukunyuan/DataX/blob/master/mongodbreader/doc/mongodbreader.md
大佬能指导一下mongoReader的使用吗,好困惑。。。。我qq 287167584
代码准备提交到datax https://github.com/liukunyuan/DataX/blob/master/mongodbreader/doc/mongodbreader.md
我看了一下裡面的code,mongodbreader的修改記錄是2017年,這個時候的datax還是會報認證失敗,這個怎麼解決啊