DataX
DataX copied to clipboard
向db2数据库入库慢
向db2(10.5 fp8)插入数据,无论数据源是csv还是另一个db2库,rdbmswriter速度都很慢,单个channel约1000rec/s. 数据源为db2时, reader端可以跑满千兆带宽,BatchSize=4096,JVM虚机4G, job配置如下:
"writer": {
"name": "rdbmswriter",
"parameter": {
"connection": [
{
"jdbcUrl": "jdbc:db2://********",
"table": ["********"]
}
],
"username": "********",
"password": "********",
"table": "********",
"column": [
"STATIS_MONTH",
"SUBS_ID",
"GRP_SUBS_ID",
"PHONE_NO",
"ISPRIMA",
"START_TIME"
],
"#preSql": [
"delete from ********;"
]
}
}
多channel下,基本上等于1000*n rec/s,开8个channel时,偶发ERROR=-4229,然后批量插入失败, 变为逐条插入. 单个channel时日志中未发现此情况. 插入速度实在是太慢了,求教解决方法.
你好,我的db2 writer报找不到合适的驱动,你那边遇到了没
@lianjie1229 直接下载下来的dataX编译版本中, libs文件夹中已经有db2jcc4.jar了,尝试过在ibm官网下载对应的jdbc,都是一样的,如果没有,您可以单独下载然后改plugin.json
请问写慢的问题解决了没有?我这边也遇到了同样的问题,写的时候是从channel中获得一条record就提交吗?
并没有,可能需要dba去看一下库的配置,我试了目前在用的db2, pg, gbase, 都一样是慢慢的。
大哥,你这个问题解决了不 ?