DataX icon indicating copy to clipboard operation
DataX copied to clipboard

向db2数据库入库慢

Open BI3QXJ opened this issue 5 years ago • 5 comments

向db2(10.5 fp8)插入数据,无论数据源是csv还是另一个db2库,rdbmswriter速度都很慢,单个channel约1000rec/s. 数据源为db2时, reader端可以跑满千兆带宽,BatchSize=4096,JVM虚机4G, job配置如下:

              "writer": {
                    "name": "rdbmswriter",
                    "parameter": {
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:db2://********",
                                "table": ["********"]
                            }
                        ],
                        "username": "********",
                        "password": "********",
                        "table": "********",
                        "column": [
                            "STATIS_MONTH",
                            "SUBS_ID",
                            "GRP_SUBS_ID",
                            "PHONE_NO",
                            "ISPRIMA",
                            "START_TIME"
                        ],
                        "#preSql": [
                            "delete from ********;"
                        ]
                    }
                }

多channel下,基本上等于1000*n rec/s,开8个channel时,偶发ERROR=-4229,然后批量插入失败, 变为逐条插入. 单个channel时日志中未发现此情况. 插入速度实在是太慢了,求教解决方法.

BI3QXJ avatar Dec 19 '19 09:12 BI3QXJ

你好,我的db2 writer报找不到合适的驱动,你那边遇到了没

lianjie1229 avatar Dec 26 '19 01:12 lianjie1229

@lianjie1229 直接下载下来的dataX编译版本中, libs文件夹中已经有db2jcc4.jar了,尝试过在ibm官网下载对应的jdbc,都是一样的,如果没有,您可以单独下载然后改plugin.json

BI3QXJ avatar Dec 26 '19 06:12 BI3QXJ

请问写慢的问题解决了没有?我这边也遇到了同样的问题,写的时候是从channel中获得一条record就提交吗?

longfeizheng avatar Feb 27 '20 06:02 longfeizheng

并没有,可能需要dba去看一下库的配置,我试了目前在用的db2, pg, gbase, 都一样是慢慢的。

BI3QXJ avatar Feb 28 '20 08:02 BI3QXJ

大哥,你这个问题解决了不 ?

YaoJian001 avatar Dec 07 '22 07:12 YaoJian001