DataX icon indicating copy to clipboard operation
DataX copied to clipboard

Published 20 hours ago • verified publisher icon alibaba

window环境下执行job.json提示配置文件问题

Open QianYS opened this issue 2 years ago • 2 comments

D:\dataX\datax\bin>python datax.py D:\dataX\datax\job\job.json

DataX (DATAX-OPENSOURCE-3.0), From Alibaba ! Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.

2023-02-22 09:11:58.148 [main] WARN ConfigParser - 插件[streamreader,streamwriter]加载失败，1s后重试... Exception:Code:[Common-00], Describe:[您提供的配置文件存在错误信息，请检查您的作业配置 .] - 配置信息错误，您提供的配置文件[D:\dataX\datax\plugin\reader._cassandrareader\plugin.json]不存在. 请检查您的配置文件. 2023-02-22 09:11:59.164 [main] ERROR Engine -

经DataX智能分析,该任务最可能的错误原因是: com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在错误信息，请检查您的 作业配置 .] - 配置信息错误，您提供的配置文件[D:\dataX\datax\plugin\reader._cassandrareader\plugin.json]不存在. 请检查您的配置文件. at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:26) at com.alibaba.datax.common.util.Configuration.from(Configuration.java:95) at com.alibaba.datax.core.util.ConfigParser.parseOnePluginConfig(ConfigParser.java:153) at com.alibaba.datax.core.util.ConfigParser.parsePluginConfig(ConfigParser.java:125) at com.alibaba.datax.core.util.ConfigParser.parse(ConfigParser.java:63) at com.alibaba.datax.core.Engine.entry(Engine.java:137) at com.alibaba.datax.core.Engine.main(Engine.java:204)

QianYS avatar Feb 22 '23 01:02 QianYS

也参考了网上说要删除plugin下的所有._开头的文件 但是还是执行不了

Active code page: 65001 PS D:\dataX\datax\bin> python datax.py D:\dataX\datax\job\job.json

DataX (DATAX-OPENSOURCE-3.0), From Alibaba ! Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.

2023-02-22 09:32:23.694 [main] WARN ConfigParser - 插件[streamreader,streamwriter]加载失败，1s后重试... Exception:Code:[Common-00], Describe:[您提供的配置文件存在错误信息，请检查您的作业配置 .] - 配置信息错误，您提供的配置文件[D:\dataX\datax\plugin\writer._adswriter\plugin.json]不存在. 请检查您的配置文件. 2023-02-22 09:32:24.700 [main] ERROR Engine -

经DataX智能分析,该任务最可能的错误原因是: com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在错误信息，请检查您的 作业配置 .] - 配置信息错误，您提供的配置文件[D:\dataX\datax\plugin\writer._adswriter\plugin.json]不存在. 请检查您的配置文件. at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:26) at com.alibaba.datax.common.util.Configuration.from(Configuration.java:95) at com.alibaba.datax.core.util.ConfigParser.parseOnePluginConfig(ConfigParser.java:153) at com.alibaba.datax.core.util.ConfigParser.parsePluginConfig(ConfigParser.java:134) at com.alibaba.datax.core.util.ConfigParser.parse(ConfigParser.java:63) at com.alibaba.datax.core.Engine.entry(Engine.java:137) at com.alibaba.datax.core.Engine.main(Engine.java:204)

PS D:\dataX\datax\bin> cd D:\dataX\datax\plugin PS D:\dataX\datax\plugin> find ./* -type f -name .er" FIND: Parameter format not correct PS D:\dataX\datax\plugin> find ./ -type f -name ".*er xargs rm -rf FIND: Parameter format not correct PS D:\dataX\datax\plugin> cd D:\dataX\datax\bin PS D:\dataX\datax\bin> python datax.py D:\dataX\datax\job\job.json

DataX (DATAX-OPENSOURCE-3.0), From Alibaba ! Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.

2023-02-22 09:33:24.183 [main] WARN ConfigParser - 插件[streamreader,streamwriter]加载失败，1s后重试... Exception:Code:[Common-00], Describe:[您提供的配置文件存在错误信息，请检查您的作业配置 .] - 配置信息错误，您提供的配置文件[D:\dataX\datax\plugin\writer._adswriter\plugin.json]不存在. 请检查您的配置文件. 2023-02-22 09:33:25.195 [main] ERROR Engine -

经DataX智能分析,该任务最可能的错误原因是: com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在错误信息，请检查您的 作业配置 .] - 配置信息错误，您提供的配置文件[D:\dataX\datax\plugin\writer._adswriter\plugin.json]不存在. 请检查您的配置文件. at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:26) at com.alibaba.datax.common.util.Configuration.from(Configuration.java:95) at com.alibaba.datax.core.util.ConfigParser.parseOnePluginConfig(ConfigParser.java:153) at com.alibaba.datax.core.util.ConfigParser.parsePluginConfig(ConfigParser.java:134) at com.alibaba.datax.core.util.ConfigParser.parse(ConfigParser.java:63) at com.alibaba.datax.core.Engine.entry(Engine.java:137) at com.alibaba.datax.core.Engine.main(Engine.java:204)

PS D:\dataX\datax\bin>

QianYS avatar Feb 22 '23 01:02 QianYS

windows 下需要作如下处理：

--- windows 下 xargs 的简单批处理实现 https://github.com/DoctorLai/BatchUtils/blob/master/xargs.cmd

--- Windows命令-文件操作-删除文件-del https://blog.csdn.net/pwp032984/article/details/125454858

--- datax自检报错 /datax/plugin/reader/._drdsreader/plugin.json]不存在 https://blog.csdn.net/young_0609/article/details/125626419

find ./* -type f -name ".*er" | xargs rm -rf dir /b /s | findstr /r "._" | xargs echo

这是最终执行命令

dir /b /s | findstr /r "._" | xargs del /q

chenming142 avatar May 12 '23 09:05 chenming142