DataX
DataX copied to clipboard
Add third-party plug-in folder and Transformer UDF instruction document.
添加了 local_storage 文件夹,其中 local_storage/transformer 可专门用来放置第三方及自定义的 Transformer UDF,同时添加了使用文档。
说明:
源码中 TransformerRegistry 第 47-104 行的代码中已经实现了从local_storage/transformer 延迟加载第三方 Transformer 的功能,是一种更加优雅加载第三方或自定义 Transformer UDF 的方式,提供一份文档,并推荐这样使用。
同时修复了加载用户使用的 Transformer 方法名的日志输出格式, 因为 functionNames 已经是 List,调用默认的 toString 方法输出后本身已经带有中括号[],可以不用重复输出中括号。
自定义在transformer在多任务下,报错:[Description:[Transformer name has existed]]
有四个任务,每个任务好像去初始化一下我自定义的transformer,第一个任务会初始化transformer成功,但是后面三个任务都会初始化失败。 但是流程还是走下去了,只是我四个任务的意义就没有了,因为都是在用一个transformer处理数据。速度还是慢了 请问有什么解决办法吗?
我的transforms是放置在\datax\local_storage\transformer文件夹下,属于运行时加载的那种。没有直接写死注册到TransformerRegistry