斩秋
斩秋
Caused by: com.alipay.rdf.file.exception.RdfFileException: 文件头字段校验:文件模板定义的第27个column为保留字段1, 实际文件中为保留字段1 at com.alipay.rdf.file.codec.BodyColumnHorizontalCodec.deserialize(BodyColumnHorizontalCodec.java:87) at com.alipay.rdf.file.function.BodyColumnFunction.horizontal(BodyColumnFunction.java:42) ... 34 more “保留字段1 ” 文件内容中带空格,但是从报错信息没法直观判定
> Caused by: com.alipay.rdf.file.exception.RdfFileException: 文件头字段校验:文件模板定义的第27个column为保留字段1, 实际文件中为保留字段1 > at com.alipay.rdf.file.codec.BodyColumnHorizontalCodec.deserialize(BodyColumnHorizontalCodec.java:87) > at com.alipay.rdf.file.function.BodyColumnFunction.horizontal(BodyColumnFunction.java:42) > ... 34 more > > “保留字段1 ” 文件内容中带空格,但是从报错信息没法直观判定 2.1.2 版本已优化
> Caused by: com.alipay.rdf.file.exception.RdfFileException: Extension name == null > at com.alipay.rdf.file.util.RdfFileUtil.assertTrimNotBlank(RdfFileUtil.java:120) ~[rdf-file-core-2.1.20180727.jar:?] > at com.alipay.rdf.file.loader.ExtensionLoader.getExtension(ExtensionLoader.java:59) ~[rdf-file-core-2.1.20180727.jar:?] > at com.alipay.rdf.file.meta.FileColumnTypeMeta.tryValueOf(FileColumnTypeMeta.java:50) ~[rdf-file-core-2.1.20180727.jar:?] > at com.alipay.rdf.file.loader.TemplateLoader.parseFileColumn(TemplateLoader.java:237) ~[rdf-file-core-2.1.20180727.jar:?] > at com.alipay.rdf.file.loader.TemplateLoader.load(TemplateLoader.java:130) ~[rdf-file-core-2.1.20180727.jar:?] > at...
> 感觉这个没必要做,多大文件算提高呢,比如1T文件,单机再怎么多线程其实提高并不多,还是得集群处理;比如先按照10G拆分,生成分片任务,然后再次递归,对每个10G按照1G,生成分片任务,以此类推,到每片10M终止 逻辑分片的目的就是为了集群处理分片文件, 大文件一分为十只能一个线程做, 十分分一百可以多个线程并发处理,