基于表单的信息抽取模型应该使用VQA的RE模型还是KIE模型呢

[guoxiaoyue111111]

您好，我有两个问题需要请教：

1、基于form表单的信息抽取模型应该使用VQA的RE模型还是KIE模型呢？docs重点介绍了VQA的RE模型，没有找到关于KIE的更多介绍？ 2、VQA的RE模型或KIE模型 有finetune的功能吗？如果有的话，可否提供一下呢（没找到）？谢谢

[471417367]

用表格提取，一劳永逸。

[guoxiaoyue111111]

好的，谢谢~ 我还是想知道VQA的RE模型是否有finetune的功能？

[andyjiang1116]

有的，可以加载预训练进行finetune

[guoxiaoyue111111]

@andyjpaddle 您好，麻烦可以提供一下finetune的代码的链接吗？

[andyjiang1116]

默认配置就是加载nlp的预训练模型，可以直接使用默认配置进行训练哈

[guoxiaoyue111111]

参考资料如下：https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.5/ppstructure/vqa/README_ch.md#2-%E6%80%A7%E8%83%BD

1、启动训练 CUDA_VISIBLE_DEVICES=0 python3 tools/train.py -c configs/vqa/re/layoutxlm.yml 最终会打印出precision, recall, hmean等指标。 在./output/re_layoutxlm/文件夹中会保存训练日志，最优的模型和最新epoch的模型。 2、恢复训练 恢复训练需要将之前训练好的模型所在文件夹路径赋值给 Architecture.Backbone.checkpoints 字段。 CUDA_VISIBLE_DEVICES=0 python3 tools/train.py -c configs/vqa/re/layoutxlm.yml -o Architecture.Backbone.checkpoints=path/to/model_dir

请问，以上的1可以使用自己的数据从头训练，2相当于加载预训练模型进行finetune。这样理解对吗？

[andyjiang1116]

1理解正确 2是断点训练，就是如果你没训完中断了，可以加载checkpoint进行恢复训练

[guoxiaoyue111111]

谢谢回复～

默认配置就是加载nlp的预训练模型，可以直接使用默认配置进行训练哈

这个默认配置在哪呢？

[andyjiang1116]

就是这个配置呀 configs/vqa/re/layoutxlm.yml https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.5/configs/vqa/re/layoutxlm.yml#L23

[guoxiaoyue111111]

明白了，非常感谢！

[sattychen]

用表格提取，一劳永逸。

表格提取的准确度怎样？我用了ppstructure的表格提取，感觉提取结果比较乱，2个框里的都放在一起去了。

[471417367]

自己优化一下表格线的识别吧。不过识别出线后，逻辑处理要求很高

sattychen @.***> 于2022年9月6日周二 14:47写道：

用表格提取，一劳永逸。

表格提取的准确度怎样？我用了ppstructure的表格提取，感觉提取结果比较乱，2个框里的都放在一起去了。

— Reply to this email directly, view it on GitHub https://github.com/PaddlePaddle/PaddleOCR/issues/7042#issuecomment-1237726198, or unsubscribe https://github.com/notifications/unsubscribe-auth/ALQZU4SXIQWLGH2IMTJIN4DV43SHFANCNFSM547XZGUA . You are receiving this because you commented.Message ID: @.***>