chinese-layoutlm-v2 icon indicating copy to clipboard operation
chinese-layoutlm-v2 copied to clipboard

中文文档理解多模态语言模型,支持多模态文档信息抽取,文档embedding

Results 5 chinese-layoutlm-v2 issues
Sort by recently updated
recently updated
newest added

![image](https://user-images.githubusercontent.com/104956586/197329744-2780545c-aa9b-4a89-afed-0a65b619b50b.png) 您好,我在运行第5个基于实体识别结果的关系预测任务时,用命令python run_xfun_re_predict.py --model_name_or_path ./data/xfund-and-funsd/models/test-re-xfund/checkpoint-10500 --output_dir ./data/xfund-and-funsd/models/test-re-xfund --do_predict --lang zh --warmup_ratio 0.1 --fp16运行时,会报上图错误,请问是什么原因呢?

您好,不好意思,又来请教这个问题! 最近一段研究后,我大致能理解layoutlm的思路。 我还是想请教下关于训练和下游任务的问题 我的下游任务是从文档中抽取信息以及QA问题,如一片论文(是整个论文文档docx)抽取作者,题目等。qa问题(有可能在文档的任意位置) 关于训练方面,我的文档有几百页,但是其中的信息只有个别几页才有,比如说1,5,10页的一部分信息,那我的fine-tuning训练集要怎么构建?是每页都需要转换,还是只有有答案的页才标记(比如说qa任务)。 以及我的下游任务要设计,训练完的模型要怎么应用,我有一个新的文档(整个文档吗?),以及问题,要怎么使用新的文档以及问题作为输入,如果是bert,直接可以通过[cls]question pad [sep] question[sep]来构建下游任务,那如果是新文档,难道我要把整个文档作为输入?这显然不可能。这点非常困扰我。我也考虑过单页拿出来和问题作为输入,但是我不能保证单页一定有对应的输出(即qa问题的答案)。 谢谢

您好,我在使用layoutlmv3模型抽取一些英文发票信息,但是有很多家厂商的发票基本都版式不一样,我想请教您一下大概我每一个厂商需要标注多少张发票呀

非常感谢您的回复!另外,请问自建数据集中图片标签是如何自动生成的呢?是否可以提供源码呢?

尊敬的作者,您好!请问该项工作具体参考的哪篇论文呢?