fastNLP
fastNLP copied to clipboard
fastnlp
fastNLP: A Modularized and Extensible NLP Framework. Currently still in incubation.
Hi, I have installed fastNLP as shown in the instructions , however I have this error ImportError: cannot import name 'FitlogCallback' from 'fastNLP' (unknown location) Here is FastNLP-1.0.0a0-py3.9.egg/fastNLP/__init__.py from fastNLP.envs...
尊敬的各位大佬： 我刚开始学习使用FastNLP，在按照贵方提供的“快速入门-序列标注”任务完成了数据载入、模型训练、测试等实验后，在具体模型的使用方面存在困难，特来向各位请教，我具体的求助事项有以下两点： 1、如果我需要增加我自己的命名实体标注样本，应该进行哪些操作？是否有示例代码供参考？（追加说明：我将教程中由WeiboNERPipe获取的数据保存后发现，其中Target列中的数据，其标注的方式为非命名实体标注为0，命名实体为其他数值，但数值之间存在着明显的差异，仅能猜测实际是为了区分不同的实体类型，关于训练集标注的标准或方法能否有对应的说明，或者给我个参考材料也行） 2、教程中训练完成的模型我应当如何使用？例如，我想对如“电力系统主要由发电厂、电力网以及用户三个部分组成。”这个字符串执行NER标注任务，应当如何操作或使用何种函数？方法？对象？（追加说明：我尝试使用FastNLP提供的Predictor对象执行任务，但一直提示“Tensors must have same number of dimensions: got 2 and 3”错误） 还烦请各位大佬拨冗解答，如上述问题不属于贵方解答的范围，还烦请指点相关参考材料的所在位置。 NLP小白跪求解答
您好 我尝试了“快速入门-序列标注”任务里的教程代码，但里面使用的数据集是官方数据集，我刚请问下如果我需要使用我自己的数据集，应该如何编写代码？是否有示例代码供参考？
复现falt，fastnlp用0.5.0版本的，python3.8，torch1.7，ubuntu 出现如下错误： Epoch 1/100: 1%|▌ | 955/95600 [01:01
## Description Add the LSTM-CRF model for Conll2003 dataset at reproduction dir based on fastNLP lib, inspired by the paper https://arxiv.org/pdf/1508.01991.pdf ## Main reason Provide a new demo for how...
你好，在用ConllLoader加载NER数据集的时候，发现会把"#"过滤掉，因为在实际的问句中确实有#号存在的情况，不知道是出于什么原因考虑过滤掉呢？是否可以不过滤，或者支持自定义是否过滤？谢谢。 fastNLP.io.file_reader line 124,125: elif line.startswith('#'): continue
在 StaticEmbedding forward 方法中， ` words = self.drop_word(words) words = self.embedding(words) words = self.dropout(words) ` drop_word 函数有 self.training 的判断，但是 dropout 没有，导致在推断的时候，同样的 query 预测结果不一致问题
代码疑似错误
这个地方貌似要使用的是len() 函数吧, https://github.com/fastnlp/fastNLP/blob/fb645d370f4cc1b00c7dbb16c1ff4542327c46e5/fastNLP/core/sampler.py#L108
BertWordPieceEncoder.index_datasets 一步实现了文本到 token_id 的转换，但是文本原来标签的序列标注标签似乎没有同步转换的对应方法？ 这会导致一个问题，用户只能不用 index_datasets 方法，只能自己写 tokenize + 原始标签到 wordpiece 序列对应的ner标签的方法。 所以，这个BertWordPieceEncoder似乎不太方便用于ner？特别是英文的 wordpiece 的那种？
