parkourcx
parkourcx
Thanks for replying. I recently tried to train an ancient Chinese language Albert with my own corpus using google-research Albert, the error occurred when I used it into downstream tasks...
> 312是tiny的配置文件里的一个维度； > 你如果使用xlarge，那么配置文件的名称也要变一变哦，你看看albert_config文件夹下有xlarge的配置文件。 @brightmart 我也遇到了类似的问题，报错信息是： ValueError: Shape of variable bert/pooler/dense/bias:0 ((128,)) doesn't match with shape of tensor bert/pooler/dense/bias ([768]) from checkpoint reader. 我是自己训练了一个中文的预训练albert模型，是直接把预训练albert时的配置文件拿过来用了，我的配置文件内容是： "attention_probs_dropout_prob": 0.1, "directionality": "bidi", "hidden_act": "gelu",...
非常感谢回复！是这样的，我在做一个古汉语断句的程序，这样写是为了标注到每个古汉语的开头中间和结尾，即/S单字成句，/B句子的开始，/M句子的中间，/E句子的结尾，我觉得断句和分词其实都是序列切割问题，所以您的程序经过调整应该可以实现古汉语断句，我这样理解对吗？ 后来我重新调整了语料，发现确实是我的label有问题，现在程序已经没问题了，正在训练模型。 另我还想请教一个问题，如果我用6元标注集的话（S B M E3 E2 E，分别代表单字成句，开始，中间，句子倒数第三个字，倒数第二个字，结尾），除了预处理语料部分要做相应的改变以外，模型部分需要做什么更改吗？ 期待您的回复，祝好！ yongyehuang 于2018年8月4日 周六14:34写道： > @parkourcx > 你好，感谢提问。你的这个问题应该不是句子长度的问题，而是数据处理中每个字的label标注的不对。我记得标注中只用了 s b m e 四种标注分别表示：s- > 单字成词, b- 词首, m-词中,e-词尾；对于 padding 部分统一使用 x 作为标注。从你的报错来看你的...
好的，我会尝试一下，还有刚才您说的“对于 padding 部分统一使用 x 作为标注 ”我不是很明白，我把源程序里的tags=[‘s’,‘b’,‘m’,‘e’,‘x’]改成了tags=[‘S’,‘B’,‘M’,‘E’]，会有什么影响吗？ yongyehuang 于2018年8月4日 周六14:50写道： > @parkourcx 这样的话应该没有什么问题，你可以比较一下这样的标注和只使用 s > b m e 四tag标注的方式看看那个效果好。模型的话这个模型也是比较简单的模型，你也可以尝试一下lstm+crf > 的模型（我自己也没跑过。。。），序列标注中用得还是比较多的。 > > — > You are receiving this because you...
我现在没有x这个tag，结果是不是就完全不对了？而且class_num=5就是因为有5个标签的缘故吧？ yongyehuang 于2018年8月4日 周六14:59写道： > @parkourcx padding > 是为了把每个样本变成一样的长度，对于长度不足的部分序列要使用一个特殊符号进行补充，这个特殊符号都标注为一个新的label，所以你还是使用 > tags=[‘s’,‘b’,‘m’,‘e’,‘x’] 吧。 > > — > You are receiving this because you were mentioned. > Reply to this email directly,...
如果tags这个list里没有x，会有什么影响呢？那么class_num就应该是4而不是5了？现在情况是我预处理的时候只有tags里只写了SBME这四个，我需要加上x再重新处理一遍语料吗？ yongyehuang 于2018年8月4日 周六15:11写道： > @parkourcx 'x' 是在代码处理中加上的tag，不是标注数据中的 tag > > — > You are receiving this because you were mentioned. > Reply to this email directly, view it on...
打扰一下，我想请教一下在求转移状态矩阵之前所设的A = { 'SB': 0, 'SS':0, 'ES':0, 'BE': 0, 'BM': 0, 'ME': 0, 'MM': 0, 'EB':0 } ，这里的SS SB ES等指的是什么意思，我不是很理解 Chen xiang 于2018年8月4日 周六15:17写道： > > 如果tags这个list里没有x，会有什么影响呢？那么class_num就应该是4而不是5了？现在情况是我预处理的时候只有tags里只写了SBME这四个，我需要加上x再重新处理一遍语料吗？ > > yongyehuang...
是这样求转移概率矩阵吗？ Chen xiang 于2018年8月10日 周五20:14写道： > 打扰一下，我想请教一下在求转移状态矩阵之前所设的A = { > > 'SB': 0, > > 'SS':0, > > 'ES':0, > > 'BE': 0, > > 'BM': 0, > > 'ME':...
run Elmo example, using my own data, which is formatted the same as the example data("word[tab]tag" each line) training file: about 130mb; training batch_size: tried from 32 to 512; training...
but I do see a lot of process going on