LinJingOK

Results 6 comments of LinJingOK

> Traceback (most recent call last): File "/XXXXX/ChineseNER-main/data/msra/preprocess.py", line 46, in prep = get_instance(tokenizer, MAX_SEQ_LEN, TAG2IDX, MAPPING, word_enhance) File "/XXXXX/ChineseNER-main/data/base_preprocess.py", line 90, in get_instance instance = cls(tokenizer_type, max_seq_len, tag2idx, mapping,...

> Reference in new issue 我在复现bert_bilstm_crf_adv时遇到下面问题 ValueError: Shape must be rank 2 but is rank 1 for 'task1_msra/crf_layer/Slice_2' (op: 'Slice') with input shapes: [?], [2], [2].能帮我解决一下吗?

> 请问tensorflow的版本是多少的?我看requirements.txt里tensorflow是1.14.0的,但是运行不了,报错ModuleNotFoundError: No module named 'tensorflow.python.platform',我搜了一下有的遇到过类似的情况,说是版本不对应,然后按照别人的版本下了一个1.13.1 ,也是不行。想问一下,这所有的代码都是用的同一个版本的tensorflow么?具体的tensorflow和cuda版本是多少呢? 你好,你环境的问题解决了吗?

报错信息: `During handling of the above exception, another exception occurred: Traceback (most recent call last): File "E:/workspace/PycharmProjects/nlp/EmilyNER/test/ChineseNER-main/main.py", line 212, in singletask_train(args) File "E:/workspace/PycharmProjects/nlp/EmilyNER/test/ChineseNER-main/main.py", line 83, in singletask_train tf.estimator.train_and_evaluate(estimator, train_spec, eval_spec)...

> @LinJingOK 是数据生成有问题,giga和bert是两个不同的tokenizer,前者是词粒度,后者是token粒度。bert模型使用的都是bert tokenizer,所以tfrecord文件是bert_train.tfrecord, 其他非bert模型是giga_train.tfrecord, 词表增强文件会是giga_softword.tfrecord之类的 您好,谢谢,这个问题已经解决,将bert的路径改为绝对路径解决了。目前生成了您所说的bert_train.tfrecord,bert_valid.tfrecord,bert_predict.tfrecord三个文件.我将config.py中的epoch_size设置为1,然后,执行了python main.py --model bert_bilstm_crf --data msr,项目跑起来了,gpu内存利用率也有,但是一次迭代已经训练了两个小时了还没有结束,输出预测信息,终端日志里面除了打印参数信息,剩下的都是warning,没有其他输出,我想问一下这样的训练是正常的吗,大概需要多久才能训练完成?我看您默认的迭代次数是50,您训练多久? ==========TRAIN PARAMS========== {'dtype': tf.float32, 'lr': 5e-06, 'log_steps': 100, 'pretrain_dir': './pretrain_model/ch_google', 'batch_size': 32, 'epoch_size': 1, 'warmup_ratio': 0.1, 'early_stop_ratio': 1,...

> @LinJingOK checkpoint里面会生成对应ckpt文件,可以用tensorboard --logdir ./checkpoint/your_model_path 来查看模型当前训练进展 很抱歉又要打扰您,我训练单任务花费了很长时间,但是程序能够正常结束,并作了evaluation,可以输出预测结果。现在我在跑(bert_bilstm_crf_adv.py)我的命令是python main.py --model bert_bilstm_crf_adv --data msra,msr,参数batch=16,epoch=1,程序正常运行了大概一个小时,程序报错了,生成的文件夹中ner_msra_msr_bert_bilstm_crf_adv中最后个文件是model.ckpt-7500,tensorboard中loss还在2左右,底层错误我先查找了环境的版本,重要的依赖与您的都保持一直了,报错信息如下: `Traceback (most recent call last): File "D:\anaconda\anaconda3\envs\dong_chineseNER\lib\site-packages\tensorflow\python\client\session.py", line 1356, in _do_call return fn(*args) File "D:\anaconda\anaconda3\envs\dong_chineseNER\lib\site-packages\tensorflow\python\client\session.py", line 1341, in...