deepnlp

deepnlp copied to clipboard

语料预处理问题（时间、数字）

4

您好，目前在学习您的textsum源代码解决文本自动摘要问题。看到您对语料预处理阶段对数字及时间用相应的标签置换，想知道您这么处理的初衷?（因为数字组合使vocab很大吗？）毕竟新闻类对时间、地点的要求性很高，如果直接置换掉，其应用性会降低很多吧。或者说您后续有什么处理，我忽略了，求指教，谢谢！

sunjinguo

[text_sum] 预处理问题

3

你好，作者： 看了你写的text_sum，大致与translate的例子相同，看博客介绍了一些数据的一些预处理，但是我在项目中没有找到。想知道作者具体使用的是那个搜狗数据集，如果方便的话，作者能否将搜狗数据集的预处理这些也开放一下呢？在此感谢作者！！！

ChengjinLi

textsum模型可以用来做分类吗？

1

您好，我最近想用textsum模型来实现一下分类问题，title存放类标签，tag依旧替换，不知道有没有需要注意的地方？对seq2seq模型理解的并不是特别深刻。

kobesxl

POS tagging

1

你好！我想用你的代码训练其他语言的Pos tagger，出现了以下错误。 Epoch: 1 Learning rate: 0.100 Traceback (most recent call last): File "pos_model.py", line 285, in tf.app.run() File "/Users/Altangadas/.pyenv/versions/anaconda3-4.3.0/lib/python3.6/site-packages/tensorflow/python/platform/app.py", line 44, in run _sys.exit(main(_sys.argv[:1] + flags_passthrough)) File "pos_model.py", line...

altangadas

What is development data?

2

What is development data such as "dev" in the code

SnakeHacker

NotFoundError (see above for traceback): Key ner_var_scope/ner_lstm/multi_rnn_cell/cell_0/basic_lstm_cell/bias not found in checkpoint

14

tagger = ner_tagger.load_model(lang = 'zh') 使用命名实体识别模块进行模型加载的时候报错： NotFoundError (see above for traceback): Key ner_var_scope/ner_lstm/multi_rnn_cell/cell_0/basic_lstm_cell/bias not found in checkpoint 说是没有这个bias偏置参数 在加载tensorflow的时候提示： Not found: Key ner_var_scope/ner_lstm/multi_rnn_cell/cell_0/basic_lstm_cell/bias not found in checkpoint Not found: Key...

michaelwangtd

python3.5.2 运行的时候有问题

8

运行这个 python3 test/test_segment.py 会有异常： Traceback (most recent call last): File "test/test_segment.py", line 7, in segList = segmenter.seg(text) File "/usr/local/lib/python3.5/dist-packages/deepnlp/segmenter.py", line 28, in seg model.add((char + "\to\tB").encode('utf-8')) File "/usr/local/lib/python3.5/dist-packages/CRFPP.py", line 101,...

hongyinjie

请问TextCNN（WIP）文本分类的模块在哪里？

2

看readme说明有文档分类的功能，但是在代码里好像没找到textCNN的功能模块，不知道是哪个文件，烦请告知一下，谢谢！

ivanvera

[textsum]Attention heatmap error

2

Compared with the headmap showing in "A Neural Attention Model for Abstractive Sentence Summarization"(A.M.Rush), there are some problems here. A heatmap should map the attention relationship between input and output,...

JuruoMP

small fix

tigerneil