Harrison

我看到如下代码, 似乎只考虑了单词的频率,而没有结合语境考虑问题. 感觉需要改进算法 def auto_correct( error_phrase ): c1_order, c2_order, c3_order = get_candidates(error_phrase) # print c1_order, c2_order, c3_order if c1_order: return max(c1_order, key=phrase_freq.get ) elif c2_order: return max(c2_order, key=phrase_freq.get ) else:...

### Is there an existing issue for this? - [X] I have searched the existing issues ### Current Behavior 当我试图加载Tokenizer时，使用如下代码： `from transformers import AutoTokenizer, AutoModel` `tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)` 但是出现如下错误：...

ValueError: 130000 is not in list

1

最近在alpaca数据集上，运行预测infer.ipynb, 在model.generate处出现了ValueError: 130000 is not in list， 我已经在ChatGLM-6B这个repo搜寻相关问题 [求大佬看下，微调多轮对话，预测时出现130000 is not in list问题](https://github.com/THUDM/ChatGLM-6B/issues/432) 并按照提示对huggingface下载的模型THUDM/ChatGLM-6B进行了更新，但是依然报130000不存在的错误。 以下是错误信息：  

单卡bert训练出现tensor维度的报错，应该在哪里修改呢？

1

RuntimeError: The expanded size of the tensor (513) must match the existing size (512) at non-singleton dimension 1. Target sizes: [6, 513]. Tensor sizes: [1, 512]

自己复现Seq2Edit效果没有那么好

1

您好，我自己用Transformer架构复现了一个Seq2Edit, 目前仅支持单轮纠正，但是我在训练的时候发现nonkeep标签正确率挺低的，我检查了输入，labels, d_tags都是和原文代码一致的。我觉得很有可能是训练过程中的问题，原文的代码训练过程在Allennlp的高度封装之下，我担心因为训练设置的不同导致性能没那么好。（在自己的数据集上训练，原文代码能达到80%多，但是我自己复现的只有30%多）

SIGHAN14跑不到paper上的结果。

1

您好，您的论文和开源代码给我很大的启发，我没有改动任何代码进行实验，以下是我跑得SIGHAN14的结果，分别是：detection f1 67.42， correction f1 65.73，跟您论文当中的有所区别。在此问一下原因，感谢！

如题，以及如何跑代码中的metrics

在dataset生成的时候，发现src和tgt句子长度必须相等，那么对于不相等的情况呢？ 在语法纠错当中，有很多增删字的操作，那么能否用该模型进行语法纠错呢？

因为中文句子不仅仅是只有中文字符的，还可能会有其它字符。

Hi, thank you for your article and the code, I learned a lot from it. Do you have the code to produce the result by using pre-trained models like BERT,...