Global-Encoding
Global-Encoding copied to clipboard
lancopku
模型生成的candidate和原文一样
使用的是LCSTS全部的数据集，训练了一个epoch之后，生成的摘要和原文一样……不知道有没有人遇到同样的情况？
我做的一点修改就是不再使用pyrouge，因为pyrouge测不了中文。我改成了用rouge，这个应该没什么影响吧。
数据处理过程应该是没什么问题: (Global-Encoding) [ychuang@gpu18 data]$ cat train.src | head -n 1 新华社受权于18日全文播发修改后的《中华人民共和国立法法》，修改后的立法法分为“总则”“法律”“行政法规”“地方性法规、自治条例和单行条例、规章”“适用与备案审查”“附则”等6章，共计105条。 (Global-Encoding) [ychuang@gpu18 data]$ cat train.tgt | head -n 1 修改后的立法法全文公布 (Global-Encoding) [ychuang@gpu18 data]$ cat test.src | head -n 1 日前，方舟子发文直指林志颖旗下爱碧丽推销假保健品，引起哗然。调查发现，爱碧丽没有自己的生产加工厂。其胶原蛋白饮品无核心研发，全部代工生产。号称有“逆生长”功效的爱碧丽“梦幻奇迹限量组”售价高达1080元，实际成本仅为每瓶4元！ (Global-Encoding) [ychuang@gpu18 data]$ cat test.tgt | head -n 1 林志颖公司疑涉虚假营销无厂房无研发
@OrangeInSouth 那可以請問您模型建立的SRC跟TGT詞典大小是多大嗎? 因為我最近試著用transformer跑LCSTS資料集，但好像都會卡在詞典太大(詞典大小約100萬) 而導致CUDA OUT OF MEMORY，所以想請教一下一般跑LCSTS的時候詞典大小大概會多大 謝謝你的回覆!
