Reading-Comprehension
Reading-Comprehension copied to clipboard
DMN+ 模型的PyTorch 实现(中文数据集)
阅读理解
机器阅读理解是指让计算机阅读文本,随后让计算机解答与文中信息相关的问题。本代码库用 PyTorch 实现 DMN+ 模型, 以解决AI Challenger 2018 中的观点型问题阅读理解挑战。
依赖
- Python 3.6
- PyTorch 1.0
数据集
我们使用 AI Challenger 2018 中的阅读理解数据集。训练集25万条,验证集3万条,测试集1万条。可以在这里下载:观点型问题阅读理解
数据说明
每条数据以 <问题,篇章,候选答案> 三元组组成。每个问题对应一个篇章(500字以内),以及包含正确答案的三个候选答案。
- 问题:真实用户自然语言问题,从搜索日志中随机选取并由机器初判后人工筛选
- 篇章:与问题对应的文本段,从问题相关的网页中人工选取
- 候选答案:人工生成的答案,提供若干(三个)选项,并标注正确答案
数据样例
数据以JSON格式给出:
{ “query_id”:1, “query”:“维生c可以长期吃吗”, “url”: “https://wenwen.sogou.com/z/q748559425.htm”, “passage”: “每天吃的维生素的量没有超过推荐量的话是没有太大问题的。”, “alternatives”:”可以|不可以|无法确定”, “answer”:“可以” }
训练集给出上述全部字段,测试集不给answer字段。
用法
数据预处理
提取和预处理训练样本:
$ python extract.py
$ python pre_process.py
训练
$ python train.py
Demo
下载 预训练模型 放在 models 目录然后执行:
$ python demo.py
文章:考虑你说的情况一般在月子里最好是少看电视和玩手机,因为手机和电视也有一定的辐射,这样对宝宝不好,尽量让手机、电脑、电视等家电离宝宝的床,另外要注意在月子期间要多补充水分和富含维生素A的食物,如鳝鱼、鸡蛋黄、奶油、动物肝脏、绿色蔬菜等,一般菜肴以汤菜为主,注意保持好卫生休息,搭配好饮食,调养好身体,不要着凉的,祝健康快乐。 提问:月子里可以看电视玩手机吗 备选答案:可以|不行|无法确定 标准答案:可以 电脑抢答:可以 文章:番禺广场(随便坐)——市桥(可以坐)——汉溪长隆(随便站)--大石(可以站)——厦滘(随便挤)-——沥滘(可以凑合挤)——大塘(可以挤)——客村(可以塞)——广州塔(可以顶)——珠江新城(壮士专用)——体育西路(烈士专用)——石牌桥(恩怨解决)——华师、五山(恩怨化解)。 提问:体育西站内有无洗手间 备选答案:没有|有|无法确定 标准答案:有 电脑抢答:有 文章:南京仙林万达茂开业,找不到停车场,然后车子停在路边,还有交警贴罚单,最坑的是我的车子被其他车子堵路,车主都不肯来移车,通知了四辆车主,来了一个车主,我与另一位车主等了两三个小时,才把车子开出去,全家人感慨这边人员整体素质太差,不想再来第二次,吐槽下~~~ 提问:南京仙林万达茂有停车场吗 备选答案:没有|有|无法确定 标准答案:没有 电脑抢答:有 文章:肩周炎吃中药可以好,但中药组方君臣佐使要配方合理,阴阳五行要辨别准确,辨证论治要切中时弊,这样才能收到药到病除之功效。为此, 为了慎重起见,同时也是为了对你负责任,建议你去正规医院看看中医医生,做一些必要的临床检查,如望闻问切检查等,以明确具体症候,方便精准下药。 提问:肩周炎靠吃中药会好吗 备选答案:不会|会|无法确定 标准答案:会 电脑抢答:会 文章:中国民航总局关于不能随身携带和不能托运的物品规定如下: 在中国境内乘坐民航班机禁止随身携带或托运以下物品: 1、枪支、军用或警用械具(含主要零部件)及其仿制品; 2、爆炸物品,如弹药、烟火制品、爆破器材等及其仿制品; 3、管制刀具; 4、易燃、易爆物品,如火柴、打火机(气)、酒精、油漆、汽油、煤油、苯、松香油、烟饼等; 5、腐蚀性物品,如盐酸、硫酸、硝酸、有液蓄电池等; 6、毒害品,如氰化物、剧毒农药等; 7、放射性物品,如放射性同位素等; 8、其他危害飞行安全的物品,如有强烈刺激气味的物品、可能干扰机上仪表正常工作的强磁化物等。在中国境内乘坐民航班机禁止随身携带以下物品,但可放在托运行李中托运。禁止乘机旅客随身携带但可作为行李托运的物品包括: 1、菜刀、水果刀、大剪刀、剃刀等生活用刀; 2、手术刀、屠宰刀、雕刻刀等专业刀具; 3、文艺单位表演用的刀、矛、剑; 4、带有加重或有尖钉的手杖、铁头登山杖,棒球棍等体育用品; 5、以及斧、凿、锤、锥、扳手等工具和其他可以用于危害航空器或他人人身安全的锐器、钝器; 6、超出可以随身携带的种类或总量限制的液态物品。 提问:行李托运酸奶可以吗 备选答案:可以|无法确定|不可以 标准答案:可以 电脑抢答:可以 文章:生下来小腿都是生理性弯曲,睡觉脚都是叉开的啊,学走路时大多都是外八字,也有少部分内八字,都是正常的 提问:脚能叉开睡吗 备选答案:不能|能|无法确定 标准答案:能 电脑抢答:能 文章:促黄体生成素(LH):主要是促使排卵,在FSH的协同作用下,形成黄体并分泌孕激素。血LH的浓度,在排卵前期为2~15mIU/ml,排卵期为30~100mIU/ml,排卵后期为4~10mIU/ml。 提问:排卵过后激素会降低吗 备选答案:无法确定|会|不会 标准答案:会 电脑抢答:会 文章:根据症状患者应是痛风,为蛋白质代谢障碍或者尿酸排泄不足,因此高尿酸血症,因此高尿酸血症,关节疼痛,红肿等建议给以清热泻火,凉血药物如四妙丸,龙胆泻肝丸治疗,并给以降低尿酸药物如秋水仙碱治疗,并建议不要食用海鲜,动物肝脏等,忌烟酒,痛风肿胀建议给以热敷以促进血液循环。 提问:痛风脚肿了能不能冷敷 备选答案:不能|无法确定|能 标准答案:不能 电脑抢答:不能 文章:淘宝网上的一家诺基亚手机专卖店,开店半年多,店主从未卖出过一个手机,但一支支杀伤力不输与军用步枪的气枪却从这个网上店铺以诺基亚手机的名义寄出。 提问:淘宝有汽枪卖吗 备选答案:有|没有|无法确定 标准答案:有 电脑抢答:有 文章:赵丽颖工作室官方微博发表辟谣声明,称相关图片为赵丽颖多年前拍摄电视剧《极品男女》花絮照,合影人士为剧组工作人员。工作室已与相关媒体沟通,要求立即停止谣言的传播和扩散,并请大家不要相信未经查实的报道 提问:赵丽颖有孩子吗 备选答案:无法确定|有|没有 标准答案:无法确定 电脑抢答:没有