SmoothNLP在领域文本上的短语抽取

本项目使用SmoothNLP中的extract_phrase函数，从百度百科语料和复旦大学新闻语料中抽取领域专有词汇，并进行结果展示。

数据介绍

百度百科语料

本实验采用的数据来源于百度百科,包括经济、娱乐、艺术、社会、体育、历史、生活、科学、自然、地理、文化共11个领域的文本。

复旦大学新闻语料库

本实验采用的数据来源于复旦大学计算机信息与技术系国际数据库中心的复旦文本语料库,包括经济、计算机、环境、体育、艺术、农业、政治、历史、宇航、教育、法律、哲学、军事、文学、交通、医疗、矿业、能源、电子、通信共20个领域的文本。

• 经济领域文本示例：

经国务院批准，《对储蓄存款利息所得征收个人所得税的实施办法》于近日颁布，并将于1999年11月1日起实施，适用20%的比例税率。这表明，根据我国国民经济总量结构和国民收入结构的重大变化，1958年取消的《个人所得税法》免征的利息所得税即将重新征收。
征收利息所得税将有效刺激消费品需求的增加，扩大社会总需求，带动经济增长，并将转变居民的投资观念和消费观念。
第一，在扩大内需方面，征收利息所得税将比降息更加有效。储蓄存款利率下降与社会消费品增长有一定的相关关系：利率下降1个百分点，市场商品销售将增加1.8个百分点。但是1996年5月以来的7次降息实践表明，降息对扩大内需、增加社会投资的作用越来越弱。其主要原因在于：首先，目前不仅城乡居民的即期收入上不去，而且对未来的预期收入也不佳，同时政府机构精简、国有企业改革以及住房、养老、医疗、教育等各种制度的改革，使居民普遍感到预期支出的提高，我国又没有建立起完善的社会保障制度，从而增强了居民的储蓄动机，以增强安全感。其次，由于社会消费需求不足以及私人投资难以获得融资，降息并没有有效增加社会投资需求，但货币供给量增加，大量资金沉淀于银行，货币流通速度降低，造成货币政策作用不明显，一旦经济启动引起资金需求增加，货币流通速度加快，容易形成货币供应过多、经济过热的隐患。有可能隐入“启动—紧缩—再启动—再紧缩”的怪圈。

• 计算机领域文本示例：

加密技术可以使我们在不安全的通道上建立安全的连接。在Domino环境中，为了防止对非授权的数据库、文档或者邮件的存取，除对数据库进行不同级别的授权外（七种级别），我们能够对数据库、对某个库中的一个文档、多个文档或者全部文档进行加密。通过加密的办法，使得系统中的各种数据的安全在三个面上得到保障。加密的办法有多种多样的，但是总离不开加密用的密钥。Domino提供了对称和非对称的两种加密机制。在对称的加密机制中，用户需要在阅读加密文档时具备密钥。我们着重讨论对数据库中的一般文档、对使用指定表单产生的所有文档、文档中的全部字段或部分字段使用指定密钥进行加密、对数据库进行选择算法的加密以及指定用户解密的方法和技术。

领域词汇抽取教程

git clone https://github.com/smoothnlp/DomainWords.git
cd DomainWords
python getDomainWords.py

SmoothNLP函数调用示例

这里的短语抽取过程，用到了SmoothNLP提供的extract_phrase函数，该函数使用词语本身及词语的上下文特征进行短语抽取。

from smoothnlp.algorithm.phrase import extract_phrase
extract_phrase(corpus,top_k,chunk_size,min_n,max_n,min_freq)

参数说明：

corpus:     必需，file open()、database connection或list
top_k:      float or int,表示短语抽取的比例或个数

extract_phrase函数可以基于大量文本实现高效的短语抽取。复旦新闻语料中不同领域文本的短语抽取用时统计如下：

领域词汇效果展示

经过我们的实验分析, 文本量较大(字符数量>10万)能有效抽取出领域词汇. 以下是多个领域的结果展示:

百度百科语料

复旦大学新闻语料

• 经济
  

• 计算机

• 环境

• 体育

• 艺术
  

• 领域词汇获取方式： https://github.com/smoothnlp/DomainWords.git

注：

• 本项目所用数据来自复旦大学计算机信息与技术系国际数据库中心的复旦文本语料库：CSDN分享 直接下载
• 本项目中涉及的领域词汇结果, 已上传到DomainPhrase_Fudan、 DomainPhrase_BaiduBaike文件夹下.
• 本项目所用代码已在SmoothNLP中开源： https://github.com/smoothnlp/SmoothNLP.

看到这里,还有彩蛋0 :)

如果您对NLP感兴趣, SmoothNLP目前招收:

• (实习/全职) NLP算法工程师;
• (实习) 研究型NLP算法实习生 - 发paper的那种哈

cv投递[email protected].