JioNLP

JioNLP copied to clipboard

   ——JioNLP：中文 NLP 预处理工具包 A Python Lib for Chinese NLP Preprocessing & Parsing

   ——安装：pip install jionlp

   ——JioNLP在线版 可快速试用部分功能

   ——关注微信公众号 “一个Bug” 可获取最新的 JioNLP 更新，及 NLP 资讯

   ——English version README.md

• 做 NLP 任务，需要清洗、过滤语料？用 JioNLP
• 做 NLP 任务，需要做信息抽取？用 JioNLP
• 做 NLP 任务，需要数据增强？用 JioNLP
• 做 NLP 任务，需要给模型添加偏旁、拼音、词典、繁体转换信息？用 JioNLP

总之，JioNLP 提供 NLP 任务预处理功能，准确、高效、零使用门槛，并提供一步到位的查阅入口。

功能主要包括：文本清洗，删除HTML标签、删除异常字符、删除冗余字符，转换全角字母、数字、空格为半角，抽取及删除E-mail及域名、抽取及删除（手机号、座机号）电话号码、抽取及删除QQ号、抽取及删除括号内容、抽取及删除身份证号、抽取及删除IP地址、抽取及删除URL超链接、抽取及删除货币金额与单位，金额数字转大写汉字，时间语义解析，解析身份证号信息、解析手机号码归属地、解析座机区号归属地、解析手机号码运营商，按行快速读写文件，（多功能）停用词过滤，（优化的）分句，地址解析，新闻地域识别，繁简体转换，汉字转拼音，汉字偏旁、字形、四角编码、五笔编码拆解，基于词典的情感分析，色情数据过滤，反动数据过滤，关键短语抽取，抽取式文本摘要，成语接龙，成语词典、歇后语词典、新华字典、新华词典、停用词典、中国地名词典、中国县级地名变更词典、世界地名词典，时间实体抽取，基于词典的NER，NER的字、词级别转换，NER的entity和tag格式转换，NER模型的预测阶段加速并行工具集，NER标注和模型预测的结果差异对比，NER标注数据集分割与统计，NER实体收集、文本分类标注数据集的分割与统计、回译数据增强、相邻近汉字换位数据增强、同音词替换数据增强、随机增删字符数据增强、实体替换数据增强、公历转农历日期、农历转公历日期

Update 2022-07-03

更新 归一化文本函数族

包括归一化电子邮箱名、IP地址、身份证号、URL、电话号码、QQ号等。

jio.replace_email 归一化文本中的 E-mail 信息为

>>> text = '张晨星[email protected]，现在电子邮件可以带中文了吗？'
>>> res = jionlp.replace_email(text)
>>> print(res)

# '张晨星<email>，现在电子邮件可以带中文了吗？'

Updata 2022-05-26

更新 关键短语抽取

jio.keyphrase.extract_keyphrase 对一篇文本关键短语抽取

>>> import jionlp as jio
>>> text = '浑水创始人：七月开始调查贝壳，因为“好得难以置信” 2021年12月16日，做空机构浑水在社交媒体上公开表示，正在做空美股上市公司贝壳...'

>>> keyphrases = jio.keyphrase.extract_keyphrase(text)
>>> print(keyphrases)
>>> print(jio.keyphrase.extract_keyphrase.__doc__)

# ['浑水创始人', '开始调查贝壳', '做空机构浑水', '美股上市公司贝壳', '美国证监会']

• JioNLP源站-关键短语抽取

Update 2022-07-02

更新 时间语义解析

jio.parse_time 给定时间字符串，解析其为时间戳、时长等。

import time
import jionlp as jio
res = jio.parse_time('今年9月', time_base={'year': 2021})
res = jio.parse_time('零三年元宵节晚上8点半', time_base=time.time())
res = jio.parse_time('一万个小时')
res = jio.parse_time('100天之后', time.time())
res = jio.parse_time('四月十三', lunar_date=False)
res = jio.parse_time('每周五下午4点', time.time(), period_results_num=2)
print(res)

# {'type': 'time_span', 'definition': 'accurate', 'time': ['2021-09-01 00:00:00', '2021-09-30 23:59:59']}
# {'type': 'time_point', 'definition': 'accurate', 'time': ['2003-02-15 20:30:00', '2003-02-15 20:30:59']}
# {'type': 'time_delta', 'definition': 'accurate', 'time': {'hour': 10000.0}}
# {'type': 'time_span', 'definition': 'blur', 'time': ['2021-10-22 00:00:00', 'inf']}
# {'type': 'time_period', 'definition': 'accurate', 'time': {'delta': {'day': 7}, 
# {'type': 'time_point', 'definition': 'accurate', 'time': ['2022-04-13 00:00:00', '2022-04-13 23:59:59']}
#  'point': {'time': [['2021-07-16 16:00:00', '2021-07-16 16:59:59'],
#                     ['2021-07-23 16:00:00', '2021-07-23 16:59:59']], 'string': '周五下午4点'}}}

• 目前支持年月日、时分秒、星期、季节、季度、节日、农历、时间范围、时间段、时间周期、模糊时间代词等解析。
• 支持对未来时间优先选择，参数为ret_future(bool)。
• 关于时间语义解析
• 目前支持的所有 测试用例

完整示例

JioNLP源站-时间抽取与解析

安装 Installation

• python>=3.6 github 版本略领先于 pip

$ git clone https://github.com/dongrixinyu/JioNLP
$ cd ./JioNLP
$ pip install .

• pip 安装

$ pip install jionlp

• 可能存在的问题

# 如安装失败，遇到安装时提示的 pkuseg、Microsoft Visual C++、gcc、g++ 等信息，
# 则说明是 pkuseg 安装失败，需要在相应系统中安装 C 和 C++ 编译器，重新安装。
# pip install pkuseg
# pkuseg 由于久未更新，对 python>=3.9 不兼容，若遇到调用报错，则须退回至 3.8 版本以下的解释器。

使用 Features

• 导入工具包，查看工具包的主要功能与函数注释

>>> import jionlp as jio
>>> jio.help()  # 输入关键词搜索工具包是否包含某功能，如输入“回译”
>>> dir(jio)
>>> print(jio.extract_parentheses.__doc__)

• 在 Linux 系统，可使用以下命令做搜索：

$ jio_help

• 星级⭐代表优质特色功能

1.小工具集 Gadgets

2.数据增强

• 文本数据增强各方法说明

3.正则抽取与解析

4.文件读写工具

5.词典加载与使用

6.实体识别(NER)算法辅助工具集

• 工具包 NER 数据规定说明

7.文本分类

8.情感分析

9.分词

初衷

• NLP 预处理与解析至关重要，且非常耗时。本 lib 能快速辅助完成各种琐碎的预处理、解析操作，加速开发进度，把有限的精力用在思考而非 code 上。
• 如有功能建议、bug，可通过 issue 按模板提出。
• 非常欢迎各位 NLP 开发者和研究者 合作完善本工具包，添加新功能 。

如本工具对您有帮助，请点一下右上角 star ⭐

或者扫码请作者喝杯咖啡 (●'◡'●)，谢谢啦 ~~

• 感谢致谢名单中赞助的小伙伴们，你们的打赏让我更有动力

做 NLP不易，欢迎加入自然语言处理 Wechat 交流群

请扫以下码，或wx搜索公众号“一个Bug”，关注并回复【进群】