WEB_KG
WEB_KG copied to clipboard
lixiang0
该项目成功在Win10上部署
成功运行流程及效果图
1.启动MongoDB服务
2.启动neo4j服务
3.浏览器上访问 http://localhost:7474/
显示以下的界面：
用户名和密码与代码中保持一致：auth=("neo4j", "123")
4.启动Pycharm，在终端中输入运行命令，开始运行
注：虽然还是有Warning，但是目前还未影响程序运行。
5.最终效果图，neo4j知识图谱会根据抽取的结果动态更新
注：生成的知识图谱还是有点奇怪，这需要我后续深入研究。
Win10环境配置
前言：所有需要在Windows上的包我都上传到百度网盘上了，有需要的直接下载。
链接：https://pan.baidu.com/s/1buizBSSuT4wIgPUFtUQW9g
提取码：jay1
下面逐步介绍如何展开配置
1.安装pycharm 社区版 + python3.7.8
2.安装MongoDB 3.2.22
MongoDB安装指南
注：记得跟着指南 安装MongoDB服务
3.安装neo4j
neo4j安装指南
注：由指南可知（第一部分）可知，我们需要先安装Java JRE，我安装的是jdk-14.0.2_windows-x64_bin
neo4j-community-4.1.1-windows直接解压到D盘就好了，记得跟着指南启动Neo4j程序（指南的第四部分）
4.pycharm里的包安装
scrapy 1.6.0
pymongo 3.10.1
neo4j 1.7.6
neo4j-driver 1.7.6
最后一个注意事项：WEB_KG-master\baike\spiders\baike.py文件的29行应改为：driver = GraphDatabase.driver("bolt://localhost:7687", auth=("neo4j", "123"), encrypted=False)。 还有该baike.py文件中的logging报错是因为linux和windows的文件夹表示不一样，可以改，也可以直接注释掉。
非常感谢作者开源分享了此工作，希望大家能一起学习，我还有些bug，先告辞了！
@LMY-nlp0701 感谢感谢，一上班看到这个Issue真惭愧，你比我还认真负责。我可以把Issue写进README作为Windows部署参考吧。再次感谢。
我为什么会出现这个问题？——DeprecationWarning: The 'neo4j.v1' package is deprecated, import from 'neo4j' instead from neo4j.v1 import GraphDatabase。求大佬解答
我为什么会出现这个问题？？ — DeprecationWarning：不建议使用“ neo4j.v1”包，请从“ neo4j”导入，而不 要从neo4j.v1 import GraphDatabase。 pip install neo4j 下载neo4j 去掉.v1 使用这个 from neo4j import GraphDatabase
—弃用警告：不建议使用“ neo4j.v1”包，请从“ neo4j”导入，而不 要从neo4j.v1导入GraphDatabase。pip install neo4j 下载neo4j 去掉.v1使用这个来自neo4j导入GraphDatabase
谢谢大佬，但是我去掉.v1之后运行不报错但是啥也爬不到。能解答吗
—弃用警告：不建议使用“ neo4j.v1”包，请从“ neo4j”导入，而不 要从neo4j.v1导入GraphDatabase。pip install neo4j 下载neo4j 去掉.v1使用这个来自neo4j导入GraphDatabase
谢谢大佬，但是我去掉.v1之后运行不报错但是啥也爬不到。能解答吗
cd WEB_KG/baike scrapy crawl baike 以上面这种方式运行，直接python ...这种方式是不行的。
—弃用警告：不建议使用“ neo4j.v1”包，请从“ neo4j”导入，而不 要从neo4j.v1导入GraphDatabase。pipinstall neo4j 下载neo4j 去掉.v1使用这个来自neo4j导入GraphDatabase。
谢谢大佬，但是我去掉.v1之后运行不报错但是啥也爬不到。能解答吗
cd WEB_KG / baike scrapy crawl baike 以上述方式运行，直接python ...这种方式是不行的。
我爬取的东西在neo4j上和上面的一样就是，无法爬取出一个完整的关系网
—弃用警告：不建议使用“ neo4j.v1”包，请从“ neo4j”导入，而不 要从neo4j.v1导入GraphDatabase。pipinstall neo4j 下载neo4j 去掉.v1使用这个来自neo4j导入GraphDatabase。
谢谢大佬，但是我去掉.v1之后运行不报错但是啥也爬不到。能解答吗
cd WEB_KG / baike scrapy crawl baike 以上述方式运行，直接python ...这种方式是不行的。
这个问题是上传neo4j出现的嘛
不会呀
------------------ 原始邮件 ------------------ 发件人: "lixiang0/WEB_KG" <[email protected]>; 发送时间: 2020年9月10日(星期四) 晚上8:56 收件人: "lixiang0/WEB_KG"<[email protected]>; 抄送: "梦开始的地方"<[email protected]>;"Comment"<[email protected]>; 主题: Re: [lixiang0/WEB_KG] 该项目成功在Win10上部署 (#20)
—弃用警告：不建议使用“ neo4j.v1”包，请从“ neo4j”导入，而不 要从neo4j.v1导入GraphDatabase。pipinstall neo4j 下载neo4j 去掉.v1使用这个来自neo4j导入GraphDatabase。
谢谢大佬，但是我去掉.v1之后运行不报错但是啥也爬不到。能解答吗
cd WEB_KG / baike scrapy crawl baike 以上述方式运行，直接python ...这种方式是不行的。
这个问题是上传neo4j出现的嘛
— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.
试下这个 cd WEB_KG/baike
scrapy crawl baike
------------------ 原始邮件 ------------------ 发件人: "lixiang0/WEB_KG" <[email protected]>; 发送时间: 2020年9月9日(星期三) 晚上11:26 收件人: "lixiang0/WEB_KG"<[email protected]>; 抄送: "梦开始的地方"<[email protected]>;"Comment"<[email protected]>; 主题: Re: [lixiang0/WEB_KG] 该项目成功在Win10上部署 (#20)
—弃用警告：不建议使用“ neo4j.v1”包，请从“ neo4j”导入，而不 要从neo4j.v1导入GraphDatabase。pipinstall neo4j 下载neo4j 去掉.v1使用这个来自neo4j导入GraphDatabase。
谢谢大佬，但是我去掉.v1之后运行不报错但是啥也爬不到。能解答吗
cd WEB_KG / baike scrapy crawl baike 以上述方式运行，直接python ...这种方式是不行的。
我爬取的东西在neo4j上和上面的一样就是，无法爬取出一个完整的关系网
— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.
加个QQ或者微信 有的时候可能看不到 不好意思 1069461929 dorian
------------------ 原始邮件 ------------------ 发件人: "lixiang0/WEB_KG" <[email protected]>; 发送时间: 2020年8月15日(星期六) 晚上10:20 收件人: "lixiang0/WEB_KG"<[email protected]>; 抄送: "梦开始的地方"<[email protected]>;"Comment"<[email protected]>; 主题: Re: [lixiang0/WEB_KG] 该项目成功在Win10上部署 (#20)
我为什么会出现这个问题？？ — DeprecationWarning：不建议使用“ neo4j.v1”包，请从“ neo4j”导入，而不 要从neo4j.v1 import GraphDatabase。 pip install neo4j 下载neo4j 去掉.v1 使用这个 from neo4j import GraphDatabase
我去掉.v1之后运行不报错但是上面也不出来
— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.
成功运行流程及效果图
1.启动MongoDB服务
2.启动neo4j服务
3.浏览器上访问 http://localhost:7474/ 显示以下的界面：
4.启动Pycharm，在终端中输入运行命令，开始运行
5.最终效果图，neo4j知识图谱会根据抽取的结果动态更新
Win10环境配置
前言：所有需要在Windows上的包我都上传到百度网盘上了，有需要的直接下载。 链接：https://pan.baidu.com/s/1buizBSSuT4wIgPUFtUQW9g 提取码：jay1
最后一个注意事项：WEB_KG-master\baike\spiders\baike.py文件的29行应改为：driver = GraphDatabase.driver("bolt://localhost:7687", auth=("neo4j", "123"), encrypted=False)。 还有该baike.py文件中的logging报错是因为linux和windows的文件夹表示不一样，可以改，也可以直接注释掉。
非常感谢作者开源分享了此工作，希望大家能一起学习，我还有些bug，先告辞了！
十分感谢！！
跟着做已经基本OK了，但是有一点小错误，就是处理三元组的时候会有错误
--- Logging error ---
Traceback (most recent call last):
File "d:\users\david\appdata\local\continuum\anaconda3\lib\logging_init_.py", line 1028, in emit
stream.write(msg + self.terminator)
UnicodeEncodeError: 'gbk' codec can't encode character '\xb2' in position 176: illegal multibyte sequence
Call stack:
File "d:\users\david\appdata\local\continuum\anaconda3\lib\runpy.py", line 193, in _run_module_as_main
"main", mod_spec)
File "d:\users\david\appdata\local\continuum\anaconda3\lib\runpy.py", line 85, in run_code
exec(code, run_globals)
File "d:\Users\David\AppData\Local\Continuum\anaconda3\Scripts\scrapy.exe_main.py", line 7, in
哈哈看到大家都可以复现成功，我也来试试
@hua7448 把logging相关的都注释掉 哈哈没啥，就是你在定义log name的时候将时间（with “：”）出现在文件路径中。
logfile_name = time.ctime(time.time()).replace(' ', '_').replace(':','_')
将baike.py文件的第13行简单修改下。
This is an automatic reply, confirming that your email was received.I will reply as soon as possible.Thank you.
想问一下大家，怎么修改才能爬取别的数据库啊？ 尝试后发现只修改这一句好像没用start_urls = ['https://baike.baidu.com/item/文汇报']
This is an automatic reply, confirming that your email was received.I will reply as soon as possible.Thank you.
