刘娟娟
刘娟娟
举个例子。 与知乎爬虫相关的业务逻辑，我放在一个 python 文件中 zhihu_base.py 在这个文件中，我有2个处理， 一个是连接数据库，方便多个函数调用，并读写数据库； 一个是打开一个文件对象，自定义日志记录。 我另外写了多个小的python脚本，直接调用上述 zhihu_base.py 中的函数，设定为操作系统的定时任务来自动执行。 比如： 监控指定话题的热门问题，抓取问题id，每天多次，每隔1~3小时进行一次。 根据上述问题id，抓取问题详情，比如标题，描述，阅读量，关注人数等。每天一次即可。然后顺便把已有问题详情输出一份excel文档。 比如，监控指定大V的关键数据变化。每隔几天一次。 你瞧，共有3个脚本。以不同的频率和逻辑运行。 那么，我关心的问题是： 我在 zhihu_base.py 中所设定的 数据库连接、与文件打开 ，其后的close怎么办？ 目前还不知道答案。也尚未发现异常。只是直觉此为不妥。 观察一下。
python 类文件： 逻辑有调用，放在一个目录下。比如 数据统计，与 爬虫 分开的。爬虫则有独立文件夹。 业务逻辑，根据对象放在一个文件中。比如zhihu相关的业务逻辑，都在zhihu_base.py 中写好。 具体的持续执行调用，则另外写小脚本调用即可，然后用计划任务执行该脚本。 比如知乎的业务逻辑可能分好多个。 日志文件、输出文件、输入文件，则统一放在一个文件夹里，并和爬虫、数据统计平级。 主要是方便查看。每次切换文件夹是很麻烦的事情。
我部署了一组计划任务，在过去几天任其运行。今天需检查下，这些计划任务是否正常执行。 btw，即便我电脑关机，这些计划任务也会自动启动电脑。 1、检查计划任务的执行记录  2、检查输出类（比如把结果写入文档）的文档记录 没有产生文件！！error 3、是不是脚本导产生N个数据库连接，导致运行失败？ 检查数据库连接，至少当前正常的  4、是不是文件路径不对 直接本地搜文件名，未发现文件，error 文件确实未生成 5、检查 log 代码中有log记录相关的代码：  查看日志文件，最后一次更新是假期之前。。 6、直接运行脚本文件（设定为计划任务附加参数A的那个文件），排除代码问题 一个脚本可正常运行，检查输出结果正常  另一个脚本运行后，则一直无反应 添加更多 print 来查找错误，定位追踪错误（之前用了太多try...except 来提高健壮性的结果就是，真的出错时，需要一点点追溯定位。。而没有抛出错误）   emmm 找到大概那块代码有问题了，创建环境到 jupyter...
今天是周一，用 python 脚本跑 xue.cn 数据统计分析的脚本，并输出结果到 excel 时，遇到一个报错：  代码中有以下报错：  Abstract class 'ExcelWriter' with abstract methods instantiatedpylint(abstract-class-instantiated) 这个报警，自从我用 ExcelWriter方法时，一直就有，之前未产生异常。不过这次却直接导致代码没能运行通过。 而在 jupyter lab中，该代码就能直接运行通过，并正确输出结果。 什么原因，尚需探究。先记录下。
编程新手和 print() 的关系，简直一言难尽。 第一句hello world 要用print() 写。当入门后，写了一些持续执行的脚本，需要监控运行状况时，也需要用 print()来打印日志。 后来我开始动用操作系统自带的计划任务来自动执行一些脚本时，连终端打印也没办法即时看了，那么就写文件吧。 我用的是file.open() 来写 .txt 文件。 大佬“QS”指导说，可以用 logging 模块。emm？这是个新鲜东西。我且研究下。 http://www.cnblogs.com/dahu-daqing/p/7040764.html 这篇文章好详细。。python logging模块
用 github 的编辑器来写，写好后再发到其它内容平台即可。
有以下几个方法： 1、获取数据接口API，自己写python脚本，统计并输出结果为excel文件。 我已经打通这个流程，并能输出了。 写好的脚本，目前也能重复用一段时间。 2、更高阶的玩法，是pandas。 被人推荐，网上搜也发现很多人推荐。于是打算研究下。 3、一个神奇的开源工具 相关文章： 再见Excel！我开源了一款与Python深度集成的神器级IDE https://mp.weixin.qq.com/s/fLwbYu18mCGmG_zvIgqU2g 看上去很神奇。 不过2 和3如何取舍呢，先学哪个？
环境： 1、操作系统：win10 2、软件环境：vscode 3、其它：已把本仓库clone到本地。 操作步骤： 1、启动vscode，通过 terminal - new 启动新的 terminal 或者采用快捷键 ctrl +shift + ` 2、进入本地仓库目录 D:\liujuanjuan\vscode\ucanuupnobb 可能使用的命令行：pwd，cd 3、检查更新： git --help git status 4、提交更新 git -A git commit -m...