feapder

feapder copied to clipboard

1.7.9无法指定类型创建爬虫

5

>feapder create -s first_spider 3 usage: feapder [-h] [-p] [-s] [-i] [-t] [-init] [-j] [-sj] [-c] [--params] [--setting] [--host] [--port] [--username] [--password] [--db] feapder: error: unrecognized arguments: 3

fgetwewr

启动会导致CPU暴涨

1

我有一台2核4G的服务器，当我在setting设置爬虫并发数为10的时候，cpu瞬间100%,这是正常的吗？但内存没有明显的变化

johnck

1.76版本的时候发现这个问题 但忘记怎么解决了 现在1.79还遇到这个问题 在setting里面 # # 设置代理 PROXY_EXTRACT_API = "http://webapi.http.zhimacangku.com/getip?num=2&type=1&pro=&city=0&yys=0&port=1&time=1&ts=0&ys=0&cs=0&lb=1&sb=0&pb=4&mr=1&regions=" # 代理提取API ，返回的代理分割符为\r\n PROXY_ENABLE = True 这里num为1 在spider文件里 自定义配置 __custom_setting__ = dict( SPIDER_THREAD_COUNT=1, SPIDER_SLEEP_TIME=[1, 3], SPIDER_MAX_RETRY_TIMES=10, ITEM_FILTER_ENABLE=True, # item 去重...

ddzyx

import feapder from feapder.network.proxy_pool import ProxyPool from feapder import Request from datetime import date from feapder.db.mysqldb import MysqlDB import time, re from utils.tengxunCos import tengxunCos from utils.langconv import * proxy_pool...

ddzyx

诸如pyinstaller打包后，工作目录发生变化，使用os.mkdir()只能创建一级目录，导致系统无法找到指定的路径的问题  如图，feapder尝试使用os.mkdir()从 ```C:\\Users\\sjtum\\AppData\\Local\\Temp\\_MEI233402``` 创建 ```C:\\Users\\sjtum\\AppData\\Local\\Temp\\_MEI233402\\feapder\\network\\proxy_file``` 导致错误 当然还是建议能不在本地建立缓存https://docs.python.org/3/library/tempfile.html

Shurelol

能否实现打开本地html文件并解析的功能？

5

大佬的parse解析函数写的很棒，很适合小白分析网页数据并定位节点。 但每次都需要向网站发送request，然后根据网站回传的response进行解析，有些网站又做了反爬处理，时不时就弹验证，需要手动处理。实际上，小白写代码时需要不停的获取response（也就是网站的html文件）来编写代码，那就考虑把网站的html保存到本地，然后调用feapder处理，查看了说明文档和网上的实例，都没提及这点，所以想请教大佬该怎么操作？谢谢！

iptag

在windows下出现了TypeError: can't pickle _thread.lock objects

1


guyan-slh

批次爬虫获取redis中的任务时一直阻塞，任务存在就是不去执行，重新执行采集程序又正常了

3


JeffreyLiuJunJie

**Is your feature request related to a problem? Please describe.** A clear and concise description of what the problem is. Ex. I'm always frustrated when [...] **Describe the solution you'd...

yuzhegan

1、MongoDB 批量更新代码。 2、Redis Hvals 命令返回哈希表所有的值。

chang-xiao-feng