spiders icon indicating copy to clipboard operation
spiders copied to clipboard

去哪儿

Open YuQuankun opened this issue 5 years ago • 7 comments

请问去哪儿网的代码爬取的是全部机票数据还是部分的呢?数据存储在数据库中吗?

YuQuankun avatar Jun 17 '20 01:06 YuQuankun

看qunar.py文件下的调用,抓取什么时段和什么地点的机票要自己填,当然,你也可以自己加点代码,抓取所有地点的机票信息。数据我没存储,我只打印了,要存储在哪里,需要自己加代码。

selfshore avatar Jun 17 '20 13:06 selfshore

好的,多谢了

YuQuankun avatar Jun 18 '20 04:06 YuQuankun

请问那些js文件是怎么弄的? 求教。比如知乎里的temp.js。你是如何看出来需要用js加密的

sunjiantiancai avatar Jun 19 '20 04:06 sunjiantiancai

抓包  断点 跟栈 ,搜索参数或者看initiator产生过程,然后打断点跟栈,一步一步调试。

------------------ 原始邮件 ------------------ 发件人: "sunjiantiancai"<[email protected]>; 发送时间: 2020年6月19日(星期五) 中午12:10 收件人: "selfshore/spiders"<[email protected]>; 抄送: "T"<[email protected]>;"Comment"<[email protected]>; 主题: Re: [selfshore/spiders] 去哪儿 (#2)

请问那些js文件是怎么弄的? 求教。比如知乎里的temp.js。你是如何看出来需要用js加密的

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

selfshore avatar Jun 19 '20 04:06 selfshore

大佬就是腾讯验证码以顺丰官网为例那个,我去顺丰官网找不到滑块验证码啊(我比较菜)要去哪个地方求大佬指明方向

dcL1996blip avatar Jul 03 '20 06:07 dcL1996blip

在顺丰查询快递的网址,https://www.sf-express.com/cn/sc/dynamic_function/waybill/#search/bill-number

selfshore avatar Jul 03 '20 06:07 selfshore

谢谢大佬,感谢分享。

------------------ 原始邮件 ------------------ 发件人: "typhoon"<[email protected]>; 发送时间: 2020年7月3日(星期五) 下午2:48 收件人: "selfshore/spiders"<[email protected]>; 抄送: "。"<[email protected]>;"Comment"<[email protected]>; 主题: Re: [selfshore/spiders] 去哪儿 (#2)

在顺丰查询快的的网址,https://www.sf-express.com/cn/sc/dynamic_function/waybill/#search/bill-number

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

dcL1996blip avatar Jul 03 '20 06:07 dcL1996blip