WebSpiderLearnAndTest icon indicating copy to clipboard operation
WebSpiderLearnAndTest copied to clipboard

Published 20 hours ago • verified publisher icon dathlin
→

Metadata

A simple C# web spider application , It catches all the hotels of hangzhou from xiecheng 【一个简单的爬虫程序，提供了一个基础的框架，实现了对AJAX页面爬虫，并测试学习几个例子，详细见README。】

WebSpiderLearnAndTest

A simple C# web spider application , It catches all the hotels of hangzhou from xiecheng

[一个简单的C#怕爬虫软件，提供了一个基础的爬虫框架，实现了携程网上对杭州所有的酒店信息爬取到本地，由于网页信息是ajax分页的，所以使用了phantomjs+Selenium来实现功能]

关键爬虫代码参考以下项目：

  • https://github.com/coldicelion/Simple-Web-Crawler
  • https://github.com/coldicelion/Strong-Web-Crawler

screenshot[以下是示例截图]:

image

Catch pictures from taobao.com [从淘宝获取淘MM照片]

能获取到绝大多数的照片，但是总会有几个会出现异常。【原因来自几张图片原本就是无法显示的】 image

← Metadata

22
Stars
14
Forks
Watchers

Owner

verified publisher icon dathlin

Metadata

A simple C# web spider application , It catches all the hotels of hangzhou from xiecheng 【一个简单的爬虫程序，提供了一个基础的框架，实现了对AJAX页面爬虫，并测试学习几个例子，详细见README。】

Back