mvcrawler

mvcrawler copied to clipboard

动漫网爬虫

有时候想看番剧，由于更新时间的不一致、资源不通，需要在切换到各类网站上搜索。

尝试写一个定向爬取各类网站当日更新的网站；搜索在所有网站上搜索。

收录网站

• www.silisili.me (嘶哩嘶哩)
• www.bimibimi.tv (哔咪哔咪)
• www.5dm.tv ()(由于服务器在境外，访问该网站403,故关闭)
• www.dilidili.name (嘀哩嘀哩)

前端展示

安装

服务器部署

1. go get github.com/yddeng/mvcrawler
2. 配置 conf/conf.toml
3. make 
4. ./start.sh

网页部署 网站部署

目录结构

mvcrawler/
├── app      前端展示页   
│   └── index.html     
├── conf     配置文件
│   |── conf.go       
│   └── conf.toml.template   
├── core     组件
│   ├── analysis    分析器
│   └── downloader  下载器
├── fileSev   文件服务器   
│   ├── conf.toml.template 
│   └── httpSev.go      
├── dhttp     http简单封装
│   ├── hclient.go    
│   └── hserver.go  
├── main      程序入口
│   └── crawler.go 
├── module    爬取模块
│   ├── bimibimi.go
│   └── silisili.go
├── util      工具包
│  
└── README.md

低配版冷热数据库

set数据时
1.将数据保存在缓存中。
2.以一定时间间隔将缓存中的脏数据保存到本地json文件。
3.缓存容量满，根据淘汰算法删除缓存数据并保存到本地。

get数据时
1.在缓存中搜索(没有到2步）
2.查询并读取本地文件(有数据执行set）
3.返回结果

Modele

收录网站：添加网站方法

网站模块注册

更新日志

更新日志

交流反馈

网站收录或建议 提交Issues:Issues