bilibili-data

哔哩哔哩弹幕网数据爬虫

基于Python3，需要以下库支持:

sudo -H pip install requests pymongo multiprocessing BeautifulSoup4

默认使用了Mongodb存储数据，SQL是坏文明。

BeautifulSoup 用了 lxml 来解析网页，你可能需要安装 lxml 库：
sudo -H pip install lxml
但是 pip 安装 lxml 速度奇慢而且很可能报错，如果你是 Ubuntu 或者 Debian，推荐：
sudo apt-get install python-lxml

如果你是 Windows 用户，请去 这里 下载对应版本的whl来安装

脚本分类

稿件数据结构为：

{
    "aid" : AV号,
    "title" : 标题,
    "subtitle" : 备注,
    "typeid" : 分区,
    "description" : 视频简介,
    "created" : 投稿时间,
    "mid" : UP主id,
    "author" : UP主昵称,
    "copyright" : 原创/搬运,
    "pic" : 封面图,
    "length" : 视频时长,
    "play" : 播放数,
    "review" : 弹幕数,
    "coins" : 硬币数,
    "favorites" : 收藏数,
    "comment" : 评论数,
    "video_review" : 评论数
}

• 由于分区变动原因实际获取到的 typeid 并不只有上表所列的范围。
• Unknow 状态的稿件随机测试的结果应该是搬运状态，有待确认。

评论数据结构为：

{
    "root_str" : "0",
    "content" : {
        "device" : 设备,
        "message" : 评论正文,
        "plat" : 平台,
        "members" : []
    },
    "parent_str" : 评论父楼层,
    "parent" : 评论父楼层,
    "mid" : 用户uid,
    "root" : 0,
    "member" : {
        "uname" : 用户昵称,
        "rank" : "10000",
        "vip" : {……}, vip/大会员相关
        "sign" : 用户签名,
        "sex" : 用户性别,
        "avatar" : 用户头像,
        "DisplayRank" : "0",
        "mid" : 用户uid,
        "level_info" : {
            "current_min" : 1500,
            "current_level" : 现在等级,
            "next_exp" : 距离下一级经验值,
            "current_exp" : 现在经验值
        },
        "nameplate" : {……},
        "pendant" : {……},
        "official_verify" : {……}
    },
    "type" : 1,
    "like" : 点赞数,
    "rpid" : 评论ID,
    "count" : 0,
    "rpid_str" : 评论ID,
    "ctime" : 评论时间,
    "action" : 0,
    "oid" : 评论所属视频,
    "replies" : [],
    "floor" : 评论楼层,
    "rcount" : 0,
    "state" : 0
}

• 设备信息具体对应不确定，仅作参考

弹幕数据结构为：

{
    "aid" : 视频av号, # 并不包含在弹幕文件中
    "cid" : 视频cid, # 并不包含在弹幕文件中
    "time" : 弹幕时间点,
    "mode" : 弹幕模式，
    "font" : 字号大小,
    "color" : 弹幕颜色,
    "date" : 弹幕发送日期,
    "pool" : 弹幕池,
    "hash" : 用户uid的HASH,
    "id" : 弹幕id,
    "text" : 弹幕内容
}

• 未确认其他类型弹幕的具体对应关系

用户空间数据结构为：

{
    "mid" : 用户uid,
    "place" : 地区,
    "playNum" : 投稿播放总数,
    "sex" : 用户性别,
    "coins" : 硬币数,
    "spacesta" : 0,
    "DisplayRank" : "1001",
    "attentions" : [……], 关注列表
    "theme_preview" : "",
    "friend" : 0,
    "official_verify" : {……},
    "toutu" : 空间头图,
    "sign" : 签名,
    "description" : 签名,
    "toutuId" : 1,
    "im9_sign" : 兴趣圈,
    "name" : 用户昵称,
    "level_info" : {……}, 用户等级相关
    "nameplate" : {……}, 勋章相关
    "approve" : false,
    "face" : 用户头像,
    "birthday" : 生日,
    "article" : 0,
    "theme" : 空间使用主题,
    "rank" : "10000",
    "fans" : 粉丝数,
    "pendant" : {……}, 挂件相关
    "attention" : 关注数,
    "regtime" : 注册时间
}

• description 待确认

TAG数据结构为：

{
    "tag_id" : 标签id,
    "subscribe_count" : 订阅数,
    "cover" : 封面,
    "name" : 标签名,
    "visit_count" : 访问数,
    "subscribed" : 0
}

• 未确认subscribed的作用