最近看到一篇文章介绍了利用Python爬虫爬取B站视频封面的文章,虽然我完全没看文章,但是只看了一眼这个封面图就彻底把我吸引了。不过我也对爬虫这方面比较熟悉了,这么简单的事情还用看别人的文章教我做事?当然是自己动手丰衣足食啦!

(此处请自行想象.JPG)

确定思路

首先自然是先用F12开发者工具看看这个页面的样子了。这一步简直顺利的无懈可击,一下子就找到了封面图的地址,就是下图红框所示的地址。在浏览器中打开看看,果然正是这个封面图。但是话又说回来,这个封面图是不是小了点?这就要说到图片CDN的一个功能了,如果大家有用过这类服务的话,一般这种图片服务都支持按照尺寸加载图片,也就是这个地址最后的320w_240h。如果是这样的话,那么我们把它改成大尺寸的1920*1080,不就是可以得到高清大图了吗?这么一尝试果然如此,好了,那么问题就解决了。

b站封面提取器(用python爬取B站视频封面)(1)

封面图地址

解决异步加载

但是实际操作的时候,又遇到了一个问题。那就是代码完全正确,但是结果却一个网页元素都获取不到了。这可让我百思不得其解,百般尝试之后无奈再回头看看人家的文章是怎么说的。原来B站的网页是异步加载的,如果用爬虫直接获取的话,只会得到如下图所示的空空如也的页面,实际的网页内容都是通过JavaScript执行以后获得的。比较遗憾的是,我尝试用requests-html的render函数渲染浏览器实际页面,也没有成功。

b站封面提取器(用python爬取B站视频封面)(2)

没有实际内容的网页内容

这时候就要说回到异步加载了,既然这些信息是异步加载出来的,那么我们看看能否从网页中找到一些线索。实际上还真有这么一个东西,就是下图中search这个请求,它请求的地址是api开头的网址,一般都是干返回JSON数据的。如果不好找的话,可以从红框那里选择筛选类别来进行更详细的查找。总之,这个请求就是我们要找的东西,它返回的正是当前页面的封面图JSON数据,最关键的是,它这里的图片直接就是1920*1080高清大图,直接省了不少事情。而且这个请求的参数直接就包含了页数,所以我们只要取到总页数,用这个api拉图片地址就完事了。

b站封面提取器(用python爬取B站视频封面)(3)

寻找加载方式

实际代码和效果

好了,下面就是最终的代码了。代码按照函数来组织,应该非常容易理解,因为我这里使用视频封面图的标题来当做文件名,所以可能会出现不能当做文件名的非法字符。因此我还加了一个函数专门来去除非法字符。默认图片保存路径是桌面,可以更改到其他位置。

b站封面提取器(用python爬取B站视频封面)(4)

部分代码截图

from requests_html import HTMLSession

userinfo_url = 'https://space.bilibili.com/72956117/video'
save_folder = r'~/Desktop/images'


def get_total_page():
    session = HTMLSession()
    response = session.get(userinfo_url)
    response.html.render()
    total_page = response.html.find('span.be-pager-total', first=True).text
    return int(total_page[2:-3])


def get_image_urls():
    base_url = 'https://api.bilibili.com/x/space/arc/search?mid=72956117&ps=30&tid=0&pn={0}&keyword=&order=pubdate&jsonp=jsonp'
    session = HTMLSession()
    for i in range(1, get_total_page() 1):
        url = base_url.format(i)
        response = session.get(url)
        for i in response.json()['data']['list']['vlist']:
            yield {'name': i['title'], 'url': 'https:' i["pic"]}


def remove_unvalid_chars(s):
    for c in r'''"'<>/\|:*?''':
        s = s.replace(c, '')
    return s


def download_images():
    import pathlib
    import requests
    import shutil
    folder = pathlib.Path(save_folder).expanduser()
    if not folder.exists():
        folder.mkdir()
    for i in get_image_urls():
        response = requests.get(i['url'], stream=True)
        filename = remove_unvalid_chars(i["name"]) '.jpg'
        with open(folder/filename, 'wb') as f:
            shutil.copyfileobj(response.raw, f)
        print(f'{i["name"]}.jpg下载完成')


download_images()

运行完毕之后就可以得到满满一个文件夹的图片了,然后就可以一个人找个闲暇时间静静的欣赏了。

b站封面提取器(用python爬取B站视频封面)(5)

此处请继续自行想象