LeetCode(力扣)是什么?

众所周知,在学习算法或刷算法题的众多网站中,力扣在国内目前算的上TOP1的存在。因此力扣在互联网的圈子里颇有名气。

很多研发工程师,算法工程师都在其中活跃,并且现在很多互联网公司的面试题在力扣的题库中都收录了许多。因此更加让许多互联网的求职者在此刷题来提升自己的算法能力。

Python(Selenium)30分钟爬完LeetCode(力扣)全题库


Python爬取力扣数据

一、获取所有题目列表

首先,我们的目标是获取LeetCode的所有题库,而目前LeetCode的题库总共有1643道算法题。因此我们需要将这1643道题全部获取出来,然后用相应的数据结构或者存储方式来存放这些题目。我这里选择的是mysql数据库。(题目详解我使用的是数据库加word文档存储的双重方式!)

Python(Selenium)30分钟爬完LeetCode(力扣)全题库


其次,我们需要分析这些题在LeetCode中的存放形式,这样方便我们用Python来进行爬取。我们可以访问LeetCode,可以看见主页中有几个标签栏,他们分别是序号、题目名称,题目解答,所有提交的答案通过率、题目难度、面试中的出现频率这六大类。

Python(Selenium)30分钟爬完LeetCode(力扣)全题库


通过分析我们可以发现,每一个题目使用的是table当中的行,也就是tr标签存储的,每一行中的具体字段是在tr里面的td表示,这样我们就可以通过选择器来进行元素定位,获取到我们想要的具体内容。

最后,分析到这里,我们就可以先建立一个基础的数据模型,将对我们有用的数据进行数据建模,丢弃对我们没用的数据。有用的数据包括,题目名称,题目难度,出现频率。

Python(Selenium)30分钟爬完LeetCode(力扣)全题库


拿到这些之后,还需要分析一些隐藏的有用信息,比如每个题目的具体地址URL,以及对应题目的题解URL,这样方便以后我们去寻找每一个题目详解的时候提供方便,具体定位每个题目的URL见上图,知道了这些信息之后,我们就可以用Python+Selenium一次将所有的题目存放到数据库或者word文档。

python代码编写完成之后,运行后数据库中存放的数据如下图所示。

Python(Selenium)30分钟爬完LeetCode(力扣)全题库


二、获取题目对应的描述信息

通过上面的操作,我们已经将LeetCode当中所有的题目获取到了,但是我们仅仅只是拿到了每一个题目的名称,我们并不知道这个题目的具体意思。因此我们还需要进行进一步的数据处理。那应该如何做呢?

从数据库中读取我们存入的数据,这个时候我们得到了一个元组的集合,我们遍历这个集合,拿到每一条数据,有针对的对每一条数据进行处理。比如第一条数据。

1 两数之和 3738 48.4% 简单 题目url 题解url 
Python(Selenium)30分钟爬完LeetCode(力扣)全题库


遍历的时候我们会得到上面这样的一个元组数据,对我们这一步有用的数据是题目描述的url地址,那我们取出url地址,然后通关python来访问这个地址,获取到该题目的描述信息,然后将描述信息文本更新到该数据中。

如下图所示,红色框中的信息是我们现在需要的信息,因为红框上面的“两数之和“已经在前面的操作中存入到数据库中,本次操作只需要遍历上一次的结果,将红框中的描述文本存放到数据库即可。

Python(Selenium)30分钟爬完LeetCode(力扣)全题库


当遍历完1643条数据之后,我们即可得到了每一个题目以及对应题目的详细描述信息。并且这些信息已经存放到了数据库中。效果图如下。

Python(Selenium)30分钟爬完LeetCode(力扣)全题库


其实这个时候,我们已经完成了LeetCode所有题库的爬取,将这些信息存放数据库的好处是,你可以根据自己的能力选择相应的难度进行练习。那如果我们没有足够的时间进行刷题,我们想直接看该题目的解答方式如何做呢?

其实也非常简单,我们用Python爬取每一个题目的不同解法与代码。然后将其存放在word文档中,将word文档存放在手机收或者电脑上,这样我们可以随时随地的离线进行算法学习,是不是非常方便呢,这边我已经将所有题目的详细解法与答案爬取并存放在mysql和word中。

Python(Selenium)30分钟爬完LeetCode(力扣)全题库


Python(Selenium)30分钟爬完LeetCode(力扣)全题库


总结

算法千千万,夯实基础第一条!没有最好的算法,也没有万能的算法,只有最优的算法!

Python(Selenium)30分钟爬完LeetCode(力扣)全题库