爬虫入门（自用）

第一篇 Python 爬虫入门之 电影top250爬取

前言

为了记录一下爬虫学习过程 爬取db电影top250榜单

一、前置知识

requests库

requests是一个python的HTTP客户端库

支持HTTP特性

保持活动和连接池
国际域名和URL
Cookie持久性保持
浏览器式SSL验证

不严谨地说,就是能让你的代码能连接到网页。

正则表达式(re库)

正则表达式（或 RE）指定了一组与之匹配的字符串；模块内的函数可以检查某个字符串是否与给定的正则表达式匹配（或者正则表达式是否匹配到字符串，这两种说法含义相同）。

简单来说，因为开发人员在写这个网页源代码的时候，写的代码会比较工整，这样我们容易按某种规律找到想要的信息。举个例子在豆瓣电影top250这里我们想要爬到每部电影的标题，鼠标右键单击网页，打开网页源代码,找到电影标题这里

<div class="info">
      <div class="hd">
          <a href="https://movie.douban.com/subject/1292052/" class="">
              <span class="title">肖申克的救赎</span>
                      <span class="title">&nbsp;/&nbsp;The Shawshank Redemption</span>
                  <span class="other">&nbsp;/&nbsp;月黑高飞(港)  /  刺激1995(台)</span>
          </a>
                        

<div class="info">
        <div class="hd">
            <a href="https://movie.douban.com/subject/1291546/" class="">
                <span class="title">霸王别姬</span>
                    <span class="other">&nbsp;/&nbsp;再见，我的妾  /  Farewell My Concubine</span>
            </a>

发现，电影的标题都放在以下这样的结构中

<div class="info">   
  <div class="hd">
          <a href="https://movie.douban.com/subject/1292052/" class="">
              <span class="title">

换言之,只要自己制定一个规则（正则表达式找到以上这种有共性的结构），然后在网页源代码里面找到符合制定规则的就能够定位到想要的信息(电影名字)

以下是一些模式

注意 .匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符。”其中re.DOTALL标记就是指re.S标记。

举个例子，对

湖南省长沙市雨花区非诚县人大代表湖南省长沙市苏因镇第九届人大代表

湖南省.*?人大代表 就会返回湖南省长沙市雨花区非诚县人大代表。

二、使用步骤

1.引入库

代码如下：

import requests
import re

2.小试牛刀

代码如下（示例）：

url = "https://movie.douban.com/top250"
resp = requests.get(url)
page_content = resp.text
print(page_content)

此时，并没有返回网页内容。这是因为网站识别出来这是一个爬虫，导致返回数据为空。这个时候就需要让爬虫伪装成人类用户/浏览器，解决办法参考以下链接使用请求头

此时返回结果

到这里为止，我们已经成功爬取了豆瓣top250榜单。
接下来为了取我们想要的信息：名称，年份，评论人数，就要使用正则表达式了。应该怎样写一个正则表达式以便我们能够爬取这些信息？

首先，使用re.compile(pattern [, flags])方法来制定规则，参数指定为re.S,这是什么意思？

obj = re.compile(r'<li>.*?<div class="item">.*?<span class="title">(?P<name>.*?)</span>',re.S)#

该函数根据包含的正则表达式的字符串创建模式对象。可以实现更有效率的
匹配,在直接使用字符串表示的正则表达式进行search,match和findall操作时，python会将字符串转换为正则表达式对象。而使用compile完成一次转换之后，在每次使用模式的时候就不用重复转换。当然，使用re.compile()函数进行转换后，re.search(pattern, string)的调用方式就转换为pattern.search(string)的调用方式。参考https://www.cnblogs.com/nomorewzx/p/4203829.html

(?P<name>)观察源代码可以发现，正则表达式在这个地方会匹配到电影名字，而这个地方使用这个函数是为了做出标记，以便后续进行print。不懂的话参考https://blog.csdn.net/qq_35696312/article/details/95051232

此时正则表达式已经编写好了，后续循环地对他们进行输出

result = obj.finditer(page_content)
for it in result:
    print(it.group("name"))

finditer方法参考https://zhuanlan.zhihu.com/p/43074437
此时返回结果为

肖申克的救赎
霸王别姬
阿甘正传
泰坦尼克号
这个杀手不太冷
美丽人生
千与千寻
辛德勒的名单
盗梦空间
星际穿越
忠犬八公的故事
楚门的世界
海上钢琴师
三傻大闹宝莱坞
机器人总动员
放牛班的春天
无间道
疯狂动物城
大话西游之大圣娶亲
熔炉
控方证人
教父
当幸福来敲门
触不可及
怦然心动

只有25条结果，
回到网页可以发现，一页只有25条结果，想要得到top250的所有电影，应该得实现翻页功能，观察网址可以发现

当start = 0时，为第一页，25时为第二页，以此类推…
那么我们可以写一个循环来实现翻页的功能。

总结

综上，所有代码如下

import requests
import re
headers = {
"user-agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.81 Safari/537.36 Edg/104.0.1293.47"
}
for i in range(0,250,25):
    url = "https://movie.douban.com/top250?start="+str(i)+"&filter="
    resp = requests.get(url,headers = headers)
    page_content = resp.text
    obj = re.compile(r'<li>.*?<div class="item">.*?<span class="title">(?P<name>.*?)</span>',re.S)#
    result = obj.finditer(page_content)
    for it in result:
        print(it.group("name"))
print("over")