汽车大屏实话数据实训二之爬虫数据获取

1.4创建爬虫代码

1.4.2 在目录spiderMan下创建spider.py文件，先创建目录结构

import requests
from lxml import etree
import csv
import os
import time
import json
import re
import django
import pandas as pd

#代码编写
class spider(object):
    def __init__(self):
        pass
    def init(self):
        pass
    def main(self):
        pass

#调用
if __name__ == '__main__':
    spiderObj = spider()   

1.5 完善代码,爬取数据

需要url网址，对网址进行分析



爬取数据的url网址：
https://www.dongchedi.com/motor/pc/car/rank_data?aid=1839&app_name=auto_web_pc&city_name=%E9%83%91%E5%B7%9E&count=10&offset=0&month=&new_energy_type=&rank_data_type=11&brand_id=&price=&manufacturer=%E8%87%AA%E4%B8%BB&series_type=&nation=0
获取数据的页面：

1.5.1 csv文件的创建

def init(self):
    if not os.path.exists('./temp.csv'):
        with open('./temp.csv', 'a', newline='', encoding='utf-8') as wf:
            write = csv.writer(wf)
            write.writerow(["brand", "carName", "carImg", "saleVolume", "price", "manufacturer", "rank", "carModel",
                            "energyType", "marketTime", "insure"])
#调用
if __name__ == '__main__':
    spiderObj = spider()
    # spiderObj.init()

在spiderMan下生成temp.csv文件，并查看其文件结构和内容。

1.5.2 数据文件的爬取
效果可以获取汽车列表的信息

class spider(object):
    def __init__(self):
        self.spiderUrl=('https://www.dongchedi.com/motor/pc/car/rank_data?aid=1839&app_name=auto_web_pc&city_name=%E9%83%91%E5%B7%9E&count=10&offset=10&month=&new_energy_type=&rank_data_type=11&brand_id=&price=&manufacturer=&series_type=&nation=0')
        self.headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.64 Safari/537.36'}
    #代码未更改
    def init(self):
        if not os.path.exists('./temp.csv'):
            with open('./temp.csv', 'a', newline='', encoding='utf-8') as wf:
                write = csv.writer(wf)
                write.writerow(["brand", "carName", "carImg", "saleVolume", "price", "manufacturer", "rank", "carModel",
                                "energyType", "marketTime", "insure"])
    def main(self):
        pageJson=requests.get(self.spiderUrl, headers=self.headers).json()
        pageJson=pageJson["data"]["list"]
        print(pageJson)

#调用
if __name__ == '__main__':
    spiderObj = spider()
    # spiderObj.init()
    spiderObj.main()

1.5.3 读取单个汽车信息
在主类里面增加两个函数，代码如下

#定义两个函数，设置页和读取页
def set_page(self,newPage):
    with open('./spiderPage.txt','a',encoding='utf-8') as a_f:
        a_f.write('\n'+str(newPage))
def get_page(self):
    with open('./spiderPage.txt','r',encoding='utf-8') as r_f:
        return r_f.readlines()[-1].strip()

def main(self):
    #定义变量count
    count=self.get_page()
    params={'offset':int(count)}
    print("数据从{}开始爬取".format(int(count)+1))

    #pageJson=requests.get(self.spiderUrl, headers=self.headers).json()
    pageJson=requests.get(self.spiderUrl, headers=self.headers,params=params).json()
    pageJson=pageJson["data"]["list"]
    print(pageJson)
    #测试设置数据值
    #self.set_page(int(count)+10)

在spiderMan下添加文件spiderPage.txt，且设置值为0
执行上述代码，会发现有第一条数据
在这里插入图片描述

上面的代码
#测试设置数据值
#self.set_page(int(count)+10)
用于像spiderPage.txt添加数据值。0+10=10

增加一个对于循环遍历的测试：

#循环遍历
for index,car in enumerate(pageJson):
    print('正在爬取第%d'%(index+1)+'数据')
    print(car['brand_name'])
    break

    #测试设置数据值
#self.set_page(int(count)+10)

1.5.4 打印相关数据

#循环遍历,代码演示中，只写了打印！其他没有写！
for index,car in enumerate(pageJson):
    carData = []
    print('正在爬取第%d'%(index+1)+'数据')
    #品牌名 print(car['brand_name'])
    carData.append(car['brand_name'])
    #车名  print(car['series_name'])
    carData.append(car['series_name'])
    #打印图片链接print(car['image'])
    carData.append(car['image'])
    #销量
    carData.append(car['count'])
    #价格，需要拼接最低价格和最高价格;
    price=[]
    price.append(car['min_price'])
    price.append(car['max_price'])
    carData.append(price)