数据提取之JSON与JsonPATH

第一章 json

一、json简介

json简单说就是javascript中的对象和数组，所以这两种结构就是对象和数组两种结构，通过这两种结构可以表示各种复杂的结构

> 1. 对象：对象在js中表示为`{ }`括起来的内容，数据结构为 `{ key：value, key：value, ... }`的键值对的结构，在面向对象的语言中，key为对象的属性，value为对应的属性值，所以很容易理解，取值方法为 对象.key 获取属性值，这个属性值的类型可以是数字、字符串、数组、对象这几种。

> 2. 数组：数组在js中是中括号`[ ]`括起来的内容，数据结构为 `["Python", "javascript", "C++", ...]`，取值方式和所有语言中一样，使用索引获取，字段值的类型可以是 数字、字符串、数组、对象几种。

二、json用法

导包

 import json

json模块提供了四个功能：`dumps`、`dump`、`loads`、`load`，用于字符串 和 python数据类型间进行转换。

1.json.loads()

作用：把json格式的字符串转为Python数据类型

示例代码：

import json

#json格式的字符串
strList = '[1, 2, 3, 4]'
strDict = '{"city": "北京", "name": "大猫"}'

list=json.loads(strList)
print(list)
print(type(list))
# [1, 2, 3, 4]
dict=json.loads(strDict)
print(dict)# json数据自动按Unicode存储
print(type(dict))

2.json.load()

作用：将json文件读取,并转为python类型

pingping.json

示例代码

import json

with open('./pingping.json', 'r') as f:
    data = json.load(f)

print(data)
print(data["name"])  # 输出: pingping
print(data["age"])   # 输出: 23
print(data["is_active"])  # 输出: True

3.json.dumps()

作用：把 python 类型 转为 json 类型

示例代码：

import json

# json.dumps()之前
item = {'name':'QQ','app_id':1}
print('before dumps',type(item)) # dict
# json.dumps之后
item = json.dumps(item)
print('after dumps',type(item)) # str

4.json.dump()

作用：把python数据类型转为 json格式的字符串

注意：一般让你把抓取的数据保存为json文件时使用

示例代码：

import json

item_list = []
for i in range(3):
    item = {'name': 'QQ', 'id': i}
    item_list.append(item)

with open('xiaomi.json', 'a') as f:
    json.dump(item_list, f, ensure_ascii=False)

5.json模块总结

爬虫最常用

        1、数据抓取 - json.loads(html)

             将响应内容由: json 转为 python

        2、数据保存 - json.dump(item_list,f,ensure_ascii=False)

             将抓取的数据保存到本地 json文件

抓取数据一般处理方式

        1、txt文件

        2、csv文件

        3、json文件

        4、MySQL数据库

        5、MongoDB数据库

        6、Redis数据库

第二章 jsonpath

一、jsonpath简介

JsonPath 是一种信息抽取类库，是从JSON文档中抽取指定信息的工具，提供多种语言实现版本，包括：Javascript, Python， PHP 和 Java。

JsonPath 对于 JSON 来说，相当于 XPATH 对于 XML。

> 下载地址：[https://pypi.python.org/pypi/jsonpath](https://pypi.python.org/pypi/jsonpath/)

> > 安装方法：点击`Download URL`链接下载jsonpath，解压之后执行`python setup.py install`

                        或者终端命令中输入pip install josnpath

> > 官方文档：[http://goessner.net/articles/JsonPath](http://goessner.net/articles/JsonPath/)

二、jsonpath的使用

1. jsonpath 函数参数

我们在使用jsonpathd的时候一般是使用它里面的jsonpath函数，即jsonpath.jsonpath()。

jsonpath()接受5个参数，如下

jsonpath(obj, expr, result_type='VALUE', debug=0, use_eval=True)

obj：要搜索的 JSON 对象。

expr：JSONPath 表达式，用于指定要提取的值的路径。

result_type：可选参数，用于指定返回结果的类型。默认为 ‘VALUE’，表示返回匹配到的值；还可以选择 ‘PATH’，表示返回匹配到的路径；或者选择 ‘BOTH’，表示同时返回匹配到的值和路径。

debug：可选参数，用于控制调试模式。默认为 0，表示关闭调试模式；设置为 1，则会在控制台输出调试信息。

use_eval：可选参数，用于指定是否使用 eval() 函数来计算表达式。默认为 True，表示使用 eval()；设置为 False，则会使用更安全的方式来计算表达式。

其中obj 和 expr 是必须参数，即要处理的json数据对象和提取表达式，常用的就是这两个参数，其他参数可以根据个人需要赋值。

2.jsonpath 匹配规则

如：

示例代码：

from jsonpath import jsonpath
data = { "store": {
    "book": [
      { "category": "reference",
        "author": "Nigel Rees",
        "title": "Sayings of the Century",
        "price": 8.95
      },
      { "category": "fiction",
        "author": "Evelyn Waugh",
        "title": "Sword of Honour",
        "price": 12.99
      },
      { "category": "fiction",
        "author": "Herman Melville",
        "title": "Moby Dick",
        "isbn": "0-553-21311-3",
        "price": 8.99
      },
      { "category": "fiction",
        "author": "J. R. R. Tolkien",
        "title": "The Lord of the Rings",
        "isbn": "0-395-19395-8",
        "price": 22.99
      }
    ],
    "bicycle": {
      "color": "red",
      "price": 19.95
    }
  }
}
authors=jsonpath(data,'$..author')
titles=jsonpath(data,'$.store.book[*].title')
items=jsonpath(data,'$.store.*')
print(authors)
print(titles)
print(items)