MongoDB-aggregate流式计算:去重操作

发布于:2024-10-10 ⋅ 阅读:(148) ⋅ 点赞:(0)

场景一:去重查询

在MongoDB的find查询里,可以直接使用distinct方法,但也有不少限制

在aggregate流式计算中,没有办法直接使用distinct方法,需要使用其他方法实现:

1、使用$group管道操作符,将需要去重关键字段进行分组聚合;

2、在$group中,使用$addToSet操作符将分组聚合后数据放入数组中;

3、使用$unwind操作符将数组进行拆分;

4、使用$project将所需要的数据进行展示,不需要的数据排除掉;

db.collection_name.aggregate([
  {
    $group: {
      _id: "$jzlsh",
      jzlsh: {
        $addToSet: "$jzlsh"
      }
    }
  },
  {
    $unwind: {
      path: "$jzlsh",
      preserveNullAndEmptyArrays: true
    }
  },
  {
    $project: {
      _id: 0,
      jzlsh: 1
    }
  }
])

场景二:去重计数

1、使用$group操作符将需要去重计数的关键字段或者多个字段,进行分组聚合

2、使用$addToSet操作符将分组聚合后的字段添加到数组中

3、再下一个管道中再使用一次$group,此时将_id设置为null,表示不再进行分组,因为上一个管道中已经去除了重复数据

4、使用$sum操作符进行计数操作

db.collection_name.aggregate([
  {
    $group: {
      _id: "$xid",
      xid: {
        $addToSet: "$xid"
      }
    }
  },
  {
    $group: {
      _id: null,
      count: {
        $sum: 1
      }
    }
  }
])

 场景三:只查询出有重复的数据

根据上面两个例子已经掌握的知识,进行整合即可查询出有重复的数据:

1、使用$group操作符将目标字段进行分组

2、使用$addToSet操作符将分组聚合后的字段添加到数组中

3、使用$sum操作符,获取每一组数据中的数据出现次数

4、使用$unwind操作符将$addToSet生成的数组进行拆分

5、在下一个管道中使用$match操作符对count进行条件判断count:{$gt:1}即可得出重复数据

db.collection_name.aggregate([
  {
    $group: {
      _id: "$jzlsh",
      jzlsh: {
        $addToSet: "$jzlsh"
      },
      count: {
        $sum: 1
      }
    }
  },
  {
    $unwind: {
      path: "$jzlsh",
      preserveNullAndEmptyArrays: true
    }
  },
  {
    $match: {
      count: {
        $gt: 1
      }
    }
  }
])