mongodb高级聚合查询

  • 时间:
  • 浏览:0
  • 来源:大发彩神app—大发彩神8苹果版

下面举了一点常用的mongo聚合例子和mysql对比,假设有二根如下的数据库记录(表名:orders)作为例子:

为了便于理解,先将常见的mongo的聚合操作和mysql的查询做下反衬:

下面的聚合操作将返回新的数组字段myArray:

以下聚合使用$unwind为sizes数组中的每个元素输出有另一个多多 文档:

当$sort在管道中的$limit所以 立即总爱出现时,$sort操作只会在过程中维持前n个结果,其中n是指定的限制,而MongoDB只时要将n个项存储在内存中。当allowDiskUse为true所以n个项目超过聚合内存限制时,此优化仍然适用。

比较不同BSON类型的值时,MongoDB使用以下比较顺序,从最低到最高:

db.collection.count()辦法 不执行find()操作,所以计数并返回与查询匹配的结果数。

示例数据:

语法:

返回:

注:本文基于 mongodb v3.6

v3.2+支持如下语法:

返回:

示例:

由于为输入文档中不指在的字段指定路径,由于该字段为空数组,则$unwind默认会忽略输入文档,所以不用输出该输入文档的文档。

由于返回的数组含高了不指在的字段,则会返回null:

参数说明:

1)$match 阶段排除score小于等于60 的文档,将大于60 的文档传到下个阶段

1. 示例数据1:

8.对每个唯一的cust_id且status=A,计算price总和所以只返回price总和大于260 的记录

<field>: <expression>  加进去去新字段或重置现有字段的值。 在版本3.6中更改:MongoDB 3.6加进去去变量REMOVE。由于表达式的计算结果为$$REMOVE,则该字段将排除在输出中。

示例数据:

返回:

$count阶段要花费下面$group+$project的序列:

示例数据:

2)下面聚合操作实用系统变量$$ROOT按item对文档进行分组,生成的文档不得超过BSON文档大小限制。

要对字段进行排序,请将排序顺序设置为1或-1,以分别指定升序或降序排序,如下例所示:

2. group null  , 以下聚合操作将指定组_id为null,计算集合中所有文档的总价格和平均数量以及计数:

注意

此操作将跳过管道传递给它的前八个文档。 $skip对沿着管道传递的文档的内容这样 影响。

语法:

返回:

含高来自嵌入文档的指定字段(结果只返回含高嵌套文档的字段,当然也包括_id)

可选。 aggregate()传递给聚合命令的一点选项。

2.6版中的新增功能:仅当将管道指定为数组时才可用。

4.从嵌套文档中排除字段, 在$ project阶段从输出中排除了author.first和lastModified字段:

$match用于对文档进行筛选,所以 还时要在得到的文档子集上做聚合,$match还时要使用除了地理空间之外的所有常规查询操作符,在实际应用中尽由于将$match倒入管道的前面位置。所以 有有另一个多多 好处:一是还时要快速将不时要的文档过滤掉,以减少管道的工作量;二是由于再投射和分组所以 执行$match,查询还时要使用索引

跳过进入stage的指定数量的文档,并将其余文档传递到管道中的下有另一个多多 阶段

接下来介绍这哪几块常用的stage:

1. 以下汇总操作使用$group阶段按月份,日期和年份对文档进行分组,并计算total price和average quantity,并计算每个组的文档数量:

返回:

底下执行的返回结果:



$sort指定要排序的字段和相应的排序顺序的文档。 <sort order>还时要具有以下值之一:

示例:

10.统计不同cust_id和ord_date分组的数量,排除日期的时间偏离

pipeline有所以stage,但这里我只记录我总爱用到的哪几块,由于后续用到再补充。stage详见官网。

4. 数据转换

返回:

_id: <0 or false>        与非 指定_id字段

要指定字段路径,在字段名称前加进去去$符并用引号括起来。

每个文档与输入文档相同,除了sizes字段的值是原始sizes数组的值。

注意

返回的数据id值是group中指定的字段,items还时要自定义,是分组后的列表

以下汇总操作使用$group阶段按item对文档进行分组以检索不同的项目值:

示例:

),也还时要通过管道表达式进行一点繁杂的操作,类似于于数学操作,日期操作,字符串操作,逻辑操作。

9.对于每个唯一的cust_id,将与orders相关联的相应订单项order_lineitem的qty字段进行总计

  db.collection.aggregate()是基于数据处置的聚合管道,每个文档通过有另一个多多 由多个阶段(stage)组成的管道,还时要对每个阶段的管道进行分组、过滤等功能,所以经过一系列的处置,输出相应的结果。

使用db.collection.aggregate()直接查询会提示错误,所以传有另一个多多 空数组如db.collection.aggregate([])则不用报错,且会和find一样返回所有文档。

返回:

语法:

通过这张图,还时要了解Aggregate处置的过程。

过滤文档,仅将符合指定条件的文档传递到下有另一个多多 管道阶段。

$match接受有另一个多多 指定查询条件的文档。查询语法与读操作查询语法相同。

此操作仅返回管道传递给它的前八个文档。 $limit对其传递的文档内容这样 影响。

版本3.2中的新功能:要输出数组字段丢失的文档,null或空数组,请使用选项preserveNullAndEmptyArrays。

1. 统计orders表所有记录

$lookup  

5. 下面的$project阶段使用REMOVE变量来排除author.middle字段,前提是它等于"":

限制传递到管道中下一阶段的文档数

3.对每有另一个多多 唯一的cust_id, 计算price总和

执行:

$project 管道符的作用是选泽字段(指定字段,加进去去字段,不显示字段,_id:0,排除字段等),重命名字段,派生字段。

投影出新数组字段

基本格式:

返回字段新增了isbn, lastname和copiesold

感情 备注

语法:

含高计算字段

2. _id字段默认含高在内。要从$ project阶段的输出文档中排除_id字段,请在project文档中将_id字段设置为0来指定排除_id字段。

返回:

3.6版本中的新功能。从MongoDB 3.6很久结束,还时要在聚合表达式中使用变量REMOVE来有条件地禁止有另一个多多 字段。

5.对于有多个记录的cust_id,返回cust_id和对应的数量

(v3.2 新增)

返回:

reference:

2)以下$unwind操作使用preserveNullAndEmptyArrays选项在输出含高高缺少size字段,null或空数组的文档。

https://www.jianshu.com/p/e60 d5cfbeb35

2. 使用$match管道选泽要处置的文档,所以将结果输出到$group管道以计算文档的计数:

7.对每个唯一的cust_id且status=A,计算price总和

输出文档还还时要含高计算字段,该字段保存由$group的_id字段分组的一点accumulator表达式的值。 $group不用输出具体的文档而所以统计信息。

按指定的表达式对文档进行分组,并将每个不同分组的文档输出到下有另一个多多 阶段。输出文档含高高另一个多多 _id字段,该字段按键含高不同的组。

本文版权归作者和博客园共有,欢迎转载,但未经作者同意时要保留此段声明,且在文章页面明显位置给出原文连接,不然我担心博客园找你算账

{ "_id" : 1, "item" : "ABC", "sizes" : "S", "arrayIndex" : NumberLong(0) }

{ "_id" : 1, "item" : "ABC", "sizes" : "M", "arrayIndex" : NumberLong(1) }

{ "_id" : 1, "item" : "ABC", "sizes" : "L", "arrayIndex" : NumberLong(2) }

{ "_id" : 3, "item" : "IJK", "sizes" : "M", "arrayIndex" : null }

由于您真是本文对你有帮助,请竖起您的大拇指右下角点推荐,也还时要关注我

在版本2.6中进行了更改:对于$group阶段,MongoDB引入了60 M内存的限制以及allowDiskUse选项来处置大数据集的操作。

返回含高输入到stage的文档的计数,理解为返回与表或视图的find()查询匹配的文档的计数。

由于还时要将排除规范嵌套在文档中:

示例数据:

2.对orders表计算所有price求和

6.对每个唯一的cust_id和ord_date分组,计算价格总和,并只返回price总和大于260 的记录,且排除日期的时间偏离

1、db.collection.aggregate() 还时要用多个构件创建有另一个多多 管道,对于一连串的文档进行处置。什么构件包括:筛选操作的match、映射操作的project、分组操作的group、排序操作的sort、限制操作的limit、和跳过操作的skip。

2、db.collection.aggregate()使用了MongoDB内置的原生操作,聚合下行速率 非常高,支持类似于于于SQL Group By操作的功能,而不再时要用户编写自定义的JavaScript例程。

3、 每个阶段管道限制为60 MB的内存。由于有另一个多多 节点管道超过你你这一 极限,MongoDB将产生有另一个多多 错误。为了可不能能 在处置大型数据集,还时要设置allowDiskUse为true来在聚合管道节点把数据写入临时文件。所以 就还时要处置60 MB的内存的限制。

4、db.collection.aggregate()还时要作用在分片集合,但结果只能输在分片集合,MapReduce还时要 作用在分片集合,结果也还时要输在分片集合。

5、db.collection.aggregate()辦法 还时要返回有另一个多多 指针(cursor),数据倒入内存中,直接操作。跟Mongo shell 一样指针操作。

6、db.collection.aggregate()输出的结果只能保指在有另一个多多 文档中,BSON Document大小限制为16M。还时要通过返回指针处置,版本2.6中底下:DB.collect.aggregate()辦法 返回有另一个多多 指针,还时要返回任何结果集的大小。

  在工作中会总爱遇到一点mongodb的聚合操作,特此总结下。mongo存储的还时而是 繁杂类型,比如数组、对象等mysql不善于处置的文档型价值形式,所以聚合的操作也比mysql繁杂所以。

https://www.cnblogs.com/ljhdo/p/60 19837.html

<field>:<0 or false>    v3.4新增功能,指定排除字段

1)以下$unwind操作使用includeArrayIndex选项来输出数组元素的数组索引。

$project还时要从文档中选泽不用的字段,和不用用的字段(指定的字段还时而是 来自输入文档或新计算字段的现有字段

1. 以下$project阶段的输出文档中只含高_id,title和author字段:

返回:

{ "_id" : 1, "item" : "ABC1", "sizes" : "S" }

{ "_id" : 1, "item" : "ABC1", "sizes" : "M" }

{ "_id" : 1, "item" : "ABC1", "sizes" : "L" }

从输入文档解构数组字段以输出每个元素的文档。简单说所以 还时要将数组拆分为单独的文档。

1)将集合中的数据按price分组转加进去item数组

v3.4新增。根据指定表达式的值对传入文档分组,所以计算每个不同组中文档的数量。每个输出文档都含高高另一个多多 字段:含高不同分组值的_id字段和含高属于该分组或类别的文档数的计数字段,文件按降序排列。

3.以下$ project阶段从输出中排除lastModified字段:

specifications有以下形式:

3. 查询distinct values 

返回:

1.使用 $match做简单的匹配查询

执行结果:

示例数据:

2. 再如下示例数据:

2)$count阶段返回聚合管道中剩余文档的计数,并将该值分配给名为passing_scores的字段。

对所有输入文档进行排序,并按排序顺序将它们返回到管道。

一系列数据聚合操作或阶段。详见聚合管道操作符

在版本2.6中更改:该辦法 仍然还时要将流水线阶段作为单独的参数接受,而就有 作为数组中的元素;所以,由于不将管道指定为数组,则只能指定options参数

示例数据:

$count , $group,  $match, $project,  $unwind, $limit, $skip,  $sort, $sortByCount,  $lookup, $out, $addFields

示例数据:

示例文档:

4.对每有另一个多多 唯一对cust_id和ord_date分组,计算price总和,不包括日期的时间偏离

<field>: <1 or true>    与非 含高该字段,field:1/0,表示选泽/不选泽 field

$group阶段的内存限制为60 M。默认状态下,由于stage超过此限制,$group将产生错误。所以,要允许处置大型数据集,请将allowDiskUse选项设置为true以启用$group操作以写入临时文件。

只返回stop字段中的title字段: