本文目录一览:
mysql数据库 group by 报错 原理是什么?
在日常查询中,索引或其他数据查找的方法可能不是查询执行中最高昂的部分,例如:MySQL GROUP BY 可能负责查询执行时间 90% 还多。MySQL 执行 GROUP BY 时的主要复杂性是计算 GROUP BY 语句中的聚合函数。UDF 聚合函数是一个接一个地获得构成单个组的所有值。这样,它可以在移动到另一个组之前计算单个组的聚合函数值。当然,问题在于,在大多数情况下,源数据值不会被分组。来自各种组的值在处理期间彼此跟随。因此,我们需要一个特殊的步骤。
处理 MySQL GROUP BY让我们看看之前看过的同一张table: mysql show create table tbl G *************************** 1. row *************************** Table: tbl Create Table: CREATE TABLE `tbl` ( `id` int(11) NOT NULL AUTO_INCREMENT, `k` int(11) NOT NULL DEFAULT '0', `g` int(10) unsigned NOT NULL, PRIMARY KEY (`id`), KEY `k` (`k`) ) ENGINE=InnoDB AUTO_INCREMENT=2340933 DEFAULT CHARSET=latin1 1 row in set (0.00 sec)
并且以不同方式执行相同的 GROUP BY 语句:
1、MySQL中 的 Index Ordered GROUP BY
mysql select k, count(*) c from tbl group by k order by k limit 5;
+---+---+
| k | c |
+---+---+
| 2 | 3 |
| 4 | 1 |
| 5 | 2 |
| 8 | 1 |
| 9 | 1 |
+---+---+
5 rows in set (0.00 sec)
mysql explain select k, count(*) c from tbl group by k order by k limit 5 G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: tbl
partitions: NULL
type: index
possible_keys: k
key: k
key_len: 4
ref: NULL
rows: 5
filtered: 100.00
Extra: Using index
1 row in set, 1 warning (0.00 sec)
在这种情况下,我们在 GROUP BY 的列上有一个索引。这样,我们可以逐组扫描数据并动态执行 GROUP BY(低成本)。当我们使用 LIMIT 限制我们检索的组的数量或使用“覆盖索引”时,特别有效,因为顺序索引扫描是一种非常快速的操作。
如果您有少量组,并且没有覆盖索引,索引顺序扫描可能会导致大量 IO。所以这可能不是最优化的计划。
2、MySQL 中的外部排序 GROUP BY
mysql explain select SQL_BIG_RESULT g, count(*) c from tbl group by g limit 5 G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: tbl
partitions: NULL
type: ALL
possible_keys: NULL
key: NULL
key_len: NULL
ref: NULL
rows: 998490
filtered: 100.00
Extra: Using filesort
1 row in set, 1 warning (0.00 sec)
mysql select SQL_BIG_RESULT g, count(*) c from tbl group by g limit 5;
+---+---+
| g | c |
+---+---+
| 0 | 1 |
| 1 | 2 |
| 4 | 1 |
| 5 | 1 |
| 6 | 2 |
+---+---+
5 rows in set (0.88 sec)
如果我们没有允许我们按组顺序扫描数据的索引,我们可以通过外部排序(在 MySQL 中也称为“filesort”)来获取数据。你可能会注意到我在这里使用 SQL_BIG_RESULT 提示来获得这个计划。没有它,MySQL 在这种情况下不会选择这个计划。
一般来说,MySQL 只有在我们拥有大量组时才更喜欢使用这个计划,因为在这种情况下,排序比拥有临时表更有效(我们将在下面讨论)。
3、MySQL中 的临时表 GROUP BY
mysql explain select g, sum(g) s from tbl group by g limit 5 G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: tbl
partitions: NULL
type: ALL
possible_keys: NULL
key: NULL
key_len: NULL
ref: NULL
rows: 998490
filtered: 100.00
Extra: Using temporary
1 row in set, 1 warning (0.00 sec)
mysql select g, sum(g) s from tbl group by g order by null limit 5;
+---+------+
| g | s |
+---+------+
| 0 | 0 |
| 1 | 2 |
| 4 | 4 |
| 5 | 5 |
| 6 | 12 |
+---+------+
5 rows in set (7.75 sec)
在这种情况下,MySQL 也会进行全表扫描。但它不是运行额外的排序传递,而是创建一个临时表。此临时表每组包含一行,并且对于每个传入行,将更新相应组的值。很多更新!虽然这在内存中可能是合理的,但如果结果表太大以至于更新将导致大量磁盘 IO,则会变得非常昂贵。在这种情况下,外部分拣计划通常更好。请注意,虽然 MySQL 默认选择此计划用于此用例,但如果我们不提供任何提示,它几乎比我们使用 SQL_BIG_RESULT 提示的计划慢 10 倍 。您可能会注意到我在此查询中添加了“ ORDER BY NULL ”。这是为了向您展示“清理”临时表的唯一计划。没有它,我们得到这个计划: mysql explain select g, sum(g) s from tbl group by g limit 5 G *************************** 1. row *************************** id: 1 select_type: SIMPLE table: tbl partitions: NULL type: ALL possible_keys: NULL key: NULL key_len: NULL ref: NULL rows: 998490 filtered: 100.00 Extra: Using temporary; Using filesort 1 row in set, 1 warning (0.00 sec)
在其中,我们获得了 temporary 和 filesort “两最糟糕的”提示。MySQL 5.7 总是返回按组顺序排序的 GROUP BY 结果,即使查询不需要它(这可能需要昂贵的额外排序传递)。ORDER BY NULL 表示应用程序不需要这个。您应该注意,在某些情况下 - 例如使用聚合函数访问不同表中的列的 JOIN 查询 - 使用 GROUP BY 的临时表可能是唯一的选择。
如果要强制 MySQL 使用为 GROUP BY 执行临时表的计划,可以使用 SQL_SMALL_RESULT 提示。
4、MySQL 中的索引基于跳过扫描的 GROUP BY前三个 GROUP BY 执行方法适用于所有聚合函数。然而,其中一些人有第四种方法。
mysql explain select k,max(id) from tbl group by k G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: tbl
partitions: NULL
type: range
possible_keys: k
key: k
key_len: 4
ref: NULL
rows: 2
filtered: 100.00
Extra: Using index for group-by
1 row in set, 1 warning (0.00 sec)
mysql select k,max(id) from tbl group by k;
+---+---------+
| k | max(id) |
+---+---------+
| 0 | 2340920 |
| 1 | 2340916 |
| 2 | 2340932 |
| 3 | 2340928 |
| 4 | 2340924 |
+---+---------+
5 rows in set (0.00 sec)
此方法仅适用于非常特殊的聚合函数:MIN() 和 MAX()。这些并不需要遍历组中的所有行来计算值。他们可以直接跳转到组中的最小或最大组值(如果有这样的索引)。如果索引仅建立在 (K) 列上,如何找到每个组的 MAX(ID) 值?这是一个 InnoDB 表。记住 InnoDB 表有效地将 PRIMARY KEY 附加到所有索引。(K) 变为 (K,ID),允许我们对此查询使用 Skip-Scan 优化。仅当每个组有大量行时才会启用此优化。否则,MySQL 更倾向于使用更传统的方法来执行此查询(如方法#1中详述的索引有序 GROUP BY)。虽然我们使用 MIN() / MAX() 聚合函数,但其他优化也适用于它们。例如,如果您有一个没有 GROUP BY 的聚合函数(实际上所有表都有一个组),MySQL 在统计分析阶段从索引中获取这些值,并避免在执行阶段完全读取表: mysql explain select max(k) from tbl G *************************** 1. row *************************** id: 1 select_type: SIMPLE table: NULL partitions: NULL type: NULL possible_keys: NULL key: NULL key_len: NULL ref: NULL rows: NULL filtered: NULL Extra: Select tables optimized away 1 row in set, 1 warning (0.00 sec)
过滤和分组
我们已经研究了 MySQL 执行 GROUP BY 的四种方式。为简单起见,我在整个表上使用了 GROUP BY,没有应用过滤。当您有 WHERE 子句时,相同的概念适用: mysql explain select g, sum(g) s from tbl where k4 group by g order by NULL limit 5 G *************************** 1. row *************************** id: 1 select_type: SIMPLE table: tbl partitions: NULL type: range possible_keys: k key: k key_len: 4 ref: NULL rows: 1 filtered: 100.00 Extra: Using index condition; Using temporary 1 row in set, 1 warning (0.00 sec)
对于这种情况,我们使用K列上的范围进行数据过滤/查找,并在有临时表时执行 GROUP BY。在某些情况下,方法不会发生冲突。但是,在其他情况下,我们必须选择使用 GROUP BY 的一个索引或其他索引进行过滤:
mysql alter table tbl add key(g);
Query OK, 0 rows affected (4.17 sec)
Records: 0 Duplicates: 0 Warnings: 0
mysql explain select g, sum(g) s from tbl where k1 group by g limit 5 G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: tbl
partitions: NULL
type: index
possible_keys: k,g
key: g
key_len: 4
ref: NULL
rows: 16
filtered: 50.00
Extra: Using where
1 row in set, 1 warning (0.00 sec)
mysql explain select g, sum(g) s from tbl where k4 group by g limit 5 G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: tbl
partitions: NULL
type: range
possible_keys: k,g
key: k
key_len: 4
ref: NULL
rows: 1
filtered: 100.00
Extra: Using index condition; Using temporary; Using filesort
1 row in set, 1 warning (0.00 sec)
根据此查询中使用的特定常量,我们可以看到我们对 GROUP BY 使用索引顺序扫描(并从索引中“放弃”以解析 WHERE 子句),或者使用索引来解析 WHERE 子句(但使用临时表来解析 GROUP BY)。根据我的经验,这就是 MySQL GROUP BY 并不总是做出正确选择的地方。您可能需要使用 FORCE INDEX 以您希望的方式执行查询。
如何对mysql的group
例子 aa表 a b
123 10
123 12
1234 11
1234 14
首先 group 是用来分组的 不是过滤重复项的。重复项删除语句 DISTINCT用这个 。 select DISTINCT(a) from aa
结果就是 a
123
1234
group by用来分组的
select a, sum(b) from aa group by a
sum意思是总和。结果就是
a b
123 22
1234 25
语句的目的是以a为目标 需要知道 相同名字的物品 在b列一共有多少数量总和
select a,count(b) from aa group by a
count 意思行数总和 结果就是
a b
123 2
1234 2
语句目的是 相同名字的物品 一共有几行
如何理解mysql中GROUP
就是给数据分类汇总,比如group by name,就是按name分类,相同名字的数据都汇总到这个名字中
MySql操作「数据查询」-20211222
# SELECT 数据查询
## 基础
显示如何使用简单的`select`语句查询单个表中的数据 使用`SELECT`语句从表或视图获取数据。
表由行和列组成,如电子表格。 通常,我们只希望看到子集行,列的子集或两者的组合。
SELECT语句的结果称为结果集,它是行列表,每行由相同数量的列组成。
select 语法
SELECT语句由以下列表中所述的几个子句组成:
1. SELECT 之后是逗号分隔列或星号(*)的列表,表示要返回所有列。
2. FROM 指定要查询数据的表或视图。
3. JOIN 根据某些连接条件从其他表中获取数据。
4. WHER E过滤结果集中的行。
5. GROUP BY将一组行组合成小分组,并对每个小分组应用聚合函数。
6. HAVING 过滤器基于GROUP BY子句定义的小分组。
7. ORDER BY 指定用于排序的列的列表。
8. LIMIT 限制返回行的数量。
语句中的`SELECT`和`FROM`语句是必须的,其他部分是可选的。
`SELECT`语句允许通过在`SELECT`子句中指定逗号分隔列的列表来查询表的部分数据
建议显式获取数据的列,原因如下:
1. 使用星号(*)可能会返回不使用的列的数据。 它在MySQL数据库服务器和应用程序之间产生不必要的I/O磁盘和网络流量。
2. 如果明确指定列,则结果集更可预测并且更易于管理。 想象一下,当您使用星号(*)并且有人通过添加更多列来更改表格数据时,将会得到一个与预期不同的结果集。
3. 使用星号(*)可能会将敏感信息暴露给未经授权的用户
格式 `select 列筛选 form table where 行筛选`
还有一些有用的运算符可以在WHERE子句中使用来形成复杂的条件,例如:
BETWEEN 选择在给定范围之内的值。
LIKE 匹配基于模式匹配的值。
IN 指定值是否匹配列表中的任何值。
IS NULL 检查该值是否为NULL。
## SELECT 子查询
在一个查询过程中 嵌套另一个查询,子查询的结果作为外部查询的条件或者数据范围来使用。
分为 3 类:
1. where 型
- `select展示列名 from 表名 where 列名 运算符[in...] (select 对应列名 from ...)`
- 这个列名 和 对应列名 应该做到类型相同
- 如果不加入运算符 也可使用IN 这些类似的符号 - `select 展示列名 from 表名 where 列名 in (select 对应列名 from ...)`
- ex:
`select 展示列名 from 表名 where 列名 ALL(select 对应列名 from ....)`;
比子查询的值都大
`select 展示列名 from 表名 where 列名 ANY(select 对应列名 from ....);`
比子查询的任意一个值大
2. from 型
- `select 展示列名 from 表名 inner join (select 列名 from ...) 临时表名 on 条件;`
- 其中,select的子查询所得的表 为临时表,后跟临时表名,可在条件判断中指代
3. exist 型
- `select 展示列 from 表名 where exists (select 列名 from 表名 where 条件);`
- 将主查询的结果带入子查询进行条件判断和匹配,如果查询出结果即保留。
## 去重 DISTINCT
SELECT 语句执行简单的数据查询时,返回的是所有匹配的记录。`distinct` 实现查询不重复的数据
**DISTINCT 关键字的主要作用就是对数据表中一个或多个字段重复的数据进行过滤,只返回其中的一条数据给用户。**
使用 `DISTINCT` 关键字时需要注意以下几点:
- `DISTINCT` 关键字只能在 `SELECT` 语句中使用。
- 在对一个或多个字段去重时,`DISTINCT` 关键字必须在所有字段的最前面。
- 如果 `DISTINCT` 关键字后有多个字段,则会对多个字段进行组合去重,也就是说,只有多个字段组合起来完全是一样的情况下才会被去重。
## 指定别名 AS
### 1. 为表指定别名
1. 当表名很长的时候 或者 执行了一些特殊的查询的时候,为方便操作,可以为表指定一个别名,用以替代原来的名称
2. 语法.
3. `表名 as 别名` - 含义: - `表名` : 数据库中存储的数据表名称。
- `别名` : 查询的时候指定的新的名称。
- `as` : 此关键字 可以 省略,省略之后要将 `表名`与`别名`用 `空格` 分开
** *注意:表的别名不能与该数据库的其它表同名。字段的别名不能与该表的其它字段同名。在条件表达式中不能使用字段的别名,否则会出现“ERROR 1054 (42S22): Unknown column”这样的错误提示信息。* **
*** ex1:
***
### 2. 为字段指定别名
1. 在使用 SELECT 语句查询数据时,MySQL 会显示每个 SELECT 后面指定输出的字段。有时为了显示结果更加直观,我们可以为字段指定一个别名。
2. 语法:
3. `字段名 [AS] 别名`
- 含义:
- `字段名`:为数据表中字段定义的名称。
- `字段别名`:字段新的名称。
- `AS` 关键字可以省略,省略后需要将字段名和别名用空格隔开
** *注意:表别名只在执行查询时使用,并不在返回结果中显示。而字段定义别名之后,会返回给客户端显示,显示的字段为字段的别名* ** ***
ex2:
***
## 限制查询条数 LIMIT
1. LIMIT 关键字有 3 种使用方式,即
- `指定初始位置`、
- `不指定初始位置`
- `OFFSET 组合`使用
(。。。。。 我之前一直不知道, 只会使用 `limit 200`。。。。。)
### 指定初始位置
1. 语法
- `LIMIT 初始位置,记录数`
- 初始位置”表示从哪条记录开始显示;第一条记录的位置是 0,第二条记录的位置是 1。后面的记录依次类推。
- “记录数”表示显示记录的条数。
- *LIMIT 后的两个参数必须都是正整数。
* ex:tb_students_info 表中,使用 LIMIT 子句返回从第 4 条记录开始的行数为 5 的记录,SQL 语句和运行结果如下。
### 不指定初始位置
记录从第一条记录开始显示。显示记录的条数由 LIMIT 关键字指定。
1. 语法
- `LIMIT 5`
- `SELECT * FROM tb_students_info LIMIT 15;`
### LIMIT 和 OFFSET 组合使用
1. 语法
- `LIMIT 记录数 OFFSET 初始位置`
- 参数和 LIMIT 语法中参数含义相同,“初始位置”指定从哪条记录开始显示;“记录数”表示显示记录的条数。
该语句返回的是从第 4 条记录开始的之后的 5 条记录。即“ LIMIT 5 OFFSET 3 ”意思是获取从第 4 条记录开始的后面的 5 条记录,和“ LIMIT 3 , 5 ”返回的结果相同。
*** 2021-12-22 今天先学到这里 明天继续 MySql 的查询 学习