本文目录一览:
掌握Python 操作 MySQL 数据库
本文Python 操作 MySQL 数据库需要是使用到 PyMySQL 驱动
Python 操作 MySQL 前提是要安装好 MySQL 数据库并能正常连接使用,安装步骤详见下文。
注意: 安装过程我们需要通过开启管理员权限来安装,否则会由于权限不足导致无法安装。
首先需要先下载 MySQL 安装包, 官网下载地址 下载对应版本即可,或直接在网上拉取并安装:
权限设置:
初始化 MySQL:
启动 MySQL:
查看 MySQL 运行状态:
Mysql安装成功后,默认的root用户密码为空,你可以使用以下命令来创建root用户的密码:
登陆:
创建数据库:
查看数据库:
PyMySQL 模块使用 pip命令进行安装:
假如系统不支持 pip 命令,可以使用以下方式安装:
pymysql .connect 函数:连接上数据库
输出结果显示如下:表面数据库连接成功
使用 pymysql 的 connect() 方法连接数据库,connect 参数解释如下:
conn.cursor():获取游标
如果要操作数据库,光连接数据是不够的,咱们必须拿到操作数据库的游标,才能进行后续的操作,游标的主要作用是用来接收数据库操作后的返回结果,比如读取数据、添加数据。通过获取到的数据库连接实例 conn 下的 cursor() 方法来创建游标,实例如下:
输出结果为:
cursor 返回一个游标实例对象,其中包含了很多操作数据的方法,如执行sql语句,sql 执行命令: execute() 和 executemany()
execute(query,args=None):
executemany(query,args=None):
其他游标对象如下表:
完整数据库连接操作实例如下:
以上结果输出为:
创建表代码如下:
如下所示数据库表创建成功:
插入数据实现代码:
插入数据结果:
Python查询Mysql使用 fetchone() 方法获取单条数据, 使用fetchall() 方法获取多条数据。
查询数据代码如下:
输出结果:
DB API中定义了一些数据库操作的错误及异常,下表列出了这些错误和异常:
本文给大家介绍 Python 如何连接 Mysql 进行数据的增删改查操作,文章通过简洁的代码方式进行示例演示,给使用 Python 操作 Mysql 的工程师提供支撑。
MySQL(DML数据操作语言,添加/删除/修改数据库数据)
插入数据
insert into 表名(字段) values(‘数据’);
insert into 表名1(name,age) select name,age from 表2; #表2 数据信息复制到表1
修改数据
update 表名 set '字段'='数据'; #修改数据
delect from 表名 where 字段=值; #删除数据
truncate table 表名; #清空所有数据 且无法恢复
DQL (数据查询语言,用来查询数据)
select 要查询字段 from 表名 [where 满足条件];
[group by 分组依据]
[order by 排序依据]
[limit 限定输出结果]
select * from 表名; #查询 表 所有数据
select 字段 字段 from 表名; #查询指定字段数据
select st.name,st.age,th.name,th.age from st,th; #查询一个或多个 表中的数据
SELECT 字段名 FROM 表名 WHERE 条件1 OR 条件2 [...OR 条件n];
例:SELECT * FROM students WHERE age20 OR education!='大专'; #查询年龄小于20或 者学历不等于大专的学生信息
SELECT 字段名 FROM 表名 WHERE 条件1 AND 条件2 [...AND 条件n];
例:SELECT * FROM students WHERE age22 AND education='大专'; # 查询年龄大于22 且学历为大专的学生信息
select 字段 from 表名 where age in (12,17,23); #数据在指定 数据 里面
select 字段 from 表名 where age between 23 and 28; #数据在23-28 之间
select * from 表名 order by 字段名; #排序,升序
select 字段 from 表名 order by desc; # 字段降序
select 字段1,字段2…… from 表名 group by 分组依据字段; #每个字段只显示一条
例:SELECT id,sname,age,phone,place,GROUP_CONCAT(age,place) FROM students GROUP BY age,place; #查询学生信息,根据age,place分组并显示每一组的记 录
select distinct 字段 from 表名; #去除结果重复行
例:SELECT DISTINCT age FROM students; # 查询学生的年龄段情况
selcet 字段1,字段2,group_concat(分组依赖字段名) from 表名 group by 分组依赖字段名; #查询每个组中记录数量,显示出来(使用关键字GROUP BY与GROUP_CONCAT()函数一起使用,可以将每个组中的记录数量都显 示出来)
例:selcet id,sname,age,phone,GROUP_CONCAT(age) FROM students GROUP BY age; # 查询学生id,姓名,年龄,电话,根据age分组并显示每一组的记录
SELECT 字段名 FROM 表名 [其他条件] LIMIT int,int; 参数1是开始读取的第一条记录的 编号,参数2是要查询记录的个数
例:SELECT * FROM students ORDER BY age LIMIT 0,5; # 查询学生信息,根据age 排序从第0位开始显示,只显示5条
select 字段名 from 表名where字段名 regexp '匹配方式';
(^匹配以特定字符或 字符串开头的记录,
$匹配以特定字符或 字符串结尾的记录
[^字符集 合]匹配除“字符集合”以 外的任意一个字符
S1|S2|S3匹配S1 S2 S3中 的任意一个字符串
字符串{N }匹配字符串出现N次
字符串 {M,N}匹配字符串出现至 少M次,最多N次)
聚合函数查询
select count(字段名) from 表名; #对于除"*"以外的任何参数,返回所选择集合中非NULL值的行的数目;对于参数“*”,返回选择集 合中所有行的数据,包含NULL值的行
例:SELECT COUNT(*) FROM students;
select sum(字段名) from 表名; #表中某个字段取值的总和
select avg(字段名) from 表名; #表中某个字段取值的平均值
select max(字段名) from 表名; #表中某个字段取值的最大值
select min(字段名) from 表名; #表中某个字段取值的最小值
连接查询
a.内连接:列出数据表中与连接条件相匹配的数据行,组合成新记录【只有满足条件的记录才出现在查询结 果】 内连接的最常见的例子是相等连接,也就是连接后的表中的某个字段与每个表中的都相同
select 字段名1,字段名2 from 表名1 inner join 表名2 where 连接条件;
例:select s.name,d.dname from staff s inner join department d WHERE s.dpid = d.id; # 连接员工表的dpid字段和部门表的id字段,并查询员工姓名和部门名称
b.外连接:与内连接不同,外连接是指使用OUTER JOIN关键字将两个表连接起来。外连接生成的结果集不仅 包含符合连接条件的行数据 ,而且还包含左表(左外连接时的表) 右表(右外连接时的表)或 两边连接表(全外连接时的表)中所有的数据行。
select 字段名称 from 表名1 LEFT|RIGHT join 表名2 on 表名1.字段名1 = 表名2.字段名2;
例:select s.name,d.dname FROM staff s LEFT JOIN department d ON s.dpid = d.id; #连接员工表的dpid字段和部门表的id字段,并查询员工姓名和部门名称,如果右表中没有对应的 连接数据,会自动添加NULL值
例:SELECT s.name,d.dname FROM staff s RIGHT JOIN department d ON s.dpid = d.id; # 连接员工表的dpid字段和部门表的id字段,并查询员工姓名和部门名称,如果左表中没有对应 的连接数据,会自动添加NULL值
例:SELECT 字段名1,字段名2 FROM 表名1,表名2 WHERE 连接条件 AND 限制条件; 例:SELECT s.name,d.dname FROM staff s,department d WHERE s.dpid = d.id AND s.dpid1; # 查询员工姓名和部门名称,条件是员工表的dpid字段与部门表中的id字段相等,并且dpid大于1
合并查询结果
select 字段名 from 表名 UNION select 字段名 from 表名; #关键字UNION是将所 有的查询结果合并到一起,并且去除相同记录
例:SELECT dpid FROM staff UNION SELECT id FROM department; # 查询员工表dpid与部门表id,如果有重复数据,只显示一次
select 字段名 drom 表名 UNION ALL select 字段名from表名; #关键字UNION ALL 则只是简单地将结果合并到一 起
例:SELECT dpid FROM staff UNION ALL SELECT id FROM department; # 查询员工表dpid与部门表id,全部显示
MYSQL使用基础、进阶分享
MySQL是一个关系型数据库管理系统,由瑞典MySQL AB公司开发,属于Oracle旗下产品,是最流行的关系型数据库管理系统之一。
端口是3306。
表很多时,使用linux脚本,需要根据需要修改一下:
和创建一样,可以加上 if exists
可两篇文章:
如:
用于在已有的表中添加、删除或修改列。
添加 ADD
或
默认是添加到最后,但可以指定位置。 FIRST :添加最前
AFTER 字段名 :添加指定字段之后
例子:
删除 DROP
修改 MODIFY 主要修改原列的类型或约束条件 同样可以用 FIRST 和 AFTER 字段名 ,代表的是修改到哪里。
修改字段名 CHANGE
可以把表2的数据复制到表1中,但 不能复制约束性条件 。
单行
多行,注意 只有一个VALUES :
不写 (行1, 行2...) 这一部分的话,默认一一对应
除了以上方法外,还可以用SET为每一行附上相应的值。
假如没有筛选的话,就给全部都修改了。可以用 WHERE 筛选。
假如 没有筛选的话,就给全部删除了 。相当于清空。
清空
先把表删除,然后再建一个。与 DELETE FROM 相比, TRUNCATE 的效率更快,因为 DELETE FROM 是把记录逐条删除的。
查询执行的顺序
FROM -- WHERE -- SELECT -- GROUP BY -- HAVING -- ORDER BY -- LIMIT
注意
当数据很大,上百万的时候,使用LIMIT ... OFFSET ..的方式进行分页十分浪费资源且耗时长。最好是结合WHERE使用,如:
REGEXP 使用正则表达进行匹配。 查询时,需要搭配WHERE或HAVING使用 。
两个表之间有交集且要用到两个表的数据时,可以使用内连接查询。
LEFT JOIN 关键字从左表(table1)返回所有的行,即使右表(table2)中没有匹配。如果右表中没有匹配,则结果为 NULL。
用法:
RIGHT JOIN 关键字从右表(table2)返回所有的行,即使左表(table1)中没有匹配。如果左表中没有匹配,则结果为 NULL。 把LEFT JOIN的表1、表2调换顺序,就是REGHT JOIN 。
FULL OUTER JOIN 关键字只要左表(table1)和右表(table2)其中一个表中存在匹配,则返回行. 相当于结合了 LEFT JOIN 和 RIGHT JOIN 的结果。
但 MySQL中不支持 FULL OUTER JOIN 。
即SELECT嵌套。
IN 一个查询结果作为另一个查询的条件。 如:
EXISTS 用于判断查询子句是否有记录,如果有一条或多条记录存在返回 True,否则返回 False。True时执行。 如:
索引的本质是一种排好序的数据结构。利用索引可以提高查询速度。
常见的索引有:
MySQL通过外键约束来保证表与表之间的数据的完整性和准确性。 外键的使用条件:
外键的好处:可以使得两张表关联,保证数据的一致性和实现一些级联操作。
对已有的两个表增加外键 比如:主表为A,子表为B,外键为aid,外键约束名字为a_fk_b
为子表添加一个字段,当做外键
为子表添加外键约束条件
假如删除记录报错: [Err] 1451 -Cannot deleteorupdatea parent row: aforeignkeyconstraintfails (...)
这是因为MySQL中设置了foreign key关联,造成无法更新或删除数据。可以通过设置 FOREIGN_KEY_CHECKS 变量来避免这种情况。 第一步:禁用外键约束,我们可以使用: SETFOREIGN_KEY_CHECKS=0; 第二步:删除数据 第三步:启动外键约束,我们可以使用: SETFOREIGN_KEY_CHECKS=1; 查看当前FOREIGN_KEY_CHECKS的值,可用如下命令: SELECT @@FOREIGN_KEY_CHECKS;
使用 UNION 来组合两个查询,如果第一个查询返回 M 行,第二个查询返回 N 行,那么组合查询的结果一般为 M+N 行。
每个查询必须包含相同的列、表达式和聚集函数。
默认会去除相同行,如果需要 保留 相同行,使用 UNION ALL 。
只能包含一个 ORDER BY 子句,并且必须位于语句的最后 。
内置函数很多, 见: MySQL 函数
我们一般使用 START TRANSACTION 或 BEGIN 开启事务, COMMIT 提交事务中的命令, SAVEPOINT : 相当于设置一个还原点, ROLLBACK TO : 回滚到某个还原点下
一般的使用格式如下:
开启事务时, 默认加锁
根据类型可分为共享锁(SHARED LOCK)和排他锁(EXCLUSIVE LOCK)或者叫读锁(READ LOCK)和写锁(WRITE LOCK)。
根据粒度划分又分表锁和行锁。表锁由数据库服务器实现,行锁由存储引擎实现。
除此之外,我们可以显示加锁
加锁时, 如果没有索引,会锁表,如果加了索引,就会锁行
InnoDB默认支持行锁,获取锁是分步的,并不是一次性获取所有的锁,因此在锁竞争的时候就会出现死锁的情况
解决方法:
即ACID特性:
由于并发事务会引发上面这些问题, 我们可以设置事务的隔离级别解决上面的问题.
MySQL的默认隔离级别(可重复读)
查看当前会话隔离级别
方式1
方式2
设置隔离级别
主从集群的示意图如下:
主要涉及三个线程: binlog 线程、 I/O 线程和 SQL 线程。
同步流程:
由于MySQL主从集群只会从主节点同步到从节点, 不会反过来同步, 所以需要读写分离
读写分离需要在业务层面实现 , 写数据只能在主节点上完成, 而读数据可以在主节点或从节点上完成
索引是帮助MySQL高效获取数据的排好序的数据结构
MySQL的索引有
推荐两个在线工具:
简单来说, B树是在红黑树(一个平衡二叉树)的基础上将一个节点存放多个值, 实现的, 降低了树的高度, 每个节点都存放索引及对应数据指针, 同一层的节点是递增的
而B+树在B树的基础上进行优化, 非叶子节点存放 子节点的开始的索引, 叶子节点存放索引和数据的指针, 且叶子节点之间有双向的指针
如下示意图:
不同的引擎, 主键索引存放的数据也不一样, 比如常见的 MyISAM 和 InnoDB
MyISAM 的B+树叶子节点存放表数据的指针, InnoDB 的B+树叶子节点存放处主键外的数据
其他的:
即多个列组成一个索引, 语法:
由于联合索引的B+树的结构, 根据列建立, 所以我们的查找条件也要根据索引列的顺序( where column1=x, column2=y,columnN... ), 否则会全表扫描
如果你对列进行了 (+,-,*,/,!) , 那么都将不会走索引。
OR 引起的索引失效
OR 导致索引是在特定情况下的,并不是所有的 OR 都是使索引失效,如果OR连接的是 同 一个字段,那么索引 不会失效 , 反之索引失效 。
这个我相信大家都明白,模糊搜索如果你前缀也进行模糊搜索,那么不会走索引。
这两种用法,也将使索引失效。另 IN 会走索引,但是当IN的取值范围较大时会导致索引失效,走全表扫描, 见: MySQL中使用IN会不会走索引
不走索引。
走索引。
所以设计表的时候, 建议不可为空, 而是将默认值设置为 "" ( NOT NULL DEFAULT "" )