本文目录一览：
北大青鸟设计培训：Mysql数据库的设计和优化？
在JAVA开发中数据库的学习也是我们需要了解的，截下来几篇文章都是关于数据库的设计和应用，那么java课程培训机构废话不多说开始学习吧！ 数据库的设计 数据库设计是基础，数据库优化是建立在设计基础之上的。
好的数据库一定拥有好的设计。
数据库设计的目标是为用户和各种应用系统提供一个信息基础设施和高效的运行环境。
数据库的三大范式 第一范式1NF:所有的域都应该是原子性的，即数据库表的每一列都是不可分割的原子数据项，而不能是集合，数组，记录等非原子数据项。
第二范式2Nf:第二范式在第一范式的基础之上更进一层。
第二范式需要确保数据库表中的每一列都和主键相关，而不能只与主键的某一部分相关(主要针对联合主键而言)。
也就是说在一个数据库表中，一个表中只能保存一种数据，不可以把多种数据保存在同一张数据库表中。
第三范式3Nf:所有字段必须与主键直接相关，而不是间接相关。
也可以理解为字段不要和其他非主键字段相关. 注意:这三个范式尽可能去遵守,不是一定要墨守成规.这只是让我们设计的表的时候,越靠近这些范式,可以使字段尽量的减小冗余.但是有时候也可以根据实际需要小小的违背一下.但是第三范式违反一下还可以接受,但是第一范式别违反. 数据库设计的步骤 需求分析阶段 准确了解与分析用户需求(包括数据与处理)。
是整个设计过程的基础，是最困难、最耗费时间的一步。
概念结构设计阶段 是整个数据库设计的关键--设计数据库的E-R模型图，确认需求信息的正确和完整 Entity_Relationship---实体之间的关系 一对一 一对多 多对一
扛得住的MySQL数据库架构
数据库优化是系统工程，性能的提升靠整体。本课程将面面俱到的讲解提升数据库性能的各种因素，让你在最短的时间从小白到资深，将数据库整体架构了然于胸
第1章 实例和故事 试看7 节 | 50分钟
决定电商11大促成败的各个关键因素。
收起列表
视频：1-1 什么决定了电商双11大促的成败 (04:04)试看
视频：1-2 在双11大促中的数据库服务器 (06:03)
视频：1-3 在大促中什么影响了数据库性能 (07:55)
视频：1-4 大表带来的问题 (14:13)
视频：1-5 大事务带来的问题 (17:27)
作业：1-6 【讨论题】在日常工作中如何应对高并发大数据量对数据库性能挑战
作业：1-7 【讨论题】在MySQL中事务的作用是什么？
第2章 什么影响了MySQL性能 试看30 节 | 210分钟
详细介绍影响性能各个因素，包括硬件、操作系统等等。
收起列表
视频：2-1 影响性能的几个方面 (04:08)试看
视频：2-2 CPU资源和可用内存大小 (10:54)
视频：2-3 磁盘的配置和选择 (04:44)
视频：2-4 使用RAID增加传统机器硬盘的性能 (11:30)
视频：2-5 使用固态存储SSD或PCIe卡 (08:35)
视频：2-6 使用网络存储SAN和NAS (07:16)
视频：2-7 总结：服务器硬件对性能的影响 (03:27)
视频：2-8 操作系统对性能的影响-MySQL适合的操作系统 (03:50)
视频：2-9 CentOS系统参数优化 (11:43)
视频：2-10 文件系统对性能的影响 (03:29)
视频：2-11 MySQL体系结构 (05:29)
视频：2-12 MySQL常用存储引擎之MyISAM (13:23)
视频：2-13 MySQL常用存储引擎之Innodb (10:44)
视频：2-14 Innodb存储引擎的特性(1) (15:24)
视频：2-15 Innodb存储引擎的特性(2) (08:44)
视频：2-16 MySQL常用存储引擎之CSV (09:19)
视频：2-17 MySQL常用存储引擎之Archive (06:08)
视频：2-18 MySQL常用存储引擎之Memory (10:40)
视频：2-19 MySQL常用存储引擎之Federated (11:21)
视频：2-20 如何选择存储引擎 (04:33)
视频：2-21 MySQL服务器参数介绍 (08:04)
视频：2-22 内存配置相关参数 (09:24)
视频：2-23 IO相关配置参数 (10:01)
视频：2-24 安全相关配置参数 (06:13)
视频：2-25 其它常用配置参数 (03:41)
视频：2-26 数据库设计对性能的影响 (04:36)
视频：2-27 总结 (01:32)
作业：2-28 【讨论题】你会如何配置公司的数据库服务器硬件？
作业：2-29 【讨论题】你认为对数据库性能影响最大的因素是什么
作业：2-30 【讨论题】做为电商的DBA，建议开发选哪种MySQL存储引擎
第3章 MySQL基准测试8 节 | 65分钟
了解基准测试,MySQL基准测试工具介绍及实例演示。
收起列表
视频：3-1 什么是基准测试 (02:20)
视频：3-2 如何进行基准测试 (09:00)
视频：3-3 基准测试演示实例 (11:18)
视频：3-4 Mysql基准测试工具之mysqlslap (13:30)
视频：3-5 Mysql基准测试工具之sysbench (11:07)
视频：3-6 sysbench基准测试演示实例 (17:11)
作业：3-7 【讨论题】MySQL基准测试是否可以体现出业务系统的真实性能
作业：3-8 【实操题】参数不同取值对性能的影响
第4章 MySQL数据库结构优化14 节 | 85分钟
详细介绍数据库结构设计、范式和反范式设计、物理设计等等。
收起列表
视频：4-1 数据库结构优化介绍 (06:52)
视频：4-2 数据库结构设计 (14:49)
视频：4-3 需求分析及逻辑设计 (11:00)
视频：4-4 需求分析及逻辑设计-反范式化设计 (06:44)
视频：4-5 范式化设计和反范式化设计优缺点 (04:06)
视频：4-6 物理设计介绍 (05:17)
视频：4-7 物理设计-数据类型的选择 (18:59)
视频：4-8 物理设计-如何存储日期类型 (13:37)
视频：4-9 物理设计-总结 (02:37)
图文：4-10 说明MyISAM和Innodb存储引擎的5点不同
作业：4-11 【讨论题】判断表结构是否符合第三范式要求?如不满足要如何修改
作业：4-12 【实操题】请设计一个电商订单系统的数据库结构
作业：4-13 【讨论题】以下那个字段适合作为Innodb表的主建使用
作业：4-14 【讨论题】请为下表中的字段选择合适的数据类型
第5章 MySQL高可用架构设计 试看24 节 | 249分钟
详细介绍二进制日志及其对复制的影响、GTID的复制、MMM、MHA等等。
收起列表
视频：5-1 mysql复制功能介绍 (04:58)
视频：5-2 mysql二进制日志 (22:05)
视频：5-3 mysql二进制日志格式对复制的影响 (09:37)
视频：5-4 mysql复制工作方式 (03:08)
视频：5-5 基于日志点的复制 (20:06)
视频：5-6 基于GTID的复制 (22:32)
视频：5-7 MySQL复制拓扑 (13:58)
视频：5-8 MySQL复制性能优化 (09:23)
视频：5-9 MySQL复制常见问题处理 (08:31)
视频：5-10 什么是高可用架构 (14:09)
视频：5-11 MMM架构介绍 (08:09)
视频：5-12 MMM架构实例演示（上） (09:16)试看
视频：5-13 MMM架构实例演示（下） (18:55)
视频：5-14 MMM架构的优缺点 (08:01)
视频：5-15 MHA架构介绍 (10:02)
视频：5-16 MHA架构实例演示(1) (13:11)
视频：5-17 MHA架构实例演示(2) (16:54)
视频：5-18 MHA架构优缺点 (05:14)
视频：5-19 读写分离和负载均衡介绍 (11:42)
视频：5-20 MaxScale实例演示 (18:25)
作业：5-21 【讨论题】MySQL主从复制为什么会有延迟，延迟又是如何产生
作业：5-22 【实操题】请为某互联网项目设计99.99%MySQL架构
作业：5-23 【讨论题】如何给一个已经存在的主从复制集群新增一个从节点
作业：5-24 【讨论题】给你三台数据库服务器，你如何设计它的高可用架构
第6章 数据库索引优化8 节 | 65分钟
介绍BTree索引和Hash索引，详细介绍索引的优化策略等等。
收起列表
视频：6-1 Btree索引和Hash索引 (20:09)
视频：6-2 安装演示数据库 (01:19)
视频：6-3 索引优化策略（上） (17:33)
视频：6-4 索引优化策略（中） (13:02)
视频：6-5 索引优化策略（下） (12:30)
作业：6-6 【讨论题】一列上建立了索引，查询时就一定会用到这个索引吗
作业：6-7 【讨论题】在定义联合索引时为什么需要注意联合索引中的顺序
作业：6-8 【实操题】SQL建立索引，你会考虑那些因素
第7章 SQL查询优化9 节 | 62分钟
详细介绍慢查询日志及示例演示,MySQL查询优化器介绍及特定SQL的查询优化等。
收起列表
视频：7-1 获取有性能问题SQL的三种方法 (05:14)
视频：7-2 慢查询日志介绍 (08:57)
视频：7-3 慢查询日志实例 (08:27)
视频：7-4 实时获取性能问题SQL (02:21)
视频：7-5 SQL的解析预处理及生成执行计划 (16:02)
视频：7-6 如何确定查询处理各个阶段所消耗的时间 (09:35)
视频：7-7 特定SQL的查询优化 (10:34)
作业：7-8 【讨论题】如何跟据需要对一个大表中的数据进行删除或更新
作业：7-9 【讨论题】如何获取需要优化的SQL查询
第8章 数据库的分库分表5 节 | 48分钟
详细介绍数据库分库分表的实现原理及演示案例等。
收起列表
视频：8-1 数据库分库分表的几种方式 (04:34)
视频：8-2 数据库分片前的准备 (13:53)
视频：8-3 数据库分片演示(上) (11:40)
视频：8-4 数据库分片演示(下) (17:02)
作业：8-5 【讨论题】对于大表来说我们一定要进行分库分表吗
第9章 数据库监控7 节 | 29分钟
介绍数据库可用性监控、性能监控、MySQL主从复制监控等
收起列表
视频：9-1 数据库监控介绍 (04:46)
视频：9-2 数据库可用性监控 (07:20)
视频：9-3 数据库性能监控 (09:39)
视频：9-4 MySQL主从复制监控 (06:16)
作业：9-5 【讨论题】QPS是否可以真实的反映出数据库的负载情况
作业：9-6 【讨论题】如何正确评估数据库的当前负载状况
作业：9-7 【实操题】开发一个简单监控脚本，监控mySQL数据库阻塞情况
数据库表结构设计，常见的数据库管理系统
一、数据场景 1、表结构简介 任何工具类的东西都是为了解决某个场景下的问题，比如Redis缓存系统热点数据，ClickHouse解决海量数据的实时分析，MySQL关系型数据库存储结构化数据。数据的存储则需要设计对应的表结构，清楚的表结构，有助于快速开发业务，和理解系统。表结构的设计通常从下面几个方面考虑：业务场景、设计规范、表结构、字段属性、数据管理。
2、用户场景
例如存储用户基础信息数据，通常都会下面几个相关表结构：用户信息表、单点登录表、状态管理表、支付账户表等。
用户信息表
存储用户三要素相关信息：姓名，手机号，身份证，登录密码，邮箱等。
CREATE TABLE `ms_user_center` ( `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '用户ID', `user_name` varchar(20) NOT NULL COMMENT '用户名', `real_name` varchar(20) DEFAULT NULL COMMENT '真实姓名', `pass_word` varchar(32) NOT NULL COMMENT '密码', `phone` varchar(20) NOT NULL COMMENT '手机号', `email` varchar(32) DEFAULT NULL COMMENT '邮箱', `head_url` varchar(100) DEFAULT NULL COMMENT '用户头像URL', `card_id` varchar(32) DEFAULT NULL COMMENT '身份证号', `user_sex` int(1) DEFAULT '1' COMMENT '用户性别:0-女,1-男', `create_time` datetime DEFAULT NULL COMMENT '创建时间', `update_time` datetime DEFAULT NULL COMMENT '更新时间', `state` int(1) DEFAULT '1' COMMENT '是否可用,0-不可用,1-可用', PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用户表'; 单点登录表
用意是在多个业务系统中，用户登录一次就可以访问所有相互信任的业务子系统，是聚合业务平台常用的解决方案。
CREATE TABLE `ms_user_sso` ( `user_id` int(11) NOT NULL COMMENT '用户ID', `sso_id` varchar(32) NOT NULL COMMENT '单点信息编号ID', `sso_code` varchar(32) NOT NULL COMMENT '单点登录码,唯一核心标识', `log_ip` varchar(32) DEFAULT NULL COMMENT '登录IP地址', `create_time` datetime DEFAULT NULL COMMENT '创建时间', `update_time` datetime DEFAULT NULL COMMENT '更新时间', `state` int(1) DEFAULT '1' COMMENT '是否可用,0-不可用,1-可用', PRIMARY KEY (`user_id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用户单点登录表'; 状态管理表
系统用户在使用时候可能出现多个状态，例如账户冻结、密码锁定等，把状态聚合到一起，可以更加方便的管理和验证。
CREATE TABLE `ms_user_status` ( `user_id` int(11) NOT NULL COMMENT '用户ID', `account_status` int(1) DEFAULT '1' COMMENT '账户状态：0-冻结,1-未冻结', `real_name_status` int(1) DEFAULT '0' COMMENT '实名认证状态：0-未实名,1-已实名', `pay_pass_status` int(1) DEFAULT '0' COMMENT '支付密码是否设置：0-未设置,1-设置', `wallet_pass_status` int(1) DEFAULT '0' COMMENT '钱包密码是否设置：0-未设置,1-设置', `wallet_status` int(1) DEFAULT '1' COMMENT '钱包是否冻结:0-冻结,1-未冻结', `email_status` int(1) DEFAULT '0' COMMENT '邮箱状态:0-未激活,1-激活', `message_status` int(1) DEFAULT '1' COMMENT '短信提醒开启：0-未开启,1-开启', `letter_status` int(1) DEFAULT '1' COMMENT '站内信提醒开启：0-未开启,1-开启', `emailmsg_status` int(1) DEFAULT '0' COMMENT '邮件提醒开启：0-未开启,1-开启', `create_time` datetime DEFAULT NULL COMMENT '创建时间', `update_time` datetime DEFAULT NULL COMMENT '更新时间', `state` int(1) DEFAULT '1' COMMENT '是否可用,0-不可用,1-可用', PRIMARY KEY (`user_id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用户状态表'; 支付账户表
用户交易的核心表，存储用户相关的账户资金信息。
CREATE TABLE `ms_user_wallet` ( `wallet_id` int(11) NOT NULL AUTO_INCREMENT COMMENT '钱包ID', `user_id` int(11) NOT NULL COMMENT '用户ID', `wallet_pwd` varchar(32) DEFAULT NULL COMMENT '钱包密码', `total_account` decimal(20,2) DEFAULT '0.00' COMMENT '账户总额', `usable_money` decimal(20,2) DEFAULT '0.00' COMMENT '可用余额', `freeze_money` decimal(20,2) DEFAULT '0.00' COMMENT '冻结金额', `freeze_time` datetime DEFAULT NULL COMMENT '冻结时间', `thaw_time` datetime DEFAULT NULL COMMENT '解冻时间', `create_time` datetime DEFAULT NULL COMMENT '创建时间', `update_time` datetime DEFAULT NULL COMMENT '更新时间', `state` int(1) DEFAULT '1' COMMENT '是否可用,0-不可用,1-可用', PRIMARY KEY (`wallet_id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用户钱包'; 二、设计规范 1、涉及模块
通过上面几个表设计的案例，可以看到表设计关联到数据库的各个方面知识：数据类型，索引，编码，存储引擎等。表设计是一个很大的命题，不过也遵循一个基本规范：三范式。
2、三范式 基础概念
一范式
表的列的具有原子性,不可再分解，即列的信息，不能分解,关系型数据库MySQL、Oracle等自动的满足。
二范式
每个事实的数据记录只会出现一次, 不会冗余, 通常设计一个主键来实现。
三范式
要求一个表中不包含已经存在于其它表的非主键信息，例如部门和员工的信息，员工表包含部门表的主键ID，则可以关联获取相关信息，没必要在员工表保存相关信息。
优缺点对比
范式化设计
范式化结构设计通常更新快，因为冗余数据较少，表结构轻巧，也更好的写入内存中。但是查询起来涉及到关联，代价非常高，非常损耗查询性能。
反范式化设计
所有的数据都在一张表中，避免关联查询，索引的有效性更高，但是数据的冗余性极高。
建议结论
上述的两种设计方式在实际开发中都是不存在的，在实际开发中都是混合使用。比如汇总统计，缓存数据，都会基于反范式化的设计。
三、字段属性
合适的字段类型对于高性能来说非常重要，基本原则如下：简单的类型占用资源更少；在可以正确存储数据的情况下，选最小的数据类型。
1、数据类型选择 整数类型
TINYINT、SMALLINT、MEDIUMINT、INT、BIGINT，根据数据类型范围合理选择即可。
实数类型
FLOAT、DOUBLE、DECIMAL，建议资金货币相关类型使用高精度DECIMAL存储，或者把数据成倍扩大为整数，采用BIGINT存储，不过处理相对麻烦。
字符类型
CHAR、VARCHAR，长度不确定建议采用VARCHAR存储，不过VARCHAR类型需要额外开销记录字符串长度。CHAR适合存储短字符，或者定长字符串，例如MD5的加密结构。
时间类型
DATETIME、TIMESTAMP，DATETIME保存大范围的值，精度秒。TIMESTAMP以时间戳的格式，范围相对较小，效率也相对较高，所以通常情况建议使用。
MySQL的字段类型有很多种，可以根据数据特性选择合适的，这里只描述常见的几种类型。
2、基础用法操作 数据类型
修改字段类型
ALTER TABLE ms_user_sso MODIFY state CHAR(1) DEFAULT '0' ; ALTER TABLE ms_user_sso MODIFY state INT(1) DEFAULT '1' COMMENT '状态：0不可用,1可用';
修改名称位置
ALTER TABLE ms_user_sso CHANGE log_ip login_ip VARCHAR(32) AFTER update_time ; 索引使用
索引类型：主键索引，普通索引，唯一索引，组合索引，全文索引。这里演示普通索引的操作。MySQL的核心模块，后续详说。
添加索引
ALTER TABLE ms_user_wallet ADD INDEX user_id_index(user_id) ; CREATE INDEX state_index ON ms_user_wallet(state) ;
查看索引
SHOW INDEX FROM ms_user_wallet;
删除索引
DROP INDEX state_index ON ms_user_wallet ;
修改索引
不具有真正意义上的修改，可以把原有的索引删除之后，再次添加索引。
外键关联
用处：外键关联的作用保证多个数据表的数据一致性和完整性，建表时先有主表，后有从表；删除数据表，需要先删从表，再删主表。复杂场景不建议使用，实际开发中用的也不多。
添加外键
ALTER TABLE ms_user_wallet ADD CONSTRAINT user_id_out_key FOREIGN KEY(user_id) REFERENCES ms_user_center(id) ;
删除外键
ALTER TABLE ms_user_wallet DROP FOREIGN KEY user_id_out_key ; 四、表结构管理 1、查看结构 DESC ms_user_status ; SHOW CREATE TABLE ms_user_status ; 2、字段结构 添加字段 ALTER TABLE ms_user_status ADD `delete_time` datetime DEFAULT NULL COMMENT '删除时间' ; 删除字段 ALTER TABLE ms_user_status DROP COLUMN delete_time ; 3、修改表名 ALTER TABLE ms_user_center RENAME ms_user_info ; 4、存储引擎 存储引擎 SELECT VERSION() ; SHOW ENGINES ;
MySQL 5.6 支持的存储引擎有InnoDB、MyISAM、Memory、Archive、CSV、BLACKHOLE等。一般默认使用InnoDB，支持事务管理。该模块MySQL核心，后续详解。
修改引擎
数据量大的场景下，存储引擎修改是一个难度极大的操作，容易会导致表的特性变动，引起各种后续反应，后续会详说。
ALTER TABLE ms_user_sso ENGINE = MyISAM ; 5、修改编码
表字符集默认使用utf8，通用，无乱码风险，汉字3字节，英文1字节，utf8mb4是utf8的超集，有存储4字节例如表情符号时使用。
查看编码 SHOW VARIABLES LIKE 'character%'; 修改编码 ALTER TABLE ms_user_sso DEFAULT CHARACTER SET utf8mb4; 五、数据管理 1、增删改查
添加数据
INSERT INTO ms_user_sso ( user_id,sso_id,sso_code,create_time,update_time,login_ip,state ) VALUES ( '1','SSO7637267','SSO78631273612', '2019-12-24 11:56:57','2019-12-24 11:57:01','127.0.0.1','1' );
更新数据
UPDATE ms_user_sso SET user_id = '1',sso_id = 'SSO20191224',sso_code = 'SSO20191224', create_time = '2019-11-24 11:56:57',update_time = '2019-11-24 11:57:01', login_ip = '127.0.0.1',state = '1' WHERE user_id = '1';
查询数据
一般情况下都是禁止使用 select* 操作。
SELECT user_id,sso_id,sso_code,create_time,update_time,login_ip,state FROM ms_user_sso WHERE user_id = '1';
删除数据
DELETE FROM ms_user_sso WHERE user_id = '2' ;
不带where条件，就是删除全部数据。原则上不允许该操作，优化篇会详解。TRUNCATE TABLE也是清空表数据，但是占用的资源相对较少。
2、数据安全 不可逆加密
这类加密算法，多用来做数据验证操作，比如常见的密码验证。
SELECT MD5('cicada')='94454b1241ad2cfbd0c44efda1b6b6ba' ; SELECT SHA('cicada')='0501746a2e4fd34e1d14015fc4d58309585edc7d'; SELECT PASSWORD('smile')='*B4FB95D86DCFC3F33A3852714DC742C77504479D' ; 可逆加密
安全性要求高的系统，需要做三级等保，对数据的安全性极高，数据在存储时必须加密入库，取出时候需要解密，这些就需要可逆加密。
SELECT DECODE(ENCODE('123456','key_salt'),'key_salt') ; SELECT AES_DECRYPT(AES_ENCRYPT('cicada','salt123'),'salt123');
上述数据安全的管理，也可以基于应用系统的服务(代码)层进行处理，相对专业的流程是从数据生成源头处理，规避数据传递过程泄露，造成不必要的风险。
