本文目录一览：
- 1、学习怎样把视频文件存储到mysql数据库
- 2、如何把数据文件导入mysql
- 3、如何把文件存放在mysql数据库中
- 4、如何将原始的plt文件存储到Mysql数据库中
- 5、如何把csv文件批量导入到mysql数据库
学习怎样把视频文件存储到mysql数据库
背景
MySQL 一直以来都有 TEXT、BLOB 等类型用来存储图片、视频等大对象信息。比如一张图片，随便一张都 5M 以上。视频也是，随便一部视频就是 2G 以上。
假设用 MySQL 来存放电影视频等信息，一部是 2G，那么存储 1000 部就是 2TB，2TB 也就是 1000 条记录而已，但是对数据库性能来说，不仅仅是看记录数量，更主要的还得看占用磁盘空间大小。空间大了，所有以前的经验啥的都失效了。
所以一般来说存放这类信息，也就是存储他们的存放路径，至于文件本身存放在哪里，那这就不是数据库考虑的范畴了。数据库只关心怎么来的快，怎么来的小。
举例
虽然不推荐 MySQL 这样做，但是也得知道 MySQL 该怎么做才行，做到心里有数。比如下面一张微信图片，大概 5M 的样子。
root@ytt:/var/lib/mysql-files# ls -sihl 微信图片_20190711095019.jpg274501 5.4M -rw-r--r-- 1 root root 5.4M Jul 11 07:17 微信图片_20190711095019.jpg
拷贝 100 份这样的图片来测试
root@ytt:/var/lib/mysql-files# for i in `seq 1 100`; do cp 微信图片_20190711095019.jpg "$i".jpg;done;
root@ytt:/var/lib/mysql-files# ls
100.jpg 17.jpg 25.jpg 33.jpg 41.jpg 4.jpg 58.jpg 66.jpg 74.jpg 82.jpg 90.jpg 99.jpg f8.tsv
10.jpg 18.jpg 26.jpg 34.jpg 42.jpg 50.jpg 59.jpg 67.jpg 75.jpg 83.jpg 91.jpg 9.jpg 微信图片_20190711095019.jpg
1111.jpg 19.jpg 27.jpg 35.jpg 43.jpg 51.jpg 5.jpg 68.jpg 76.jpg 84.jpg 92.jpg f1.tsv
11.jpg 1.jpg 28.jpg 36.jpg 44.jpg 52.jpg 60.jpg 69.jpg 77.jpg 85.jpg 93.jpg f2.tsv
12.jpg 20.jpg 29.jpg 37.jpg 45.jpg 53.jpg 61.jpg 6.jpg 78.jpg 86.jpg 94.jpg f3.tsv
13.jpg 21.jpg 2.jpg 38.jpg 46.jpg 54.jpg 62.jpg 70.jpg 79.jpg 87.jpg 95.jpg f4.tsv
14.jpg 22.jpg 30.jpg 39.jpg 47.jpg 55.jpg 63.jpg 71.jpg 7.jpg 88.jpg 96.jpg f5.tsv
15.jpg 23.jpg 31.jpg 3.jpg 48.jpg 56.jpg 64.jpg 72.jpg 80.jpg 89.jpg 97.jpg f6.tsv
16.jpg 24.jpg 32.jpg 40.jpg 49.jpg 57.jpg 65.jpg 73.jpg 81.jpg 8.jpg 98.jpg f7.tsv
我们建三张表，分别用 LONGBLOB、LONGTEXT 和 VARCHAR 来存储这些图片信息
mysql show create table tt_image1G
*************************** 1. row ***************************
Table: tt_image1
Create Table: CREATE TABLE `tt_image1` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`image_file` longblob,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci
1 row in set (0.00 sec)
mysql show create table tt_image2G
*************************** 1. row ***************************
Table: tt_image2
Create Table: CREATE TABLE `tt_image2` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`image_file` longtext,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci
1 row in set (0.00 sec)
mysql show create table tt_image3G
*************************** 1. row ***************************
Table: tt_image3
Create Table: CREATE TABLE `tt_image3` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`image_file` varchar(100) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci
1 row in set (0.00 sec)
我们来给三张表插入 100 张图片（插入前，建议把 max_allowed_packet 设置到最大）
tt_image1
root@ytt:/var/lib/mysql-files# for i in `seq 1 100`;
do mysql -S /var/run/mysqld/mysqld.sock -e "insert into ytt.tt_image1(image_file)
values (load_file('/var/lib/mysql-files/$i.jpg'))";done;
tt_image2
root@ytt:/var/lib/mysql-files# for i in `seq 1 100`;
do mysql -S /var/run/mysqld/mysqld.sock -e "insert into ytt.tt_image2(image_file)
values (hex(load_file('/var/lib/mysql-files/$i.jpg')))";done;
tt_image3
root@ytt:/var/lib/mysql-files# aa='begin;';for i in `seq 1 100`;
do aa=$aa"insert into ytt.tt_image3(image_file) values
('/var/lib/mysql-files/$i.jpg');";
done;aa=$aa'commit;';mysql -S /var/run/mysqld/mysqld.sock -e "`echo $aa`";
检查下三张表记录数
mysql select 'tt_image1' as name ,count(*) from tt_image1 union allselect 'tt_image2',count(*) from tt_image2 union all select 'tt_image3', count(*) from tt_image3;+-----------+----------+| name | count(*) |+-----------+----------+| tt_image1 | 100 || tt_image2 | 100 || tt_image3 | 100 |+-----------+----------+3 rows in set (0.00 sec)
看下文件大小，可以看到实际大小排名，LONGTEXT 字段存储的最大，LONGBLOB 字段缩小到一半，最小的是存储图片路径的表 tt_image3。所以这里从存储空间来看，存放路径最占优势。
root@ytt:/var/lib/mysql/ytt# ls -silhS tt_image*274603 1.1G -rw-r----- 1 mysql mysql 1.1G Jul 11 07:27 tt_image2.ibd274602 545M -rw-r----- 1 mysql mysql 544M Jul 11 07:26 tt_image1.ibd274605 80K -rw-r----- 1 mysql mysql 112K Jul 11 07:27 tt_image3.ibd
那么怎么把图片取出来呢？
tt_image3 肯定是最容易的
mysql select * from tt_image3;+----+----------------------------+| id | image_file |+----+----------------------------+| 1 | /var/lib/mysql-files/1.jpg |+----+----------------------------+...100 rows in set (0.00 sec)
tt_image1 直接导出来二进制文件即可，下面我写了个存储过程，导出所有图片。
mysql DELIMITER $$mysql USE `ytt`$$mysql DROP PROCEDURE IF EXISTS `sp_get_image`$$mysql CREATE DEFINER=`ytt`@`localhost` PROCEDURE `sp_get_image`()mysql BEGIN DECLARE i,cnt INT DEFAULT 0; SELECT COUNT(*) FROM tt_image1 WHERE 1 INTO cnt; WHILE i cnt DO SET @stmt = CONCAT('select image_file from tt_image1 limit ',i,',1 into dumpfile ''/var/lib/mysql-files/image',i,'.jpg'''); PREPARE s1 FROM @stmt; EXECUTE s1; DROP PREPARE s1; SET i = i + 1; END WHILE; END$$mysql DELIMITER ;mysql call sp_get_image;
tt_image2 类似，把 select 语句里 image_file 变为 unhex(image_file) 即可。
总结
这里我举了个用 MySQL 来存放图片的例子，总的来说有以下三点：
占用磁盘空间大（这样会带来各种各样的功能与性能问题，比如备份，写入，读取操作等）
使用不易
还是推荐用文件路径来代替实际的文件内容存放
如何把数据文件导入mysql
工具：navicat for MySQL
步骤：
1、打开navicat for MySQL，连接到数据库所在服务器。如本图就是连接到本地数据库。
2、创建一个空的数据库。在localhost处点右键，选择“新建数据库”，弹出窗口中填写新建的数据库名称，字符集一般选择UTF8即可（可根据实际情况更改），最后点击确定按钮，即可创建成功。
3、创建成功后，双击新建的数据库，使之变成绿色，即连接状态。
4、在badkano_test处点击鼠标右键，选择“运行sql文件”。
5、弹出窗口点“...”然后选择要导入的sql文件，点击打开。
6、最后点“开始”按钮，等待导入步骤执行完成即可。
如何把文件存放在mysql数据库中
1、mysql如果使用myisam存储引擎，数据库文件类型就包括.frm、.myd、.myi，默认存放位置是c:\documents
and
settings\all
users\application
data\mysql\mysql
server
5.1\data
2、mysql如果使用innodb存储引擎，mysql数据库文件类型就包括.frm、ibdata1、.ibd，存放位置有两个，
.frm文件默认存放位置是c:\documents
and
settings\all
users\application
data\mysql\mysql
server
5.1\data，
ibdata1、.ibd文件默认存放位置是mysql安装目录下的data文件夹
如何将原始的plt文件存储到Mysql数据库中
MySQL数据库的导入，有两种方法：
1)
先导出数据库SQL脚本，再导入；
2)
直接拷贝数据库目录和文件。
在不同操作系统或MySQL版本情况下，直接拷贝文件的方法可能会有不兼容的情况发生。
所以一般推荐用SQL脚本形式导入。下面分别介绍两种方法。
2.
方法一
SQL脚本形式
操作步骤如下：
2.1.
导出SQL脚本
在原数据库服务器上，可以用phpMyAdmin工具，或者mysqldump命令行，导出SQL脚本。
2.1.1
用phpMyAdmin工具
导出选项中，选择导出“结构”和“数据”，不要添加“DROP
DATABASE”和“DROP
TABLE”选项。
选中“另存为文件”选项，如果数据比较多，可以选中“gzipped”选项。
将导出的SQL文件保存下来。
2.1.2
用mysqldump命令行
命令格式
mysqldump
-u用户名
-p
数据库名
数据库名.sql
范例：
mysqldump
-uroot
-p
abc
abc.sql
（导出数据库abc到abc.sql文件）
提示输入密码时，输入该数据库用户名的密码。
2.2.
创建空的数据库
通过主控界面/控制面板，创建一个数据库。假设数据库名为abc，数据库全权用户为abc_f。
2.3.
将SQL脚本导入执行
同样是两种方法，一种用phpMyAdmin（mysql数据库管理）工具，或者mysql命令行。
2.3.1
用phpMyAdmin工具
从控制面板，选择创建的空数据库，点“管理”，进入管理工具页面。
在"SQL"菜单中，浏览选择刚才导出的SQL文件，点击“执行”以上载并执行。
注意：phpMyAdmin对上载的文件大小有限制，php本身对上载文件大小也有限制，如果原始sql文件
比较大，可以先用gzip对它进行压缩，对于sql文件这样的文本文件，可获得1:5或更高的压缩率。
gzip使用方法：
#
gzip
xxxxx.sql
得到
xxxxx.sql.gz文件。
提示输入密码时，输入该数据库用户名的密码。
3
直接拷贝
如果数据库比较大，可以考虑用直接拷贝的方法，但不同版本和操作系统之间可能不兼容，要慎用。
3.1
准备原始文件
用tar打包为一个文件
3.2
创建空数据库
3.3
解压
在临时目录中解压，如：
cd
/tmp
tar
zxf
mydb.tar.gz
3.4
拷贝
将解压后的数据库文件拷贝到相关目录
cd
mydb/
cp
*
/var/lib/mysql/mydb/
对于FreeBSD:
cp
*
/var/db/mysql/mydb/
3.5
权限设置
将拷贝过去的文件的属主改为mysql:mysql，权限改为660
chown
mysql:mysql
/var/lib/mysql/mydb/*
chmod
660
/var/lib/mysql/mydb/*
如何把csv文件批量导入到mysql数据库
通过命令行导入（要求列与列之间以 英文逗号 分割，若字段中含有 , 则以 " 包裹）
load data infile 'D:/mysql-5.7.29-winx64/files/ratings_5.csv' into table ratings fields terminated by ',' optionally enclosed by '"' escaped by '"' lines terminated by '\r\n';
踩坑一：文件路径用 \ 分割会报错，用 / 可（用 \\ 应该也可）
踩坑二：load data 命令报错
ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv option so it cannot execute this statement
在 my.ini 中加入（空字符串代表允许从一切目录导入）
[mysqld]
secure-file-priv=''
然后再 Windows 的服务中重新启动 mysql
踩坑三：csv 文件中第一行是诸如 userId 这样的列名
如果你的 csv 文件不大，直接使用 notepad++ 打开后删除第一行即可
但在我们这里，千万级别的文件 notepad++ 无法打开，这时可以考虑两种方法
1. 将 csv 文件传入 Linux 服务器删去第一行
由于不知道如何在 Win 10 中做这个操作，只能通过 Linux 中转执行
sed -i '1d' ratings.csv
检验是否成功，可以打印出第一行观察
cat ratings.csv | head -n 1
2. 通过工具把大的 csv 分成多个 notepad 能够打开的较小文件，对第一个文件删除第一行并依次导入
工具：splitcsv
亲测 5000000 条数据的 csv 文件可以在 notepad++ 中打开（只能同时打开 3 个）
这个工具还有个小坑：ratings_0.csv 的最后一行和 ratings_1.csv 的第一行是重复的，请手动删除
