您的位置:

mysql大文件导入(mysql大数据导入导出)

本文目录一览:

怎么快速导入一个超大的mysql文件

1、首先已管理员身份(通过win+r)进入命令提示符

2、先进入MYSQL安装目录,以我的为例:d:/wamp/bin/mysql/mysql5.5.20/bin 进入该目录的bin目录下,该目录下有个mysql.exe 文件

mysql 导入超大文件到数据库 - queen - 安然

3、为了保证一次性通过,可以先测试一下数据库的是否连接成功 mysql -u root -p (数据库有密码的写上密码);再测试一下访问的数据库是否能访问 mysql -u root -p (数据库有密码的写上密码) craft(这个就是数据库的名称);我第二次导入时遇到一个问题,就是我测试数据库连接成功后,直接又测试数据库是否能够访问,出现错误

mysql 导入超大文件到数据库 - queen - 安然

我检查了一遍命令没发现错误啊,没办法了,问我领导,人家三下五除二就搞定了,问了才知道,所有的命令都应该在

mysql 导入超大文件到数据库 - queen - 安然

下执行,包括测试数据库是否连接成功,数据库是否能访问和最后的数据库导入,我的错误就是在检查了数据库是否连接成功后就进入mysql里,没有退出来。好吧,又记了一遍。

4、如果上面的操作没有问题,下一步就进行数据导入操作

mysql -u root -p (数据库有密码的写上密码) craft d:/craft.sql

导入过程可能会由于其他原因导致错误,我遇到的是在导入过程中可能由于编码的原因出现错误,所以,可以再加上点内容 mysql -u root -p --default-character-set=utf8 craft d:/craft.sql,敲回车后,出现输入密码提示,如果数据库设置密码,就可以输入密码后再打回车,直到导入操作完成

mysql 导入超大文件到数据库 - queen - 安然

注意:这样就完成了导入,不过中间还可能出现的问题就是要导入文件的权限问题,要保证你所登录的身份有对文件的写操作,所以为了防止万一,我们可以将文件的所有权限都打开:选中文件,点右键,选择属性,选“安全”选项卡,选中你登录的角色,点“编辑”,选中“允许”下面的“完全控制”,点击确定。

如何在mysql中批量导入大的sql文本文件

在实际工作中,有时经常地时行mysql数据库的导入和导入操作,但对于大型sql文件导入时,phpmyadmin是不行的,有太多限制,比如记录,内存等!

比较好的办法仍是用mysql的source命令:

一、在客户端下操作:

1、进行入客户端

2、mysqluse

数据库名(如果没有,先建一个)

3、mysqlset

names

'utf8';

(一般看导入的是什么格式的文件)

4、mysqlsource

d:\aaa.sql;

即可正常导入,如果有错,可以看出错提示

二、PHP文件操作:

建立a.php

里面有下面内容

mysql_connet('xxxx');

mysql_query("set

names

'utf8'");

mysql_query("source

d:\aaa.sql'");

原理同上,主要方便了无法使用命令行用户的操作

mysql 的sql文件太大怎么导入

我有个大的 SQL 文件要回放,需要马上做,但又怕压死业务,怎么办?

先来建一个测试库:

塞一些数据进去:

看看我们填充数据的成果:

使用 mysqldump 导出一份数据:

现在我们假设要把这个 dump 文件,回放到一个数据库中,并且现在数据库正在承担很重的业务,我们不希望业务受到太大影响。

先来看看如果直接回放 dump 文件,会发生什么?

我们看到 MySQL 的 cpu 会彪起来,

我们换一个方式来回放 dump:

看看 CPU 压力:

可以看到 CPU 已经非常冷静,并且缓慢的处理数据。

?小贴士:pv 工具既可以用于显示文件流的进度,也可以用于文件流的限速。在本实验中,我们用 PV 来限制 SQL 文件发到 MySQL client 的速度,从而限制 SQL 的回放速度,达到不影响其他业务的效果。

如何在mysql中导入/导出超大的sql文本文件

在实际工作中,有时需要导入大容量sql文件到MySQL,通常有以下三种方法:

(1)通过phpmyadmin,不推荐,有内存等的限制;

(2)通过Navicat Premium工具运行sql,不推荐,效率低;

(3)通过source命令导入,推荐,效率高,经测试,小编导入一个3.02G的文件耗时3分08秒;

下面,小编将整个过程进行重现,希望对大家有帮助。

mysql数据库 文件过大 如何导入

1.把已导出文件拷贝到服务器2.利用root权限提交命令:#mysql -u 用户名 -p 密码 库名 需要导入的.sql文件 在本地导入会比phpmyadmin稳定,快

大文件导入 MYSQL,如何最快速

一般的数据备份用 :mysql路径+bin/mysqldump -u 用户名 -p 数据库名 导出的文件名

数据还原是:到mysql命令行下面,用:source   文件名;的方法。

但是这种方法对大数据量的表进行操作就非常慢。因为他不仅导出了数据还导出了表结构。

在针对大数据量的表时,我们可以用infile和 outfile来操作。

outfile导出数据库数据的用法:

下图我们可以看到6百多万数据35秒就搞定了:

下面我们看看infile的语法:

在infile导入数据的时候,我们还可以做一些优化。我们可以用

alter table table_name disable keys   关闭普通索引。等数据导入玩,再用:

alter table table_name enable keys    来开启普通索引。这样就不会边导入数据,边整理索引的二叉树儿影响导数据的效率。

如果可以保证 数据的正确性,我们可以将表的唯一索引也关闭,之后再开启,不是每条数据就算是唯一的他都要去检测一遍。命令:

set unique_checks=0; #关闭唯一校验

set unique_checks=1;#开启唯一校验

如果是InnoDB存储引擎,我们还可以set auto commit=0;关闭自动提交,来提高效率。InnoDB是按主键的顺序保存的,我们将其主键顺序排列也可以提高效率。

下面我们对myisam引擎的表做个测试,我们先不关索引,导入数据(用了近4分钟):

然后我们先把索引关闭试试(只用了一分钟多一点,快了不少啊!摸摸大!):