本文目录一览：
php+mysql优化，百万至千万级快速分页mysql性能到底能有多高
php+Mysql 优化，百万至千万级快速分页
MySql 性能到底能有多高？用了php半年多，真正如此深入的去思考这个问题还是从前天开始。有过痛苦有过绝望，到现在充满信心！MySql 这个数据库绝对是适合dba级的高手去玩的，一般做一点1万篇新闻的小型系统怎么写都可以，用xx框架可以实现快速开发。可是数据量到了10万，百万至千万，他的性能还能那么高吗？一点小小的失误，可能造成整个系统的改写，甚至更本系统无法正常运行！好了，不那么多废话了。用事实说话，看例子：
数据表 collect ( id, title ,info ,vtype) 就这4个字段，其中 title 用定长，info 用text, id 是逐渐，vtype是tinyint，vtype是索引。这是一个基本的新闻系统的简单模型。现在往里面填充数据，填充10万篇新闻。
最后collect 为 10万条记录，数据库表占用硬盘1.6G。OK ,看下面这条sql语句：
select id,title from collect limit 1000,10; 很快；基本上0.01秒就OK，再看下面的
select id,title from collect limit 90000,10; 从9万条开始分页，结果？
8-9秒完成，my god 哪出问题了？？？？其实要优化这条数据，网上找得到答案。看下面一条语句:
select id from collect order by id limit 90000,10; 很快，0.04秒就OK。为什么？因为用了id主键做索引当然快。网上的改法是：
select id,title from collect where id=(select id from collect order by id limit 90000,1) limit 10;
这就是用了id做索引的结果。可是问题复杂那么一点点，就完了。看下面的语句
select id from collect where vtype=1 order by id limit 90000,10; 很慢，用了8-9秒！
到了这里我相信很多人会和我一样，有崩溃感觉！vtype 做了索引了啊？怎么会慢呢？vtype做了索引是不错，你直接 select id from collect where vtype=1 limit 1000,10; 是很快的，基本上0.05秒，可是提高90倍，从9万开始，那就是0.05*90=4.5秒的速度了。和测试结果8-9秒到了一个数量级。从这里开始有人提出了分表的思路，这个和discuz 论坛是一样的思路。思路如下：
建一个索引表： t (id,title,vtype) 并设置成定长，然后做分页，分页出结果再到 collect 里面去找info 。 是否可行呢？实验下就知道了。
10万条记录到 t(id,title,vtype) 里，数据表大小20M左右。用
select id from t where vtype=1 order by id limit 90000,10; 很快了。基本上0.1-0.2秒可以跑完。为什么会这样呢？我猜想是因为collect 数据太多，所以分页要跑很长的路。limit 完全和数据表的大小有关的。其实这样做还是全表扫描，只是因为数据量小，只有10万才快。OK，来个疯狂的实验，加到100万条，测试性能。
加了10倍的数据，马上t表就到了200多M，而且是定长。还是刚才的查询语句，时间是0.1-0.2秒完成！分表性能没问题？错！因为我们的limit还是9万，所以快。给个大的，90万开始
select id from t where vtype=1 order by id limit 900000,10; 看看结果，时间是1-2秒！
why 分表了时间还是这么长，非常之郁闷！有人说定长会提高limit的性能，开始我也以为，因为一条记录的长度是固定的，mysql 应该可以算出90万的位置才对啊？ 可是我们高估了mysql 的智能，他不是商务数据库，事实证明定长和非定长对limit影响不大？怪不得有人说 discuz到了100万条记录就会很慢，我相信这是真的，这个和数据库设计有关！
难道MySQL 无法突破100万的限制吗？？？到了100万的分页就真的到了极限？？？
答案是： NO !!!! 为什么突破不了100万是因为不会设计mysql造成的。下面介绍非分表法，来个疯狂的测试！一张表搞定100万记录，并且10G 数据库，如何快速分页！
好了，我们的测试又回到 collect表，开始测试结论是： 30万数据，用分表法可行，超过30万他的速度会慢道你无法忍受！当然如果用分表+我这种方法，那是绝对完美的。但是用了我这种方法后，不用分表也可以完美解决！
答案就是：复合索引！有一次设计mysql索引的时候，无意中发现索引名字可以任取，可以选择几个字段进来，这有什么用呢？开始的select id from collect order by id limit 90000,10; 这么快就是因为走了索引，可是如果加了where 就不走索引了。抱着试试看的想法加了 search(vtype,id) 这样的索引。然后测试
select id from collect where vtype=1 limit 90000,10; 非常快！0.04秒完成！
再测试: select id ,title from collect where vtype=1 limit 90000,10; 非常遗憾，8-9秒，没走search索引！
再测试：search(id,vtype)，还是select id 这个语句，也非常遗憾，0.5秒。
综上：如果对于有where 条件，又想走索引用limit的，必须设计一个索引，将where 放第一位，limit用到的主键放第2位，而且只能select 主键！
完美解决了分页问题了。可以快速返回id就有希望优化limit ， 按这样的逻辑，百万级的limit 应该在0.0x秒就可以分完。看来mysql 语句的优化和索引时非常重要的！
好了，回到原题，如何将上面的研究成功快速应用于开发呢？如果用复合查询，我的轻量级框架就没的用了。分页字符串还得自己写，那多麻烦？这里再看一个例子，思路就出来了：
select * from collect where id in (9000,12,50,7000); 竟然 0秒就可以查完！
mygod ，mysql 的索引竟然对于in语句同样有效！看来网上说in无法用索引是错误的！
有了这个结论，就可以很简单的应用于轻量级框架了：
代码如下：
$db=dblink();
$db-pagesize=20;
$sql="select id from collect where vtype=$vtype";
$db-execute($sql);
$strpage=$db-strpage(); //将分页字符串保存在临时变量，方便输出
while($rs=$db-fetch_array()){
$strid.=$rs['id'].',';
}
$strid=substr($strid,0,strlen($strid)-1); //构造出id字符串
$db-pagesize=0; //很关键，在不注销类的情况下，将分页清空，这样只需要用一次数据库连接，不需要再开；
$db-execute("select id,title,url,sTime,gTime,vtype,tag from collect where id in ($strid)");
php while($rs=$db-fetch_array()):
tr
td$amp;amp;$amp;nbsp; php echo $rs['id']; $amp;amp;$lt;/td
td$amp;amp;$amp;nbsp; php echo $rs['url']; $amp;amp;$lt;/td
td$amp;amp;$amp;nbsp; php echo $rs['sTime']; $amp;amp;$lt;/td
td$amp;amp;$amp;nbsp; php echo $rs['gTime']; $amp;amp;$lt;/td
td$amp;amp;$amp;nbsp; php echo $rs['vtype']; $amp;amp;$lt;/td
td$amp;amp;$amp;nbsp;a act=showid= php echo $rs['id']; $amp;quot;$ target="_blank"$amp;amp;$lt; php echo $rs['title']; $amp;amp;$lt;/a$amp;amp;$lt;/td
td$amp;amp;$amp;nbsp; php echo $rs['tag']; $amp;amp;$lt;/td
/tr
php endwhile;
/table
php
echo $strpage;
通过简单的变换，其实思路很简单：1）通过优化索引，找出id，并拼成 "123,90000,12000" 这样的字符串。2）第2次查询找出结果。
小小的索引+一点点的改动就使mysql 可以支持百万甚至千万级的高效分页！
通过这里的例子，我反思了一点：对于大型系统，PHP千万不能用框架，尤其是那种连sql语句都看不到的框架！因为开始对于我的轻量级框架都差点崩溃！只适合小型应用的快速开发，对于ERP,OA，大型网站，数据层包括逻辑层的东西都不能用框架。如果程序员失去了对sql语句的把控，那项目的风险将会成几何级数增加！尤其是用mysql 的时候，mysql 一定需要专业的dba 才可以发挥他的最佳性能。一个索引所造成的性能差别可能是上千倍！
PS: 经过实际测试，到了100万的数据，160万数据，15G表，190M索引，就算走索引，limit都得0.49秒。所以分页最好别让别人看到10万条以后的数据，要不然会很慢！就算用索引。经过这样的优化，mysql到了百万级分页是个极限！但有这样的成绩已经很不错，如果你是用sqlserver肯定卡死！而 160万的数据用 id in (str) 很快，基本还是0秒。如果这样，千万级的数据，mysql应该也很容易应付。
怎样用PHP逐行读取数G的大文件最有效率且不会搞爆内存
你需要安装php运行环境，才能解析php文件！百度phpstudy！一键安装，然后把php放在phpstudy的网站目录！然后就可以用sublime编写！然后测试！ 要直接sublime+浏览器只可以运行html+script！ 欢迎拍砖
最高哪个php版本支持iis6
PHP5.3x+IIS6完全配置方法，PHP5.3以上版本全新配置IIS方法 FastCGI方式(一...
在IIS6.0下安装Fastcgi+PHP来运行PHP程序(未装alpha),终于实现手工配置 IIS 6 下以 FastCGI 跑 PHP
PS：微软提升PHP在IIS下的性能 FastCGI Extension for IIS6.0% ~ d# L0 v T1 o D( U; ^; j
微软已经和PHP社区共同努力了一年之久,他们终于研发出 能让IIS更快地解析PHP的方法,用户们甚至不需要做基准测试就可以明显感觉到PHP解析速度加快.早在2006年,微软就和Zend等厂商一起研发 Windows Server下的优化工作,IIS产品组已经公布了IIS6和7的FastCGI扩展,它能让PHP执行效率更高. PHP一直以来是IIS的尴尬,用PHP扩展的速度跟不上其它服务端(甚至还有一些致命问题例如在某内存地址报错),而PHP又比ASP.net普及得 多,因此微软需要在IIS+PHP上突破市场. 微软去年底发布了ii6的fastcgi模块,可以免费下载,使用IIS6的您不妨在您的测试环境上试一下,没准会有惊喜哦! 今天将服务器上的php支持改成了fastcgi,目前运行稳定.fastcgi的iis模块可以让流行的应用框架在iis上支持fastcgi协议以提 供高性能和可用性的访问服务,fastcgi面向现有的网络服务器提供高性能的cgi替代标准。具体php安装方法我记录下来,其中包括出现的错误.
1.下载 FastCGI For IIS6 5 A( c* Z' E" t1 {. t, X
fcgisetup32.msi（FastCGI Extension for IIS 6.0 x86）- B: u, q, t' H" K: S4 t# J
下载：http//，选择： x86. ?8 ~ A7 t7 i
# ? i2 s' U f% K
或者直接下载：http//go.microsoft.com/?linkid=96556962 v$ { j7 X8 O ~
下载之后，双击运行进行安装。
（FakeCGI调试工具（备用）：下载fake.zip http//blogs.iis.net/rickjames/attachment/1563148.ashx ）
' @" ^! W# d' F. @# c5 [
安装后在 C:WINDOWSsystem32inetsrv 目录下产生了五个文件。如下图： B; a5 ]* v8 i% Z% b8 j2 q
同时在 IIS 的 “Web 服务扩展”里多了 FastCGI Handler。2 p3 o- h+ q, M/ d7 q
9 A- R; U( Q5 j8 `% W0 K* x- J. {
下载安装VC9运行库 即VISUAL C++ 2008
Microsoft Visual C++ 2008 Redistributable Package (x86)下载地址：
点击这里下载
2.下载 PHP5.3.0 Windows 版
由于PHP5.3的全新特效及改进，原有的isapi方式解析PHP脚本已经不被支持，PHP从5.3.0以后的版本开始使用微软的fastcgi模式，这是一个更先进的方式，运行速度更快，更稳定！
新版本的PHP5.3通过以往老方法已经不能在IIS上安装了，下载IIS下的PHP，下载地址http//windows.php.net/download/，（注意IIS下要选择VC9的版本）解压到所需目录，该目录需要给予
一、如何选择PHP5.3的VC9版本和VC6版本
VC6版本是使用Visual Studio 6编译器编译的，如果你的PHP是用Apache来架设的，那你就选择VC6版本。
VC9版本是使用Visual Studio 2008编译器编译的，如果你的PHP是用IIS来架设的，那你就选择VC9版本。
二、如何选择PHP5.3的Thread Safe和Non Thread Safe版本
先从字面意思上理解，Thread Safe是线程安全，执行时会进行线程（Thread）安全检查，以防止有新要求就启动新线程的CGI执行方式而耗尽系统资源。Non Thread Safe是非线程安全，在执行时不进行线程（Thread）安全检查。
再来看PHP的两种执行方式：ISAPI和FastCGI。
ISAPI执行方式是以DLL动态库的形式使用，可以在被用户请求后执行，在处理完一个用户请求后不会马上消失，所以需要进行线程安全检查，这样来提高程序的执行效率，所以如果是以ISAPI来执行PHP，建议选择Thread Safe版本；
而FastCGI执行方式是以单一线程来执行操作，所以不需要进行线程的安全检查，除去线程安全检查的防护反而可以提高执行效率，所以，如果是以FastCGI来执行PHP，建议选择Non Thread Safe版本。
user读取运行权限，
选择：PHP 5.3 (5.3.0)' Z* Z0 r% I) ~! F* r4 f+ V. R' b
VC9 x86 Thread Safe (2009-Jun-30 08:52:56) Zip [13.54MB]
sha1: f049c806744855e4420844d47e051949fcf06661
下载 .zip 格式的版本，解压缩下载的 php-5.3.0-Win32-VC9-x86.zip 文件，并将其复制到：X:Server_Corephp目录(你可以根据自己的意愿解压到别的目录。)，并给 IIS 启动帐户组或用户赋予读取和运行权限。如下图：
+ A( b2 ^' Y6 K7 N9 ^8 _
: I" N9 {8 q: R* E' h9 j2 D
3. 注册 PHP 到 FastCGI % U3 L0 {. m1 @+ @# [
打开 C:WINDOWSsystem32inetsrvfcgiext.ini 文件。
; This is the configuration file for the FastCGI handler for IIS 6.0.: O: q. R4 u+ n9 f
; The FastCGI handler will look for this file in the same directory as
; fcgiext.dll. By default, the FastCGI installer will place this file into
; the %windir%system32inetsrv directory.
- E( a5 J3 l' R% H8 n
我个人的理解是，只要“Web 服务扩展”里的 FastCGI Handler 为允许时，在加载 fcgiext.dll 时，会读取 fcgiext.ini 配置文件的内容，根据里面的配置为每个网站提供映射。
在 [Types] 下添加以下配置： ; `9 c; v2 t9 b6 W- `; y' r9 H6 H7 S
[Types]/ K. X# n9 p4 I9 e
8 b, @+ K$ f6 }; c4 w
php=PHP
[PHP]
ExePath=X:Server_CorePHPphp-cgi.exe
这里要用：“”不能用“/”,“php”表示扩展名，“PHP”是配置节名称，以“[PHP]”定义。 （选你自己的安装的目录，下同。）
) U. P; P N: w0 |7 D' u" f h- e( c8 R
4. 配置 php.ini
将 X:Server_CorePHPphp.ini-production 复制一个，然后重命名为 X:Server_CorePHPphp.ini ! q4 H: N9 X) K. X9 e }( S
找到PHP安装目录下的php.ini-production并改名为php.ini文件，找到下面% n4 k. G8 ?4 N# K! P. B
[Date]7 R _* z$ ?% u' ? t' v
; Defines the default timezone used by the date functions
; http//php.net/date.timezone
; date.timezone =, E+ d8 |! L0 J; N
更改为并去除前面的“；”：
[Date]( c% H4 u" v2 ~4 h( R4 @4 K
; Defines the default timezone used by the date functions
; http//php.net/date.timezone
date.timezone = Asia/Shanghai Q, @2 J ^9 t s) Q0 J
如果不改以上的date.timezone可能打开网页会提示500错误
找到6 s- j% ?# x$ F, h
; On windows:
; extension_dir = "ext"
改为. R- g. Z+ ~8 " D: O9 g
; On windows:
extension_dir = "X:Server_CorePHPext"
9 V2 g8 k' a- V9 " T" u/ z
找到:fastcgi.impersonate = 1;这句,把前面的;去掉, fastcgi.impersonate = 1
如下图:
5 P5 K9 c- [ n0 J( D( n
找到:short_open_tag= Off;改为
short_open_tag= On3 n2 X2 Y3 c( v) a# y6 X0 g+ {# ]
8 F0 L5 ]7 h8 w6 z. w
至于php.ini里面的extension开启方式，根据自己所需，找到：Windows Extensions 在 Windows Extensions 下方的动态模块配置中，需要打开以下模块支持：（去掉模块配置每行前面的；号即可）比如我的是: 7 v; k* P1 c
;extension=php_bz2.dll: n+ O" R$ Z) _7 [* B( c( D. K
;extension=php_curl.dll
;extension=php_dba.dll' f6 Y* p3 T4 R% q- c4 ] Z7 G
extension=php_mbstring.dll" C* _: V3 z- F% m
extension=php_exif.dll7 l4 N2 N" e {
;extension=php_fileinfo.dll7 E( X0 ~7 r; C* F9 j
extension=php_gd2.dll5 x9 ^1 g8 Q5 S" B F
;extension=php_gettext.dll$ O' S. v1 i2 O$ q. H: O; G
;extension=php_gmp.dll
;extension=php_intl.dll
;extension=php_imap.dll
;extension=php_interbase.dll. a! M+ _) z: _ P* @
extension=php_ldap.dll
;extension=php_ming.dll
;extension=php_mssql.dll3 g0 O) n8 c6 }9 M9 T7 X
extension=php_mysql.dll
extension=php_mysqli.dll
;extension=php_oci8.dll ; Use with Oracle 10gR2 Instant Client
;extension=php_oci8_11g.dll ; Use with Oracle 11g Instant Client
;extension=php_openssl.dll
;extension=php_pdo_firebird.dll
;extension=php_pdo_mssql.dll
;extension=php_pdo_mysql.dll
;extension=php_pdo_oci.dll. K0 q3 p6 t, ^# K) i* K
;extension=php_pdo_odbc.dll
;extension=php_pdo_pgsql.dll. { w3 O# E$ , U7 j% y$ r1 I
;extension=php_pdo_sqlite.dll
;extension=php_pgsql.dll$ T- g9 D 7 D3 Z+ n# S% U M
;extension=php_phar.dll
;extension=php_pspell.dll
;extension=php_shmop.dll
;extension=php_snmp.dll. K9 m+ o) O9 @7 W @0 N
;extension=php_soap.dll p S8 Q' s+ I, F0 L5 a1 v
;extension=php_sockets.dll
;extension=php_sqlite.dll
;extension=php_sqlite3.dll0 H5 ^$ l0 V7 g, M
;extension=php_sybase_ct.dll
;extension=php_tidy.dll2 m' J5 Q; A- T9 n
;extension=php_xmlrpc.dll
;extension=php_xsl.dll% h* t/ J" J) a8 t7 Q( I' n5 R9 F$ q
;extension=php_zip.dll
注意最后一个php_zip.dll这个在我下载下来的php5.3.0的ext内是不存在的，所以如果开启会报错误，如果实在需要这个DLL，可以从PHP5.2中拷贝过去（我的不行）
保存 php.ini 文件，并将其复制到 C:Windows ，并删除 X:Server_CorePHPphp.ini，不删除有时IIS报500错！
4 B0 M. ]9 U E3 d1 V
5. 配置网站 q% W* / n) c' `- Y
; t4 X! x( V, T! [) [2 |4 [
打开IIS管理器，网站上点右键-属性-主目录-配置-添加，配置如下图" j9 W, {" c4 S% @2 I1 x
Q6 _: a8 g, m q/ R, R
# ^% v* ?# G6 |
可执行文件路径：C:WINDOWSsystem32inetsrvfcgiext.dll
6.相关权限配置
C:WINDOWSsystem32inetsrvfcgiext.dll 的权限，NETWORK_SERVICE和IUSR_***(Internet来宾账户)的可读和运行权限。
PHP安装目录的权限，NETWORK_SERVICE的读和运行权限
网站所在目录的权限，IUSR_***(Internet来宾账户)的读取和运行权，需要写入的目录单独再给写入权
7. 写个 php 测试下吧
" m: |: h# L' b% y; }
修改完在IIS上或者命令提示符运行iisreset命令重启IIS服务，这步很重要！
( M6 w6 {! R y ~4 F
测试是否安装成功!
建立一个网站,phpinfo.php文件内容为:/ o+ p' n$ t8 T+ O( b2 s P. P
文件:phpinfo.php
?php
phpinfo();
?
6 j- O: M6 | [, p/ p t
看到类似以下效果说明你的服务器可以跑 php 了。
php 视频教程下载
链接:
提取码: c9fj
《PHP自学视频教程》 分3篇共22章，其中，第1篇为入门篇，主要包括了解PHP、PHP开发环境搭建、PHP开发基础、PHP流程控制语句、函数、字符串操作、正则表达式、PHP数组、PHP与Web页面交互、日期和时间等内容；第2篇为提高篇，主要包括MySQL数据库设计、PHP操作MySQL数据库、Cookie和Session、图形图像处理技术、文件和目录处理技术、面向对象、PDO数据库抽象层、程序调试与错误处理、Ajax技术、Smarty模板技术等内容；第3篇为实战篇，主要包括明日企业网、应用Smarty模板开发电子商务平台等两个实战项目。
