PHP导出数据超时的优化建议

admin3年前PHP教程35

一般情况下,导出超时可能都是以下三种情况:
  一、sql语句复杂,查询时间过长;
  二、处理查询后数据逻辑冗余;
  三、数据量过大导致响应超时。
接下来分别给出这三种情况的优化建议。

一、sql语句复杂,查询时间过长

  1、查看索引是否设置妥当,即所用的查询条件是否有添加索引,当然索引不是越多越好,只需给常用的查询条件加上即可,一般采用B+树的索引方式(具体原因可自行百度,不再赘述)
  2、在查询语句中尽量避免IN、NOT IN、IS NULL、OR、!=、<>、LIKE、OR、NOT EXISTS这些查询条件的出现,会导致索引失效。
- IN查询时,可以考虑用BETWEEN来代替
- LIKE查询时,仅当"%"在前时会索引失效,"%"在后是不会失效的
- 查询条件里还要避免数字的出现,使用字符串,数字也会导致索引失效,例如,查询:"pid"=1,可以优化为"pid"="1"
- 要尽量避免在循环中使用查询语句,这种情况一般可以用join或者with来解决(当涉及到跨库时,请谨慎使用这种方式!)
- 查询时,可以指定需要查询的字段,排除掉不需要的字段避免资源浪费
- 当数据量多大时,可以使用分页和缓存来优化(具体方法请参考数据量过大导致响应超时部分)
温馨提示:在执行查询语句后,可以通过show profiles来查询语句的资源消耗情况来帮助你更好的优化sql语句;关于查询语句是否使用了索引,可以在查询语句前加explain来查看索引使用情况,例如:
explain select * from user where id= '1';

二、处理查询后数据逻辑冗余
- 在做数组循环时,尽量使用continue、break来减少没必要的循环;
 
- 尽量减少if嵌套层数,在需要用到多个if-else时,使用switch可以提高效率,特别是在数据量大时
- 当进行数组赋值时,
  一次赋一个值,使用$arr[]=1,会比array_push($arr,"1"),更快,
  但是当需要多次赋值时,
    array_push($arr,"1","2","3",...),会比
    $arr[]="1";
    $arr[]="2"
    $arr[]="3"
    ...
  更快
  
- 遍历数组进行赋值时,尽量使用引用的方式,减少内存开销,例如:
  
    foreach($arr as &$item){
      $item = 1;
      ...
    }
三、数据量过大导致响应超时

当数量两过大,又不想用异步的方式导出excel文件时,可以尝试使用csv来作为到处格式,且查询导出数据时可以使用分页的方式查询,导出时利用ob_flush进行缓存。例如:


$page = 1;    // 页面
$pageSize = 1000;    //每页条数
while(
  $list = Db::name("user")->page($page)->limit($pageSize)->select()
)
{
  foreach($list as &$item){
    // TODO 进行相应的逻辑处理
  }
  $page++;
}

当数据访问次数过多时,建议使用redis缓存一些固定数据,减少mysql查询次数。
当然,最好的方式还是使用异步的方式导出,建议使用python或者go语言搭建微服务来进行导出。

到此这篇关于PHP导出数据超时的优化的文章就介绍到这了,更多相关PHP导出数据超时内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!

免责声明:本文内容来自用户上传并发布,站点仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。请核实广告和内容真实性,谨慎使用。

相关文章

浅谈PHP设计模式之对象池模式Pool

目录目的UML 类图代码测试目的在初始化实例成本高,实例化率高,可用实例不足的情况下,对象池可以极大地提升性能。在创建对象(尤其是通过网络)时间花销不确定的情况下,通过对象池在可期时间内就可以获得所需...

gpu服务器与FpgA云服务器有什么区别美国GPU服务器有哪些方面的优点

gpu服务器(gpucloudcomputing)是基于gpu应用的计算服务,具有实时高速的并行计算和浮点计算能力,适应用于3d图形应用程序、视频解码、深度学习、科学计算等应用场景。我们提供和标准云服...

勒索攻击到底该怎么防御?美国电信高防服务器如何防御DOSS攻击?

当前,勒索攻击、僵尸网络攻击、DDos攻击、APT攻击、挖矿攻击、供应链攻击、网站攻击、电信诈骗等各种攻击手段层出不穷。勒索攻击应该是今年网络安全行业讨论最多的话题,勒索钱财或者窃取商业数据是黑产最主...

Thinkphp6.0中间件的具体使用

目录全局中间件 应用中间件 路由中间件 控制器中间件 中间件传参 6.0中间件分为系统中间件和应用中间件,系统中间件为核心框架内置的中间件,应用中间件是在应用里面创建的中间件。中间件的主要应用场景可以...

德国服务器延迟高怎么解决

德国服务器延迟高怎么解决?如果您的计算机连接到德国服务器时遇到延迟高的问题,以下是一些解决问题的方法:更换服务器:如果您连接到的服务器受到过载或网络故障,可能会导致延迟增加。尝试更换其他可用的德国服务...

深度学习选择韩国显卡服务器租用

什么是GPU服务器?GPU即图形处理器,又称显示核心、视觉处理器、显示芯片,是一种专门用做图像和图形相关运算工作的微处理器。GPU服务器是基于GPU的应用于视频编解码、深度学习、科学计算等多种场景的快...