IT教程 ·

MySQL8.0 InnoDB并行执行

276 0 0

objectarx 多段线自交检查

概述

MySQL经由多年的生长已然成为最盛行的数据库，普遍用于互联网行业，并逐渐向各个传统行业渗入。之所以盛行，一方面是其优异的高并发事务处置惩罚的才能，另一方面也得益于MySQL雄厚的生态。MySQL在处置惩罚OLTP场景下的短查询效果很好，但关于庞杂大查询则才能有限。最直接一点就是，关于一个SQL语句，MySQL最多只能运用一个CPU核来处置惩罚，在这类场景下没法发挥主机CPU多核的才能。MySQL没有裹足不前，一直在生长，新推出的8.0.14版本第一次引入了并行查询特征，使得check table和select count(*)范例的语句机能成倍提拔。虽然现在运用场景还比较有限，但后续的生长值得期待。

运用体式格局

经由历程设置参数innodb_parallel_read_threads来设置并发线程数，就能够入手下手并行扫描功用，默许这个值为4。我这里做一个简朴的试验，经由历程sysbench导入2亿条数据，离别设置innodb_parallel_read_threads为1，2，4，8，16，32，64，测试并行实行的效果。测试语句为select count(*) from sbtest1;

MySQL8.0 InnoDB并行执行 IT教程 第1张

横轴是设置并发线程数，纵轴是语句实行时候。从测试效果来看，全部并行表现照样不错的，扫描2亿条纪录，从单线程的18s，下降到32线程的1s。背面并发开再多，由于数据量有限，多线程的治理斲丧超过了并发带来的机能提拔，不能再继承收缩SQL实行时候。

MySQL并行实行

实际上现在MySQL的并行实行还处于异常低级阶段，以下图所示，左侧是之前MySQL串行处置惩罚单个SQL形状；中心的是现在MySQL版本供应的并行才能，InnoDB引擎并行扫描的形状；最右侧的是未来MySQL要生长的形状，优化器依据体系负载和SQL生成并行设计，并将分区设计下发给实行器并行实行。并行实行不仅仅是并行扫描，还包含并行群集，并行衔接，并行分组，以及并行排序等。现在版本MySQL的上层的优化器以及实行器并没有配套的修正。因而，下文的议论重要集合在InnoDB引擎怎样完成并行扫描，重要包含分区，并行扫描，预读以及与实行器交互的适配器类。

MySQL8.0 InnoDB并行执行 IT教程 第2张

分区

并行扫描的一个中心步骤就是分区，将扫描的数据分别红多份，让多个线程并行扫描。InnoDB引擎是索引构造表，数据以B+tree的情势存储在磁盘上，节点的单元是页面(block/page)，同时缓冲池中会对热门页面举行缓存，并经由历程LRU算法举行镌汰。分区的逻辑就是，从根节点页面动身，逐层往下扫描，当推断某一层的分支数超过了设置的线程数，则住手拆分。在完成时，实际上统共会举行两次分区，第一次是按根节点页的分支数分别分区，每一个分支的最左叶子节点的纪录为左下界，并将这个纪录记为相邻上一个分支的右上界。经由历程这类体式格局，将B+tree分别红若干子树，每一个子树就是一个扫描分区。经由第一次分区后，大概涌现分区数不能充足利用多核问题，比方设置了并行扫描线程为3，第一次分区后，产生了4个分区，那末前3个分区并行做完后，第4个分区最多只要一个线程扫描，终究效果就是不能充足利用多核资本。

二次分区

为了处理这个问题，8.0.17版本引入了二次分区，关于第4个分区，继承下探拆分，如许多个子分区又能并发扫描，InnoDB引擎并发扫描的最小粒度是页面级别。详细推断二次分区的逻辑是，一次分区后，若分区数大于线程数，则编号大于线程数的分区，须要继承举行二次分区；若分区数小于线程数且B+tree条理很深，则一切的分区都须要举行二次分区。相干代码以下：

split_point = 0;
if (ranges.size() > max_threads()) {
   //末了一批分区举行二次分区                                      
   split_point = (ranges.size() / max_threads()) * max_threads();          
 } else if (m_depth < SPLIT_THRESHOLD) {                                  
   /* If the tree is not very deep then don't split. For smaller tables    
   it is more expensive to split because we end up traversing more blocks*/
   split_point = max_threads();                                            
 } else {
   //假如B+tree的条理很深(层数大于或即是3，数据量很大)，则一切分区都须要举行二次分区