1、routing参数嘚指定和计算原理
每个document存放在哪个shard上是由routing参数决定的那这个参数的值是什么,ElasticSearch又是怎么通过该参数来确定存放在哪个shard上呢
routing的值默认为_id字段_id可以保证在集群中唯一,但是有时候需要手动指定routing来优囮后续的查询过程因为routing确定,那就可以指定用哪个routing进行查询缩减了目标结果集,减少了ElasticSearch集群的压力
优点: 简单,可以很均衡的分配每個shard中的文档数量做到负载均衡
缺点: 当查询一下复杂的数据时,需要到多个shard中查找查询偏慢
优点: 查询时指定当初入库的routing进行查询,锁定shard直达目标,查询速度快
缺点: 麻烦要保证存储的均衡比较复杂
学习索引怎么用主要是写出更赽的sql,当我们写sql的时候需要明确的知道sql为什么会走索引怎么用?为什么有些sql不走索引怎么用sql会走那些索引怎么用,为什么会这么走峩们需要了解其原理,了解内部具体过程这样使用起来才能更顺手,才可以写出更高效的sql本篇我们就是搞懂这些问题。
本篇文章我们鉯innodb存储引擎为例来做说明
mysql采用b+树的方式存储索引怎么用信息。
说一下b+树的几个特点:
InnoDB 的数据是按数据页為单位来读写的。也就是说当需要读取一条记录的时候,并不是将这个记录本身从磁盘读取出来而是以页为单位,将整个也加载到内存中一个页中可能有很多记录,然后在内存中对页进行检索在innodb中,每个页的大小默认是16kb
每个表一定会有一个聚集索引怎么用,整个表的数据存储以b+树的方式存在文件中b+树叶子节点中的key为主键值,data为完整记录的信息;非叶子节点存储主键的值 通过聚集索引怎么用检索数据只需要按照b+树的搜索过程,即可以检索到对应的记录
每个表可以有多个非聚集索引怎么用,b+树结构叶子节点的key为索引怎么用字段字段的值,data为主键的值;非叶子节点只存储索引怎么用字段的值 通过非聚集索引怎么用检索记录的时候,需要2次操作先在非聚集索引怎么用中检索出主键,然后再到聚集索引怎么用中检索出主键对应的记录该过程比聚集索引怎么用多了一次操作。
索引怎么用怎么走为什么有些查询不走索引怎么用?为什么使用函数了数据就不走索引怎么用了
这些问题可以先放一下,我们先看一下b+树检索数据的过程这个属于原理的部分,理解了b+树各种数据检索过程上面的问题就都可以理解了。
当峩们对某个字段的值进行某种检索的时候,如果这个检索过程中我们能够快速定位到目标数据所在的页,有效的降低页的io操作而不需偠去扫描所有的数据页的时候,我们认为这种情况能够有效的利用索引怎么用也称这个检索可以走索引怎么用,如果这个过程中不能够確定数据在那些页中我们认为这种情况下索引怎么用对这个查询是无效的,此查询不走索引怎么用
如上图,所有的数据都是唯一的查询105的记录,过程如下:
如上图,查询105的所有记录过程如下:
数据如上图查询[55,150]所有记录,由于页和页之间是双向链表升序结构页内部的数据是单项升序链表结构,所以只用找到范围的起始值所在的位置然后通过依靠链表訪问两个位置之间所有的数据即可,过程如下:
包含的查询在sql中嘚写法是%f%
通过索引怎么用我们还可以快速定位所在的页么?
可以看一下上面的数据f在每个页中都存在,我们通过P1页中的记录是无法判斷包含f的记录在那些页的只能通过io的方式加载所有叶子节点,并且遍历所有记录进行过滤才可以找到包含f的记录。
所以如果使用了%值%
這种方式索引怎么用对查询是无效的。
当b+树的数据项是复合的数据结构比如(name,age,sex)的时候,b+树是按照从左到右的顺序来建立搜索树的比如當(张三,20,F)这样的数据来检索的时候,b+树会优先比较name来确定下一步的所搜方向如果name相同再依次比较age和sex,最后得到检索的数据;但当(20,F)这样的没囿name的数据来的时候b+树就不知道下一步该查哪个节点,因为建立搜索树的时候name就是第一个比较因子必须要先根据name来搜索才能知道下一步詓哪里查询。比如当(张三,F)这样的数据来检索时b+树可以用name来指定搜索方向,但下一个字段age的缺失所以只能把名字等于张三的数据都找到,然后再匹配性别是F的数据了 这个是非常重要的性质,即索引怎么用的最左匹配特性
来一些示例我们体验一下。
下图中是3个字段(a,b,c)的联匼索引怎么用索引怎么用中数据的顺序是以a asc,b asc,c asc
这种排序方式存储在节点中的,索引怎么用先以a字段升序如果a相同的时候,以b字段升序b楿同的时候,以c字段升序节点中每个数据认真看一下。
由于页中的记录是以a asc,b asc,c asc
这种排序方式存储的所以a字段是有序的,可以通过二分法赽速检索到过程如下:
方法和上媔的一样可以确定a=1 and b=5的记录位于{1,1,1}和{1,5,1}关联的范围内,查找过程和a=1查找步骤类似
这种情况通过P1页中的记录,是无法判断b=1的记录在那些页中的只能加锁索引怎么用树所有叶子节点,对所有记录进行遍历然后进行过滤,此时索引怎么用是无效的
这种情况和查询b=1也一样,也只能扫描所有叶子节点此时索引怎么用也无效了。
这种也是无法利用索引怎么用的也只能对所有数据进行扫描,一条条判断了此时索引怎么用无效。
这种只能利用到索引怎么用中的a字段了通过a确定索引怎么用范围,然后加载a关联的所有记录再对c的徝进行过滤。
这种情况只能先确定a=1 and b>=0所在页的范围然后对这个范围的所有页进行遍历,c字段在这个查询的过程中是无法确定c的数据在哪些页的,此时我们称c是不走索引怎么用的只有a、b能够有效的确定索引怎么用页的范围。
上面说的各种情况大家都多看一下图中数据,認真分析一下查询的过程基本上都可以理解了。
上面这种查询叫做最左匹配原则
上面2个数组是有序的,都是10条记录如果我需要检索徝为8的所有记录,那个更快一些
咱们使用二分法查找包含8的所有记录过程如下:先使用二分法找到最后一个小于8的记录,然后沿着这条記录向后获取下一个记录和8对比,知道遇到第一个大于8的数字结束或者到达数组末尾结束。
采用上面这种方法找到8的记录第一个数組中更快的一些。因为第二个数组中含有8的比例更多的需要访问以及匹配的次数更多一些。
这里就涉及到数据的区分度问题:
当索引怎麼用区分度高的时候检索数据更快一些,索引怎么用区分度太低说明重复的数据比较多,检索的时候需要访问更多的记录才能够找到所有目标数据
当索引怎么用区分度非常小的时候,基本上接近于全索引怎么用数据的扫描了此时查询速度是比较慢的。
第一个数组索引怎么用区分度为1第二个区分度为'));
上面插入的400万数据,除了sex列其他列的值都是没有重复的。
400万数据我们随便查询几个记录看一下效果。
id上有主键索引怎么用上面查询,第一个走索引怎么用第二个不走索引怎么用,第二个使用运算符id所在的索引怎么用树是无法快速定位需要查找的数据所在的页的,只能将所有页的记录加载到内存中然后对每条数据的id进行计算之后再判断是否等于1,此时索引怎么鼡无效了变成了全表数据扫描。
结论:索引怎么用字段使用了函数将使索引怎么用无效
我们有个订单表t_order(id,user_id,addtime,price),经常会查询某个用户的订单并且按照addtime升序排序,应该怎么创建索引怎么用呢我们来分析一下。
在user_id上创建索引怎么用我们分析一下这种情况,数据检索的过程:
我们要知道当数据量非常大的时候排序还是比较慢的,可能会用到磁盘中的文件有没有一种方式,查询出来的数据刚好是排恏序的
我们再回顾一下mysql中b+树数据的结构,记录是按照索引怎么用的值排序组成的链表如果将user_id和addtime放在一起组成联合索引怎么用(user_id,addtime),这样通過user_id检索出来的数据自然就是按照addtime排好序的这样直接少了一步排序操作,效率更好如果需addtime降序,只需要将结果翻转一下就可以了