ziggle

Hail Hydra


  • Home

  • Archives

  • Search

mysql-sql优化

Posted on 2020-10-09

问题:

对于小的偏移量,直接使用limit来查询没有什么问题,但随着数据量的增大,越往后分页,limit语句的偏移量就会越大,速度也会明显变慢。
优化思想:
避免数据量大时扫描过多的记录

解决:

子查询的分页方式或者JOIN分页方式。
JOIN分页和子查询分页的效率基本在一个等级上,消耗的时间也基本一致。
下面举个例子。一般MySQL的主键是自增的数字类型,这种情况下可以使用下面的方式进行优化。
下面以真实的生产环境的80万条数据的一张表为例,比较一下优化前后的查询耗时:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
-- 传统limit,文件扫描
[SQL]SELECT * FROM tableName ORDER BY id LIMIT 500000,2;
受影响的行: 0
时间: 5.371s

-- 子查询方式,索引扫描
[SQL]
SELECT * FROM tableName
WHERE id >= (SELECT id FROM tableName ORDER BY id LIMIT 500000 , 1)
LIMIT 2;
受影响的行: 0
时间: 0.274s

-- JOIN分页方式
[SQL]
SELECT *
FROM tableName AS t1
JOIN (SELECT id FROM tableName ORDER BY id desc LIMIT 500000, 1) AS t2
WHERE t1.id <= t2.id ORDER BY t1.id desc LIMIT 2;
受影响的行: 0
时间: 0.278s

复制代码可以看到经过优化性能提高了将近20倍。

优化原理:

子查询是在索引上完成的,而普通的查询时在数据文件上完成的,通常来说,索引文件要比数据文件小得多,所以操作起来也会更有效率。因为要取出所有字段内容,第一种需要跨越大量数据块并取出,而第二种基本通过直接根据索引字段定位后,才取出相应内容,效率自然大大提升。
因此,对limit的优化,不是直接使用limit,而是首先获取到offset的id,然后直接使用limit size来获取数据。
在实际项目使用,可以利用类似策略模式的方式去处理分页,例如,每页100条数据,判断如果是100页以内,就使用最基本的分页方式,大于100,则使用子查询的分页方式。

对uuid处理

因为插入值会随机写到索引的不同位置,使得insert更慢,这会导致页分裂,磁盘随机访问,以及对聚集索引产生碎片,
逻辑上相邻的行被分布在磁盘和内存的不同位置
随机值导致缓存对所有类型的查询语句效果很差,使得缓存依赖以工作的访问局部性原理失效,

如果存储uuid应该移除 ‘-‘ 符号,或者更好的做法是,用UNHEX()函数转换uuid为16字节的数字,并且存储在一个binary(16)列中,

物化视图

物化视图是预先计算并存储在磁盘上的表,通过各种策略刷新和更新,mysql不支持(flexviews)

alter table

mysql 执行大部分 alter table操作 使用新的结构创建按一个空表, 从旧表中查出所有的数据插入新表,然后删除旧表. 当内存不足而且表又很大时,而且有很多索引的情况下尤其如此,

spring-mvc

Posted on 2020-10-07

SpringMVC 原理

Spring 的模型-视图-控制器(MVC)框架是围绕一个 DispatcherServlet 来设计的,这个 Servlet
会把请求分发给各个处理器,并支持可配置的处理器映射、视图渲染、本地化、时区与主题渲染
等,甚至还能支持文件上传。

Http 请求到 DispatcherServlet
(1) 客户端请求提交到 DispatcherServlet。
HandlerMapping 寻找处理器
(2) 由 DispatcherServlet 控制器查询一个或多个 HandlerMapping,找到处理请求的
Controller。
调用处理器 Controller
(3) DispatcherServlet 将请求提交到 Controller。
Controller 调用业务逻辑处理后,返回 ModelAndView
(4)(5)调用业务处理和返回结果:Controller 调用业务逻辑处理后,返回 ModelAndView。
DispatcherServlet 查询 ModelAndView
(6)(7)处理视图映射并返回模型: DispatcherServlet 查询一个或多个 ViewResoler 视图解析器,
找到 ModelAndView 指定的视图。
ModelAndView 反馈浏览器 HTTP
(8) Http 响应:视图负责将结果显示到客户端。

java-nio

Posted on 2020-10-07

NIO 的非阻塞

IO 的各种流是阻塞的。这意味着,当一个线程调用 read() 或 write()时,该线程被阻塞,直到有
一些数据被读取,或数据完全写入。该线程在此期间不能再干任何事情了。 NIO 的非阻塞模式,
使一个线程从某通道发送请求读取数据,但是它仅能得到目前可用的数据,如果目前没有数据可
用时,就什么都不会获取。而不是保持线程阻塞,所以直至数据变的可以读取之前,该线程可以
继续做其他的事情。 非阻塞写也是如此。一个线程请求写入一些数据到某通道,但不需要等待它
完全写入,这个线程同时可以去做别的事情。 线程通常将非阻塞 IO 的空闲时间用于在其它通道上
执行 IO 操作,所以一个单独的线程现在可以管理多个输入和输出通道(channel)。

Selector

Selector 能够检测多个注册的通道上是否有事件发生,如果事件发生,便获取事件然后针对每个事件进行相应的相应处理
这样一个单线程就可以处理多个通道,也就是管理多个连接,

jvm-内存回收

Posted on 2020-10-06

对空间基本结构
eden s0 s1 tentired
新生代GC(MinorGC)
老年代GC(MajorGC)

判断对象是否会被回收

引用技术(循环引用)
GC Root

引用类型

  • 强引用
  • 软引用 内存不足会被回收,如果软引用对象被回收虚拟机会把这个软引用加入到与之相关联的队列中
  • 弱引用
  • 虚引用

java-collection

Posted on 2020-10-06

集合

RandomAccess 空接口
数组是天然支持随机访问的, 时间复杂度为O(1) 所以称为快速随机访问,

123…22
ziggle

ziggle

Hail Hydra !

110 posts
45 tags
RSS
GitHub
© 2021 ziggle
Powered by Hexo
|
Hail Hydra—