搜索结果
查询Tags标签： 数据量，共有 152条记录-
简谈数据库分库分表
为何分表 当一张表的数据达到千万级时甚至亿级时，查询一次所花的时间会变多，如果有联合查询的话可能会死在那儿了。分表的目的就在于此，减小数据库的负担，缩短查询时间。 大数据量并且访问频繁的表，将其分为若干个表:比如对于某些网站平台的数据库表，数据量很大，这…
2021/12/15 19:51:01 人评论 次浏览 -
数据量达到1000w或以上使用分库分表提升数据库操作性能
数据切分根据其切分类型，可以分为两种方式：垂直（纵向）切分和水平（横向）切分 1.ShardingSphere-Jdbc ShardingSphere-Jdbc定位为轻量级Java框架，在Java的Jdbc层提供的额外服务。它使用客户端直连数据库，以jar包形式提供服务，可理解为增强版的Jdbc驱动，完全兼容Jd…
2021/12/11 2:17:54 人评论 次浏览 -
数据量达到1000w或以上使用分库分表提升数据库操作性能
数据切分根据其切分类型，可以分为两种方式：垂直（纵向）切分和水平（横向）切分 1.ShardingSphere-Jdbc ShardingSphere-Jdbc定位为轻量级Java框架，在Java的Jdbc层提供的额外服务。它使用客户端直连数据库，以jar包形式提供服务，可理解为增强版的Jdbc驱动，完全兼容Jd…
2021/12/11 2:17:54 人评论 次浏览 -
Elasticsearch： 大数据量下如何做分页查询？
背景说明 业务场景中需要做基于ES的分页查询，而ES存储了上亿条数据，且数据每天还在不断增长，如何做分页查询呢（注意查询效率）？ 本质就是一个深度分页查询的问题，很多人可能会尝试ES自带的滚动查询机制。但在大数据量情况下，此种方式是行不通的（不信的可以自行尝试…
2021/12/1 6:08:17 人评论 次浏览 -
Elasticsearch： 大数据量下如何做分页查询？
背景说明 业务场景中需要做基于ES的分页查询，而ES存储了上亿条数据，且数据每天还在不断增长，如何做分页查询呢（注意查询效率）？ 本质就是一个深度分页查询的问题，很多人可能会尝试ES自带的滚动查询机制。但在大数据量情况下，此种方式是行不通的（不信的可以自行尝试…
2021/12/1 6:08:17 人评论 次浏览 -
记一次内存溢出处理经历
最近刚上线一个项目，没过多久测试反馈说导出excel的功能很卡，卡着卡着网站就崩了。 用jstat查了一下，发现导出大量数据的时候，老年代的占比一直在升高，没有降低过，而且cpu一直在狂转，感觉是在不停gc，但是又没有释放多少空间。用jmap查看了一下，发现占用内存最多的…
2021/11/29 7:06:13 人评论 次浏览 -
记一次内存溢出处理经历
最近刚上线一个项目，没过多久测试反馈说导出excel的功能很卡，卡着卡着网站就崩了。 用jstat查了一下，发现导出大量数据的时候，老年代的占比一直在升高，没有降低过，而且cpu一直在狂转，感觉是在不停gc，但是又没有释放多少空间。用jmap查看了一下，发现占用内存最多的…
2021/11/29 7:06:13 人评论 次浏览 -
查询优化实践-索引覆盖
前段时间有开发反应线上某个接口查询性能很低下，要好几秒钟才能出结果。查看了查询语句，语句并不复杂，就是简单的汇总跟了几个查询条件，只是表的数据量有点大，几百万数据量。 查看了一下执行计划，有使用到索引，但是索引的列并没有覆盖到查询中所有的条件，另外部分…
2021/11/28 23:41:58 人评论 次浏览 -
查询优化实践-索引覆盖
前段时间有开发反应线上某个接口查询性能很低下，要好几秒钟才能出结果。查看了查询语句，语句并不复杂，就是简单的汇总跟了几个查询条件，只是表的数据量有点大，几百万数据量。 查看了一下执行计划，有使用到索引，但是索引的列并没有覆盖到查询中所有的条件，另外部分…
2021/11/28 23:41:58 人评论 次浏览 -
数据库自增 ID 用完了会怎么样？
前言 数据库中的自增 ID 用完了该怎么办？ 这个问题可以分为有主键 & 无主键两种情况回答。 有主键 如果你的表有主键，并且把主键设置为自增。 在 MySQL 中，一般会把主键设置成 int 型。而 MySQL 中 int 型占用 4 个字节，作为有符号位的话范围就是 [-2^31, 2^31-1]…
2021/11/24 19:43:39 人评论 次浏览 -
数据库自增 ID 用完了会怎么样？
前言 数据库中的自增 ID 用完了该怎么办？ 这个问题可以分为有主键 & 无主键两种情况回答。 有主键 如果你的表有主键，并且把主键设置为自增。 在 MySQL 中，一般会把主键设置成 int 型。而 MySQL 中 int 型占用 4 个字节，作为有符号位的话范围就是 [-2^31, 2^31-1]…
2021/11/24 19:43:39 人评论 次浏览 -
利用 python 的 socket 库编写简单的 tcp 服务器
流程client 三次握手与 server 建立连接 server 阻塞读，等待 client 写 server 处理 client 阻塞读，等待 server 处理完后写 server 写数据 会话结束问题：读的一方怎么确定对方发送多少数据？方法一：已知数据量最大值，直接读取最大数据量，比如 sock.recv(2048)方法二…
2021/11/6 11:40:15 人评论 次浏览 -
利用 python 的 socket 库编写简单的 tcp 服务器
流程client 三次握手与 server 建立连接 server 阻塞读，等待 client 写 server 处理 client 阻塞读，等待 server 处理完后写 server 写数据 会话结束问题：读的一方怎么确定对方发送多少数据？方法一：已知数据量最大值，直接读取最大数据量，比如 sock.recv(2048)方法二…
2021/11/6 11:40:15 人评论 次浏览 -
将规则配置到数据库中，当表中数据量很大的时候通过规则计算非常卡
解决方案：通过临时表先将数据查出再运用规则。 原规则：SELECT @IsAfterPA_01,CASE WHEN COUNT(*)>0 THEN TRUE ELSE FALSE END FROM 表A p1,表A p2 WHERE p1.id = @flow_id AND p2.pdctno = @pdctno AND p2.techno = PA_01 AND p2.globalOrder < p1.globalOrde…
2021/11/3 19:13:51 人评论 次浏览 -
将规则配置到数据库中，当表中数据量很大的时候通过规则计算非常卡
解决方案：通过临时表先将数据查出再运用规则。 原规则：SELECT @IsAfterPA_01,CASE WHEN COUNT(*)>0 THEN TRUE ELSE FALSE END FROM 表A p1,表A p2 WHERE p1.id = @flow_id AND p2.pdctno = @pdctno AND p2.techno = PA_01 AND p2.globalOrder < p1.globalOrde…
2021/11/3 19:13:51 人评论 次浏览
