搜索结果
查询Tags标签： 数据量，共有 152条记录-
性能测试监控指标及分析调优 | 京东云技术团队
一、哪些因素会成为系统的瓶颈？ 1、CPU，如果存在大量的计算，他们会长时间不间断的占用CPU资源，导致其他资源无法争夺到CPU而响应缓慢，从而带来系统性能问题，例如频繁的FullGC，以及多线程造成的上下文频繁的切换，都会导致CPU繁忙，一般情况下CPU使用率<75%比较合…
2023/5/27 1:23:47 人评论 次浏览 -
基于Spring-AOP的自定义分片工具
1 背景随着数据量的增长，发现系统在与其他系统交互时，批量接口会出现超时现象，发现原批量接口在实现时，没有做分片处理，当数据过大时或超过其他系统阈值时，就会出现错误。由于与其他系统交互比较多，一个一个接口做分片优化，改动量较大，所以考虑通过AOP解决此问题…
2022/11/23 1:23:53 人评论 次浏览 -
Redis内核的调用原理
Redis是一个单进程单线程单实例的缓存框架，但是照样做到了大数据量的吞吐，是因为什么呢？ 1、Redis在请求内核的时候，在过路的路上有用到一个叫做epoll的组件 2、epoll实现了线程的多路复用，并且在中间还增加了一个共享位置，这样，当JVM中的数据和内核的数据在做交换…
2022/9/11 2:23:28 人评论 次浏览 -
计算机网络性能指标之吞吐量（throughput）
计算机网络性能指标速率（或数据率，即 bps）指的是你网络单位时间内最大能传输的数据量，往往受很多外界因素的影响（时延、信道的干扰），实际上并没有速率标识的那么大。所以，速率也只是一个额定速率（或标称速率）。 对实际的速率有专门的名词：吞吐量（throughput）…
2022/9/7 6:23:28 人评论 次浏览 -
[MySQL]查询所有表数据量
1. 所有表 mysql> SELECT TABLE_NAME,TABLE_ROWS FROM information_schema.`TABLES`-> WHERE TABLE_SCHEMA = (SELECT database())-> ORDER BY TABLE_ROWS DESC; +------------------------+------------+ | TABLE_NAME | TABLE_ROWS | +-----------…
2022/9/6 2:22:53 人评论 次浏览 -
mysql更改执行计划_数据量增加导致MySQL执行计划改变
收到运维同学电话，MySQL服务器连接数满了，登录服务器查看，确实满了，好吧，首先增加连接数到2500，暂时提供对外服务。连接继续升高，又快达到2500。发现有大量的查询时间将近到了1200秒，大量的长连接堆积，导致连接数攀升，看来还是sql的问题。在这些长连接中，发现这…
2022/8/26 2:25:21 人评论 次浏览 -
mysql 水平切割和垂直切割
1，水平分割： 例：QQ的登录表。假设QQ的用户有100亿，如果只有一张表，每个用户登录的时候数据库都要从这100亿中查找，会很慢很慢。如果将这一张表分成100份，每张表有1亿条，就小了很多，比如qq0,qq1,qq1...qq99表。 用户登录的时候，可以将用户的id0，那么会得到0-99…
2022/8/23 2:55:02 人评论 次浏览 -
性能测试如何准备测试数据
读者提问：『性能测试准备测试数据，我是从数据库中把数据提取出来，放在 TXT 中，是否需要直接从数据库中访问数据，这两者得到的性能测试结果差异大吗，应该以哪个为准呢 ？』阿常回答：数据量较小的情况，数据放在 TXT 中或是从数据库中读取，区别不大。数据量较大的情…
2022/8/4 23:24:37 人评论 次浏览 -
后端思维之数据库性能优化方案
前言毫不夸张的说咱们后端工程师，无论在哪家公司，呆在哪个团队，做哪个系统，遇到的第一个让人头疼的问题绝对是数据库性能问题。如果我们有一套成熟的方法论，能让大家快速、准确的去选择出合适的优化方案，我相信能够快速准备解决咱么日常遇到的80%甚至90%的性能问题。…
2022/7/27 2:25:10 人评论 次浏览 -
基于EasyExcel的大数据量导入并去重
源码：https://gitee.com/antia11/excel-data-import-demo 背景：客户需要每周会将上传一个 Excel 数据文件，数据量单次为 20W 以上，作为其他模块和报表的基础数据。 客户需求分析：数据量为 20W 条左右。 数据需要去重。 等待时间不能太长。 文件中会有错误数据存在，错…
2022/7/24 23:26:03 人评论 次浏览 -
数据库性能优化八大方案，你知道几个
前言毫不夸张的说咱们后端工程师，无论在哪家公司，呆在哪个团队，做哪个系统，遇到的第一个让人头疼的问题绝对是数据库性能问题。如果我们有一套成熟的方法论，能让大家快速、准确的去选择出合适的优化方案，我相信能够快速准备解决咱么日常遇到的80%甚至90%的性能问题。…
2022/7/8 2:21:43 人评论 次浏览 -
对分库分表的认知
以前对分库分表的认知是狭隘的， 分库分表都可以在垂直方向和水平方向进行思考； 垂直方向是指业务层面的切分： 分库：可以分为用户库，帖子库等等 分表：将业务进行细分，防止某个表的字段数量过多，比如用户表可以分为用户基本信息表和用户扩展信息表 水平方向： 分库有…
2022/6/27 6:21:06 人评论 次浏览 -
sql server 为千万级数据量的表建立分区效果如何
1.数据库所在服务器信息2.表数据量截图declare @table_spaceused table (name nvarchar(100) ,rows int ,reserved nvarchar(100) ,data nvarchar(100) ,index_size nvarchar(100) ,unused nvarchar(100) ) insert into @table_spaceused (name,rows,reserved,data,index…
2022/6/27 2:20:26 人评论 次浏览 -
Leetcode 1169. 查询无效交易（如果数据量不大,这种题还是得暴力枚举解决）
如果出现下述两种情况，交易 可能无效：交易金额超过 $1000 或者，它和 另一个城市 中 同名 的另一笔交易相隔不超过 60 分钟（包含 60 分钟整）给定字符串数组交易清单 transaction 。每个交易字符串 transactions[i] 由一些用逗号分隔的值组成，这些值分别表示交易的名称…
2022/6/26 23:29:09 人评论 次浏览 -
MySQL 慢 SQL 可能原因汇总
在对服务器进行性能分析时，我们经常会遇到慢SQL，给大家粗略的总结了一下慢sql可能的原因，帮助大家分析定位慢SQL。1、查询的表，没有加索引写了一个查询sql，结果查询的条件字段没有索引，导致需要全表扫描，查找数据，这是大家遇到最多，也是最容易理解的。 这种，一般…
2022/6/26 2:22:01 人评论 次浏览
