搜索结果
查询Tags标签： 数据量，共有 152条记录-
python 遍历迭代器iter（）与list的区别
在遍历集合时，从逻辑上来说： 使用iteration与list并没有什么区别，但是当集合的数据量比较大的时候，两者还是有区别的。从存储方式上说： list是以数组的形式存储数据，需要在内存中分配一块连续的空间，所以当集合的数据量比较大的时候可能分配不了足够的连续内存，这…
2021/5/21 14:25:33 人评论 次浏览 -
SQL多表联合查询最佳实践（数据量增加查询越来越慢）
-背景假如你遇到业务功能访问变慢，请确认是否涉及多表联合查询，是否是多表联合查询导致响应变慢-关键字SQL JOIN连接 多表 变慢-分析1、多表连接首先LEFT JOIN或RIGHT JOIN首推，先排除这个2、多表数量是否可以减少，比如连接五张表，分析后减少到三张表3、最重要的，…
2021/5/20 19:26:22 人评论 次浏览 -
2021-05-11 MongoDB面试题 MongoDB中的分片什么意思
MongoDB中的分片什么意思？ 分片是将数据水平切分到不同的物理节点，当应用数据越来越大的时候，数据量也会越来越大。当数据量增长时，单台机器有可能无法存储数据或可接受的读取写入吞吐量，利用分片技术可以添加更多的机器来应对数据量增加以及读写操作的要求。
2021/5/12 2:25:25 人评论 次浏览 -
浅谈数据库优化经验积累（一）
最近因为客户的项目数据量过多，导致数据库经常出现CPU使用率100%、服务器卡死等问题。搞得我焦头乱额。 发现有几个地方出现了严重的问题。 1、分表设计当时并未考虑到用户的数据居然会有一日几十万条。只做了一张表来存储。并未做分表设计。导致数据量过多。查询极慢。解…
2021/5/10 19:25:35 人评论 次浏览 -
大数据量查询容易OOM？试试MySQL流式查询
一、前言程序访问MySQL数据库时，当查询出来的数据量特别大时，数据库驱动把加载到的数据全部加载到内存里，就有可能会导致内存溢出（OOM）。其实在MySQL数据库中提供了流式查询，允许把符合条件的数据分批一部分一部分地加载到内存中，可以有效避免OOM；本文主要介绍如何…
2021/5/7 19:55:26 人评论 次浏览 -
从青铜到王者的路线，目前最全的《Java面试题及解析》！项目实战
前言 这段时间一直在学习Netty相关知识，因为涉及知识点比较多，也走了不少弯路。目前网上关于Netty学习资料琳琅满目，不知如何下手，其实大家都是一样的，学习方法和技巧都是总结出来的，我们在没有找到很好的方法之前不如按部就班先从基础开始，一般从总分总的渐进方式…
2021/4/30 12:56:42 人评论 次浏览 -
sybase c# 数据量大 连接断开 解决
因为项目中有一个需求是 从以前的系统中的数据迁移到新的系统，我才接触到了这个sybase数据库 版本 sqlanywhere 5.5 一开始测试的时候用 c# odbc 连接了 数据库然后一并读出来存储到DataTable 。一开始正常运行 ，但是数据量超过1千或更多的话 他就报错 :::数据连接断开…
2021/4/30 12:56:39 人评论 次浏览 -
超详细讲解！MySQL千万数据量深分页优化，逆袭面经分享
前言 MyBatis本是apache的一个开源项目iBatis，2010年这个项目由apache software foundation迁移到了google code，并且改名为MyBatis。是一个基于Java的持久层框架。 在国内市场来说，Mybatis的使用率比Hibernate更高，也更加流行。个人认为其流行的主要原因在于：国内绝…
2021/4/27 19:29:10 人评论 次浏览 -
日均数据量千万级，MySQL、TiDB两种存储方案的落地对比
背景介绍 盖娅广告匹配系统（GaeaAD）用于支撑盖娅互娱全平台实时广告投放系统，需要将广告数据和游戏 SDK 上报的信息进行近实时匹配，本质上来说需要实时的根据各个渠道的广告投放与相应渠道带来的游戏玩家数据进行计算，实现广告转化效果分钟级别的展现及优化。初期的…
2021/4/27 2:25:40 人评论 次浏览 -
了解7大典型负载数据变化规律，让快照灾备更加高效
随着用户对RPO和RTO的极致追求和存储快照技术的发展（ROW快照普及，硬件能力提升），使得采用存储快照做灾备成为一种潮流。Gartner指出，"2016年前，20%的企业(现有比例为7%)将仅采用快照和复制技术，摈弃传统的备份和恢复方法"。 但你知道如何规划快照吗？比如…
2021/4/26 18:28:27 人评论 次浏览 -
oracle 数据量少 count(1)查询慢_很高兴！终于踩到了慢查询的坑
select count(1) as maxsize from person_dt; //获取最大条数 https://blog.csdn.net/weixin_26824207/article/details/113309821作者：何甜甜在吗 来源：juejin.im/post/5bcc2935f265da0ac66987c9(一)慢sql一 问题发现 将应用发布到生产环境后，前端页面请求后台API返…
2021/4/25 19:25:18 人评论 次浏览 -
什么是流分析？和数据治理是什么关系
数据量持续增长，因此流分析的使用变得越来越广泛，因此许多公司开始意识到，现有的数据治理实践也必须不断发展以保持相关性。数据治理的发展跨越了一个连续的过程，每个步骤都建立在上一步的基础上，以便朝着着重于业务流程自动化的自动化数据治理计划迈进，尽管技术血统…
2021/4/23 18:28:47 人评论 次浏览 -
什么是流分析？和数据治理是什么关系
数据量持续增长，因此流分析的使用变得越来越广泛，因此许多公司开始意识到，现有的数据治理实践也必须不断发展以保持相关性。数据治理的发展跨越了一个连续的过程，每个步骤都建立在上一步的基础上，以便朝着着重于业务流程自动化的自动化数据治理计划迈进，尽管技术血统…
2021/4/23 18:28:42 人评论 次浏览 -
ElasticSearch 如何使用 TDigest 算法计算亿级数据的百分位数？
大家好，我是历小冰。ElasticSearch 作为一个分布式的开源搜索和分析引擎，不仅能够进行全文匹配搜索，还可以进行聚合分析。今天，我们就来了解一下其聚合分析中较为常见的 percentiles 百分位数分析。n 个数据按数值大小排列，处于 p% 位置的值称第 p 百分位数。比如说，…
2021/4/20 1:25:38 人评论 次浏览 -
BeanCopy和BeanCopier在实际开发中的使用（属性copy效率优化）
优化场景： 项目的实体类主要分为三种：dto、dao、query等，所以属性copy避免不了，是影响代码执行效率的主要方面之一。 当时的情况是，项目A接受url请求，然后会调用项目B的一个接口去处理明细数据（参数传递主数据，一条主数据对应多条明细数据），项目B处理数据的过程…
2021/4/13 18:57:21 人评论 次浏览
