搜索结果
查询Tags标签： 数据量，共有 152条记录-
mongodump导出mongodb中的数据
如果数据量小，用navicat或者其它客户端可以很方便的导出数据，但如果数据量比较大的话，建议用mongo官方工具 mongodump 下载地址： https://www.mongodb.com/try/download/database-tools 如果需要密码验证，那么需要添加 "--authenticationDatabase admin" 的…
2022/6/23 2:20:11 人评论 次浏览 -
MySQL大数据量分页查询方法及其优化
---方法1: 直接使用数据库提供的SQL语句---语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N---适应场景: 适用于数据量较少的情况(元组百/千级)---原因/缺点: 全表扫描,速度会很慢 且 有的数据库结果集返回不稳定(如某次返回1,2,3,另外的一次返回2,1,3).…
2022/6/17 6:20:13 人评论 次浏览 -
JAVA分布式优惠券系统后台
第一章 课程介绍 1-1 导学 jdk1.8 新特性 springboot 微服务架构 hbase 分布式数据存储 数据量大 面向列 非关系性数据库 mysql 关系型数据库， redis 业务系统繁忙的时候，IO读写成为系统的性能瓶颈。需要使用缓存系统解决。 kafka 工程与工程之间的通信，消息队列…
2022/6/8 1:20:15 人评论 次浏览 -
2022.6.2 java一面 面试题记录
1.如果实现二叉树的层序遍历？2.HashMap和HashTable的区别有哪些？3.HashMap的散列过程是怎样的？4.为什么HashMap在jdk1.8的时候要升级成红黑树？5.Arrays.sort()方法内部用的是什么排序算法？6.怎样用锁保护共享变量？7.为什么要使用多线程？8.哪些场景中使用多线程？9.…
2022/6/7 5:21:10 人评论 次浏览 -
SQL Server 执行超大数据量的sql文件
1.在sql文件所在的路径运行cmd2.输入命令osql -S "localhost" -U "sa" -P "123456" -d "autowms_dgzc" -i "D:/project/sql/aaa.sql" 说明：-S：数据库服务器IP地址-U：数据库用户名-P：数据库密码-d：数据库名-i：sq…
2022/4/26 2:14:14 人评论 次浏览 -
后端思维之数据库性能优化方案
前言毫不夸张的说咱们后端工程师，无论在哪家公司，呆在哪个团队，做哪个系统，遇到的第一个让人头疼的问题绝对是数据库性能问题。如果我们有一套成熟的方法论，能让大家快速、准确的去选择出合适的优化方案，我相信能够快速准备解决咱么日常遇到的80%甚至90%的性能问题。…
2022/4/11 19:14:30 人评论 次浏览 -
C++ map和unordered_map的速度
理论上unordered_map的存取速度很快。 但是在数据量很大的时候，哈希冲突过多会导致速度变慢。 此时可以使用map替代。（存疑） 同时，虽然unordered_map理论的插入是O(1)，但是实际一秒只能运行1e5次左右，远低于1e8-1e9的数量级。 https://codeforces.com/contest/1665/…
2022/4/9 20:19:20 人评论 次浏览 -
Sqlite和mysql的区别及优缺点
小型嵌入式，跟mysql差不多，但更小,功能也少，属于本地数据库多用于读多写少，100W以下的数据压力不大，不支持分布式。真正开源的小型嵌入式数据库，支持事务、触发器器 性能至少优于mysql4.1.0 目前已被几乎所有的高级程序开发语言支持 由于可以自定义数据库函数，尤…
2022/4/7 19:19:10 人评论 次浏览 -
线上项目通过mysql联合索引性能优化慢查询（从72秒优化到1.5秒左右）
线上项目，刚开始的时候，数据量比较小，系统性能没有任何问题。随着业务运行时间的增加，数据量会不断的增加，历史数据也会不断累积，这个时候，如果不进行性能优化，系统可能完全无法使用。特别是在数据量达到千万级别以后更是如此。 一个项目中，需要统计一年的账单数…
2022/3/18 19:28:53 人评论 次浏览 -
mysql数据库表如何设计
单表数据量 所有表都需要添加注释,数据量建议控制在3000万以内不保存大字段数据 不在数据库中存储图片、文件等大数据表使用规范 拆分大字段和访问频率低的字段，分离冷热数据 单表字段数控制在 20 个以内 * 索引规范 单张表中索引数量不超过 5 个 单个索引中的字段数不超…
2022/3/7 2:15:29 人评论 次浏览 -
深大算法设计与分析实验二——分治法求最近点对问题
目录 实验问题 一、实验目的： 二、内容： 三、算法思想提示 产生不重复的随机点算法： 蛮力算法： 分治算法 数据分析： 实验结论： 实验问题 一、实验目的： 掌握分治法思想。学会最近点对问题求解方法。二、内容： 1. 对于平面上给定的N个点，给出所有点对的最短距离，…
2022/3/2 22:48:29 人评论 次浏览 -
亿级数据量场景下，如何优化数据库分页查询方法？
摘要：刷帖子翻页需要分页查询，搜索商品也需分页查询。当遇到上千万、上亿数据量，怎么快速拉取全量数据呢？本文分享自华为云社区《大数据量性能优化之分页查询》，作者： JavaEdge。 刷帖子翻页需要分页查询，搜索商品也需分页查询。当遇到上千万、上亿数据量，怎么快速…
2022/2/26 19:22:04 人评论 次浏览 -
thinkphp 关联查询with生成的sql是怎么查看？
现在用thinkphp，基本用它的orm来做数据模型对象的关联。 比如主表，子表的关系，用hasMany。 用时一般是这样关联子表（item） 这样用是方便，但在查询数据量大时，就很鸡肋，为什么呢？因为这样的关联查询生成的sql语句是用in方式。 我特确查阅了官方文档，明确说明hasO…
2022/2/24 19:26:58 人评论 次浏览 -
MySQL大数据量分页查询方法及其优化
摘抄自：https://mp.weixin.qq.com/s?__biz=MzkxMDI2NTc2OQ==&mid=2247485241&idx=1&sn=3330bf2abc82a857692aaee316824d90 limit偏移量不变，随着查询记录量越来越大，所花费的时间也会越来越多。 limit查询记录数不变，随着查询偏移的增大，尤其查询偏移大…
2022/2/20 19:29:51 人评论 次浏览 -
Spark源码——shuffle
原理回顾 一个RDD的两个分区的数据shuffle到另一个RDD的两个分区中后，如果上一个RDD还存在其他分区没执行完毕的话，不能往下执行，就会造成当前RDD内存数据挤压 所以中间就需要落盘操作，中间需要磁盘文件File shuffle一定会有落盘，但是效率慢，如何提高效率？落盘数据…
2022/2/18 22:41:49 人评论 次浏览
