搜索结果
查询Tags标签： 海量，共有 50条记录-
大数据的技术生态之间的关系
学习很重要的是能将纷繁复杂的信息进行归类和抽象。对应到大数据技术体系，虽然各种技术百花齐放，层出不穷，但大数据技术本质上无非解决4个核心问题。存储，海量的数据怎样有效的存储？主要包括hdfs、Kafka； 计算，海量的数据怎样快速计算？主要包括MapReduce、Spark、…
2022/8/21 23:54:30 人评论 次浏览 -
Hadoop入门(1)——Hadoop概论
大数据 大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现里和流程优化能力的海量、高增长率和多样化的信息资产。通常都是 TB、PB、EB级别的数据。 大数据主要解决海量数据的采…
2022/7/31 23:35:41 人评论 次浏览 -
Redis
Redis NoSQLNoSQL:即Not-Only SQL(泛指非关系型的数据库)，作为关系型数据库的补充 作用：应对基于海量用户和海量数据前提下的数据处理问题。 特征：可扩容，可伸缩，大数量下高性能，灵活的数据模型，高可用Redis 高性能键值对（key-value)数据库。5. 支持持久化 Redis的…
2022/6/4 2:20:08 人评论 次浏览 -
海量数据去重的Hash和BloomFilter
一、背景使用 word 文档时，word 如何判断某个单词是否拼写正确？ 网络爬虫程序，怎么让它不去爬相同的 url 页面？ 垃圾邮件过滤算法如何设计？ 公安办案时，如何判断某嫌疑人是否在网逃名单中？ 缓存穿透问题如何解决？需求 上面的需求都是从海量数据中查询某个字符串是…
2022/3/2 6:15:36 人评论 次浏览 -
机器学习：面对海量数据如何进行机器学习
文章目录 随机梯度下降小批量梯度下降在线学习映射约减随机梯度下降 在前面的梯度下降算法中，我们使用的都是“批量梯度下降”，其公式为 θj:=θj−α1m∑i=1m(hθ(x(i))−y(i))xj(i)\theta_j:=\theta_j-\alpha\frac{1}{m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x_j^{…
2022/2/12 23:46:21 人评论 次浏览 -
【高并发高性能高可用之海量数据MySQL实战-6】-MySQL自适应哈希索引
1.概念 哈希(hash)是一种非常快的查找方法,在一般情况下这种查找的时间复杂度为O(1),即一般仅需要一次查找就能定位数据。而B+树的查找次数,取决于B+树的高度,在生产环境中,B+树的高度一般为3~4层,故需要3~4次的查询。InnoDB存储引擎会监控对表上各索引页的查询。如果观察…
2022/2/12 2:12:32 人评论 次浏览 -
【高并发高性能高可用之海量数据MySQL实战-4】-InnoDB存储引擎之磁盘结构
上图详细显示了InnoDB存储引擎的体系架构，从图中可见，InnoDB存储引擎由内存结构和磁盘结构两大部分组成。 InnoDB的主要的磁盘文件主要分为三大块：一是表空间，二是双写缓冲区，三是重做日志，数据字典表空间。 1：InnoDB逻辑存储结构 InnoDB存储引擎逻辑存储结构可分为…
2022/2/10 2:15:31 人评论 次浏览 -
【高并发高性能高可用之海量数据MySQL实战-3】-MySQL逻辑架构图
1.Server层 1.Connectors 指的是各种形式的与MySQL交互的客户端。包括JDBC客户端、mysql自带的客户端、Navicat、sqlyog等客户端工具。 2.Management Serveices & Utilities 系统管理和控制工具 3.Connection Pool: 连接池 管理用户连接，等待处理连接请求。 负责监听…
2022/2/9 2:16:18 人评论 次浏览 -
【高并发高性能高可用之海量数据MySQL实战-2】-MySQL文件结构
MySQL是通过文件系统对数据和索引进行存储的。 MySQL从物理结构上可以分为日志文件和数据索引文件。 MySQL在Linux中的数据索引文件和日志文件通常放在/var/lib/mysql目录下。1.日志文件（顺序IO） MySQL通过日志记录了数据库操作信息和错误信息。常用的日志文件包括错误日…
2022/2/8 2:13:10 人评论 次浏览 -
【高并发高性能高可用之海量数据MySQL实战-1】-MySQL 8.0安装
一、环境介绍 操作系统：CentOS 7 MySQL：8.0 二、MySQL的卸载 1、查看MySQL软件 rpm -qa|grep mysql 2、卸载MySQL yum remove -y mysql mysql-libs mysql-commonrm -rf /var/lib/mysqlrm /etc/my.cnf 查看是否还有 MySQL 软件，有的话继续删除。 软件卸载完毕后如果需…
2022/2/7 2:12:37 人评论 次浏览 -
关系型数据库和非关系数据库区别
一、关系型数据库（Mysql和Oracle） 理解：表和表、表和字段、数据和数据存在着关系 优点:1.因为数据之间有关系，所以增删改查非常方便 2.支持事务，保证数据的完整性和一致性。 缺点：1.因为数据和数据是有关系的，所以底层运行了大量的算法。而大量算法会降低系统的效率…
2022/2/5 19:14:49 人评论 次浏览 -
(一)redis(在.net core中)
redis的作用及优势: 处理高并发操作的,经常操作的功能模块,比如登录获取用户的基础信息,他的优势在于抗高并发,并不是适用于海量数据,对于海量数据的查询还不如传统数据库， 还有数据的恢复，如果服务器断开,当再次开机的时候rdb(以恢复数据的方式还原数据)或者aof(以记录…
2022/1/26 19:08:26 人评论 次浏览 -
python海量数据如何快速查询？
转自：微点阅读 https://www.weidianyuedu.com在实际工作中，经常会遇到查询的任务，比如根据某些rs号，检索dbsnp数据库，提取这些snp位点的信息，对于这样的任务，最基本的操作方法是将数据库的内容存为字典，然后检索特定的key即可。对于小文件而言，这样的操作编码简…
2022/1/8 17:07:46 人评论 次浏览 -
python海量数据如何快速查询？
转自：微点阅读 https://www.weidianyuedu.com在实际工作中，经常会遇到查询的任务，比如根据某些rs号，检索dbsnp数据库，提取这些snp位点的信息，对于这样的任务，最基本的操作方法是将数据库的内容存为字典，然后检索特定的key即可。对于小文件而言，这样的操作编码简…
2022/1/8 17:07:46 人评论 次浏览 -
海量数据查重问题解决方案
1. 处理海量数据问题的四种方式分治基本上处理海量数据的问题，分治思想都是能够解决的，只不过一般情况下不会是最优方案，但可以作为一个baseline，可以逐渐优化子问题来达到一个较优解。传统的归并排序就是分治思想，涉及到大量无法加载到内存的文件、排序等问题都可以…
2021/12/12 23:20:04 人评论 次浏览
