搜索结果
查询Tags标签： 大数据，共有 1096条记录-
快速上手kettle（三）壶中可以放些啥？
目录序言 一 、kettle这壶能装些啥二、Access输入 2.1 准备Acess数据库和表 2.2 新建一个转换并设置 2.3 启动转换预览数据三、CSV文件输入 3.1 准备csv文件，并将csv输入控件拖入工作区 3.2 csv输入控件设置 3.3 预览csv文件内容四、文本文件输入 4.1 准备txt格式文本文件…
2023/6/5 1:24:11 人评论 次浏览 -
数据治理核心保障数据质量监控开源项目Apache Griffin分享
@目录概述 定义 为何要做数据质量监控 基本概念 特性 架构安装 Docker部署 Docker 镜像批处理使用 Docker 镜像流处理使用 UI界面操作概述 定义Apache Griffin 官网地址 https://griffin.apache.org/ 源码release最新版本0.6.0 Apache Griffin 官网文档地址 https://grif…
2023/6/2 1:52:30 人评论 次浏览 -
快速上手kettle(二)小试牛刀
目录一 、前言 二 、两个小目标三、 kettle核心概念介绍3.1 转换 3.1.1 步骤(Step) 3.1.2 跳（Hop） 3.1.3 元素据 3.1.4 数据类型 3.1.5 并发执行3.2 作业四、实践操作4.1 案例1 将csv文件转换成excel文件 4.1.1 在kettle中新建一个转换 4.1.2选择输入控件并设置 4.1.3…
2023/5/29 11:24:18 人评论 次浏览 -
一文教会你用Apache SeaTunnel Zeta离线把数据从MySQL同步到StarRocks
在上一篇文章中，我们介绍了如何下载安装部署SeaTunnel Zeta服务（3分钟部署SeaTunnel Zeta单节点Standalone模式环境），接下来我们介绍一下SeaTunnel支持的第一个同步场景：离线批量同步。顾名思意，离线批量同步需要用户定义好SeaTunnel JobConfig，选择批处理模式，作…
2023/5/27 1:23:33 人评论 次浏览 -
快速上手kettle（一）壶之简介
一、前言 最近由于工作需要，需要用到kettle工具进行数据迁移转换。特意找资料学习了一下，kettle基本操作算是学会了。 所学的也结合实际工作进行了验证。为了防止以后用到忘记了，便写了几篇文章记录一下。二 、ETL简介ETL ( Extract-Transform-Load的缩写,即数据抽取、…
2023/5/26 5:22:05 人评论 次浏览 -
下一代大数据分布式存储技术Apache Ozone初步研究
@目录概述 定义 特性架构 总体架构 写数据 读数据部署 安装方式安装 Docker启动 Docker-compose启动 企业预置型(On Premise)安装实践 命令行接口 Ofs (Hadoop兼容) Recon API概述 定义Apache Ozone 官网地址 https://ozone.apache.org/ 最新版本1.3.0 Apache Ozone 官网…
2023/4/26 1:22:12 人评论 次浏览 -
实时分布式低延迟OLAP数据库Apache Pinot探索实操
@目录概述 定义 特性 何时使用部署Local安装 快速启动 手动设置集群Docker安装 快速启动 手动启动集群 Docker Compose实操 批导入数据 流式导入数据概述 定义Apache Pinot 官网地址 https://pinot.apache.org/ 最新版本0.12.1 Apache Pinot 官网文档地址 https://docs.p…
2023/4/15 1:22:00 人评论 次浏览 -
聊聊简单又不简单的图上多跳过滤查询
摘要：多跳查询能力也是一个衡量产品性能非常重要的指标。 本文分享自华为云社区《聊聊超级快的图上多跳过滤查询》，作者：弓乙。 在图数据库/图计算领域，多跳查询是一个非常常用的查询，通常来说以下类型的查询都可以算作是多跳过滤查询：1.查询某个用户的朋友认识的朋…
2023/4/13 18:22:14 人评论 次浏览 -
反码是怎么算的
算反码的方法如下：1、首先看正数，先将十进制的正数转换成二进制形式。2、之后可以根据原码直接写出补码和反码，因为正数的补码和反码就等于原码。3、负数情况不一样，将一个十进制负数转换成原码。4、再将原码转换成反码，注意前四位符号位不变，后四位数字位全部取反。…
2022/12/28 4:24:08 人评论 次浏览 -
耗时一周，万字总结Maven简明教程，与君共勉！
什么是Mavne Maven 是一个项目管理工具它包含了一个项目对象模型 (POMProject Object Model)一组标准集合。由于 Maven 使用标准目录布局和默认构建生命周期开发团队几乎可以立即自动化项目的构建基础设施。在多个开发团队环境的情况下Maven 可以在很短的时间内按照标准设…
2022/12/27 4:24:14 人评论 次浏览 -
【验证码逆向专栏】某验三代滑块验证码逆向分析
逆向目标目标：某验三代滑块验证码，底图还原及 w 参数逆向验证码 demo 列表：aHR0cHM6Ly93d3cuZ2VldGVzdC5jb20vZGVtby8=滑块验证码：aHR0cHM6Ly93d3cuZ2VldGVzdC5jb20vZGVtby9zbGlkZS1mbG9hdC5odG1s加密算法：RSA、AES、MD5验证码流程分析 进入网页后，打开开发者人员工…
2022/12/25 4:23:59 人评论 次浏览 -
列存引擎 Tianmu 如何实现 Delete？| StoneDB 研发分享 #3
作者：李红建 责编：宇亭 在第一期研发分享中，我们解释了，为什么Tinamu作为一款列式存储引擎在初期不支持 Delete 功能的原因，然后对一些友商列式存储引擎的 Delete 方案进行了一些调研和总结 本期文章，我将向社区小伙伴们详细地介绍一下给 StoneDB 的 Tianmu 存储引擎…
2022/12/10 4:24:57 人评论 次浏览 -
深度学习炼丹-不平衡样本的处理
前言 一，数据层面处理方法 1.1，数据扩充 1.2，数据（重）采样 数据采样方法总结1.3，类别平衡采样二，算法（损失函数）层面处理方法 2.1，Focal Loss 2.2，损失函数加权参考资料 前言 在机器学习的经典假设中往往假设训练样本各类别数目是均衡的，但在实际场景中，训练…
2022/12/9 4:24:59 人评论 次浏览 -
统计机器翻译（SMT）工具Moses在Ubuntu上的安装及使用（使用篇）
统计机器翻译（SMT）工具Moses在Ubuntu上的安装及使用（使用篇） 准备双语平行语料 Moses可以翻译任意两种语言，其准确率很大程度取决于平行语料库的质量和规模，如何在低资源语料下提升机器翻译质量同样也是神经机器翻译面临的难题。 下面我们将介绍Moses在开源平行语料…
2022/12/9 4:24:56 人评论 次浏览 -
子查询优化之 Semi-join 优化 | StoneDB 研发分享 #2
缘起 StoneDB 在列式存储引擎 Tianmu 的加持下，在大多数场景下相对 MySQL 都会有大幅性能提升。当然，这是需要工程师不断优化代码才能做到的，而且，性能好也需要通过基准测试才有说服力，所以我们也会针对 TPC-H 的测试语句进行测试排查，争取不断提升 StoneDB 的性能。…
2022/12/4 4:23:56 人评论 次浏览
