搜索结果
查询Tags标签： yarn，共有 187条记录-
【深入浅出 Yarn 架构与实现】2-1 Yarn 基础库概述
一、主要使用的库Protocol Buffers：是 Google 开源的序列化库，具有平台无关、高性能、兼容性好等优点。YARN 将其用到了 RPC 通信中，默认情况 下，YARN RPC 中所有参数采用 Protocol Buffers 进行序列化 / 反序列化。Apache Avro：是 Hadoop 生态系统中的 RPC 框架，具…
2022/11/27 1:23:54 人评论 次浏览 -
【深入浅出 Yarn 架构与实现】2-2 Yarn 基础库 - 底层通信库 RPC
RPC（Remote Procedure Call） 是 Hadoop 服务通信的关键库，支撑上层分布式环境下复杂的进程间（Inter-Process Communication, IPC）通信逻辑，是分布式系统的基础。允许运行于一台计算机上的程序像调用本地方法一样，调用另一台计算机的子程序。由于 RPC 服务整体知识较…
2022/11/13 23:53:53 人评论 次浏览 -
【深入浅出 Yarn 架构与实现】2-4 Yarn 基础库 - 状态机库
一、状态机库概述一）简介状态机由一组状态组成：【初始状态 -> 中间状态 -> 最终状态】。在一个状态机中，每个状态会接收一组特定的事件，根据事件类型进行处理，并转换到下一个状态。当转换到最终状态时则退出。二）状态转换方式状态间转换会有下面这三种类型三）…
2022/11/12 23:54:02 人评论 次浏览 -
yarn是什么，与npm的区别
Yarn是“Yet Another Resource Negotiator”的缩写，字面意思就是“另一种资源调度器”。一、yarn的简介：Yarn是facebook发布的一款取代npm的包管理工具。 二、yarn的特点：1.速度超快。Yarn 缓存了每个下载过的包，所以再次使用时无需重复下载。 同时利用并行下载以最大…
2022/9/10 6:23:12 人评论 次浏览 -
新一代分布式实时流处理引擎Flink入门实战操作篇
@目录安装部署安装方式Local(Standalone 单机部署)Standalone部署Standalone HA部署Flink On Yarn演示案例概述会话（Session）模式单作业（Per-Job）模式流程演示应用（Application）模式 安装部署 安装方式 Flink安装支持多种方式，包括Flink Local和Flink Standalone、…
2022/8/21 6:56:28 人评论 次浏览 -
如何搭建一个vue项目
一 安装nvm（node的版本管理工具：一个nvm可以管理很多node版本）curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.1/install.sh | bash 1 注意： v0.39.1这是nvm的版本号，当前最新版本是v0.39.1。详见 2 常用的nvm命令：命令描述nvm ls-remote 列出远程…
2022/8/11 23:30:17 人评论 次浏览 -
YARN基础架构
Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。1. Yarn基础架构YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。 2. YAR…
2022/7/27 23:23:16 人评论 次浏览 -
Flink on yarn (三种模式)-调节集群的核数和内存方法
FLINK on YARN将flink的任务提交到yarn上运行1、可以先关闭flink的独立集群 stop-cluster.sh2、配置HADOOP_CLASSPATH vim /etc/profile# 增加 export HADOOP_CLASSPATH=`hadoop classpath`source /etc/profile3、启动hadoop start-all.sh提交任务到yarn上运行 1、Applica…
2022/7/25 5:22:53 人评论 次浏览 -
Vite 运行 TypeScript 文件原理剖析 All In One
Vite 运行 TypeScript 文件原理剖析 All In OneVanilla + TypeScript# create project $ yarn create vite# install $ yarn# dev $ yarn devESM import ./style.cssconst app = document.querySelector<HTMLDivElement>(#app)!app.innerHTML = `<h1>Hello Vi…
2022/7/14 6:20:19 人评论 次浏览 -
针对github上部分安装错误的解决方案
报错： yarn : 无法加载文件 C:\Users\1\AppData\Roaming\npm\yarn.ps1，因为在此系统上禁止运行脚本。有关详细信息，请参阅 https:/go.microsoft.com/fwlink/?LinkID=135170 中的 about_Execution_Policies。解决方案：1.电脑搜索 powershell 2.以管理员的身份进行运…
2022/7/1 23:20:45 人评论 次浏览 -
大数据之Hadoop集群中Yarn常用命令
Yarn状态的查询，除了可以在hadoop103:8088页面查看以外，还可以通过命令操作。常见的命令操作如下所示。 需求：执行WordCount案例，并通过Yarn命令查看任务运行情况。 # 启动集群 [hadoop@hadoop102 bin]$ myhadoop.sh start # 运行wordcount案例 [hadoop@hadoop102 had…
2022/6/17 23:28:18 人评论 次浏览 -
Hadoop单机部署
Hadoop下载地址：https://archive.apache.org/dist/hadoop/common/ Hadoop单机部署 该部署以Red Hat 7为例 安装前提：需先配置好1.8的JAVA环境，可参考JDK的安装配置(Windows、Linux)，Hadoop和Java版本对应关系可参考https://blog.csdn.net/m0_67393619/article/details…
2022/6/12 23:51:27 人评论 次浏览 -
Spark 程序打包在集群运行
环境准备 1、pom 文件引入相关依赖&插件<dependencies><dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.12</artifactId><version>3.0.0</version></dependency></dependencies&…
2022/5/28 1:20:47 人评论 次浏览 -
npm 和 yarn 的使用记录
npm 和 yarn 是目前非常流行的 NodeJS 包管理器。 以下是个人使用包管理器的记录，该用 npm 还是用 yarn 还是应该按照自己的来。 1. npm 相关 设置 国内镜像 来提升下载速度查看当前镜像 npm config get registry 提升下载速度-设置国内镜像-淘宝镜像 npm config set reg…
2022/5/25 23:22:37 人评论 次浏览 -
解决vue cli创建项目报错，ERROR Failed to get response from /vue-cli-version-marker
学习vue脚手架时，在使用 vue create name 创建文件时，有报错 ERROR Failed to get response from /vue-cli-version-marker我把vue，vue-cli，nodejs，npm全部都更新了一遍之后还是报错 看到最下面出现yarn serve，说明包管理器是 yarn，报错可能跟 yarn 有关打开.vuerc…
2022/5/23 23:22:51 人评论 次浏览
