搜索结果
查询Tags标签： Scala，共有 231条记录-
元组——由多个不同类型的对象的封装 TupleN类定义元组(N的取值范围是1~22),定义N个元素组成的元组 (1)定义格式 var 元组名= (元素值1，元素值2，元素值...)例 var/val t1:Tuple[String,Int,Double]= new Tuple3("abc",12,44.3) var/val t1= ("abc",…
2022/6/9 23:49:36 人评论 次浏览 -
spark在windows环境下执行spark-shell失败 提示找不到路径
找不到路径一定是环境变量出现了问题，细心检查自己的java、scala以及spark的环境变量是否编辑正确 我的问题是因为，java_home 的环境变量后面多了一个分号";"，所以不起作用，因为有一个自带的环境变量起作用了（下图）所以java -version是没问题的，在cmd命令…
2022/4/23 7:13:47 人评论 次浏览 -
2022.4.16学习成果
一：安装scala 1）解压scala-2.11.8.tgz到 /usr/local/src目录下 master机器： [root@master ~]# tar -zxvf /opt/software/scala-2.11.8.tgz -C /usr/local/src/2）更换目录名 master机器： [root@master ~]# mv /usr/local/src/scala-2.11.8 /usr/local/src/scala3）将s…
2022/4/16 23:42:43 人评论 次浏览 -
|NO.Z.00075|——————————|^^ 编程 ^^|——|Hadoop&实时数仓.V01|---------------------------------------|实时数仓.v01
[BigDataHadoop：Hadoop&实时数仓.V01] [BigDataHadoop.电商行业实时数仓项目][|章节五|Hadoop|实时数仓|实时数仓：实时数仓$在Hadoop集群环境运行实时数仓程序.V1|]一、在真实服务器集群环境上运行：在pom.xml下写入打包插件…
2022/4/16 17:12:34 人评论 次浏览 -
第五章_Spark核心编程_Rdd_血缘关系
1. RDD 血缘关系/*RDD 血缘关系*//** 1. 什么是Rdd的血缘关系？* 1.RDD 只支持粗粒度转换，即在大量记录上执行的单个操作。* 2.将创建 RDD 的一系列 Lineage (血统)记录下来,以便恢复丢失的分区。* 3.RDD的 Lineage 会记录RDD的 元数据信息和转换行为* 当该R…
2022/4/1 14:19:42 人评论 次浏览 -
Scala函数的应用：以函数作为返回值(了解)
Scala函数的应用：以函数作为返回值(了解) package com.shujia.scalaobject Demo16 {def main(args: Array[String]): Unit = {//定义一个函数，返回值类型是一个函数def fun1(str: String): String => Int = { //返回值类型是一个函数：（String => Int）def f(s:…
2022/3/5 23:15:30 人评论 次浏览 -
Spark基础学习笔记09：Scala基础
文章目录 零、本讲学习目标一、变量声明二、数据类型三、表达式四、循环五、方法和函数零、本讲学习目标 学会变量声明掌握数据类型掌握表达式掌握循环掌握方法和函数 一、变量声明 二、数据类型 三、表达式 四、循环 五、方法和函数
2022/3/2 23:17:09 人评论 次浏览 -
Spark-sql实验5.1
将下列 json 数据复制到你的 ubuntu 系统/usr/local/spark 下，并保存命名为 employee.json。{ "id":1 ,"name":" Ella","age":36 } { "id":2,"name":"Bob","age":29 } { "id"…
2022/3/1 2:25:31 人评论 次浏览 -
【大数据课程】高途课程实践-Day03：Scala实现商品实时销售统计
〇、概述 1、实现内容 使用Scala编写代码，通过Flink的Source、Sink以及时间语义实现实时销量展示 2、过程 （1）导包并下载依赖 （2）创建数据源数据表并写⼊数据 （3）在Mysql数据库中创建统计结果表 （4）编写Flink计算代码 a.参考ShopMysqlSource.scala 代码，进⾏Fl…
2022/2/28 23:22:16 人评论 次浏览 -
CentOS7安装scala详细步骤
JDK版本：1.8.0_262 scala版本：2.11.8 在安装scala之前要把java的JDK安装好，我安装的是1.8.0_262的版本1.我们先在本机下载好scala-2.11.8.tgz，然后传到我们的虚拟机中 不会的参考官网下载scala 2.scala-2.11.8.tgz传到虚拟机的目录下 将我这里把它传到了software目录 …
2022/2/28 7:23:04 人评论 次浏览 -
实验一 初步掌握Scala程序设计
课程名称Spark大数据分析实验室名称 实验名称实验一 初步掌握Scala程序设计指导老师成绩 一、实验任务及结果 1.可否定义一个sum函数呢？返回指定区间的值的和？例如，区间[1,4]的和为1+2+3+4=10返回指定区间值的平方的和呢？立方呢？ obje…
2022/2/25 20:24:24 人评论 次浏览 -
CentOS7安装scala2.12
1. 背景 部署flink需要scala环境 2. 步骤 cd /usr/localtar zxvf scala-2.12.11.tgzvim /etc/profile export SCALA_HOME=/usr/local/scala-2.12.11 export PATH=$PATH:$SCALA_HOME/binsource /etc/profilescala -version
2022/2/25 7:23:45 人评论 次浏览 -
flink学习笔记
1 依赖设置 1 scala的基本依赖设置 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="…
2022/2/23 23:26:08 人评论 次浏览 -
Scala
1.scala环境搭建 网址：https://www.scala-lang.org/安装步骤Scala需要使用JVM来运行字节码文件，所以需要确保安装了jdk1.8下载对应的scala安装文件scala-2.12.15.msi解压安装包到C:\Program Files (x86)配置scala环境变量安装完成后与JAVA_HOME类似的为Scala配置SCALA_H…
2022/2/19 23:12:08 人评论 次浏览 -
Scala面向对象
Scala的面向对象思想和Java的面向对象思想和概念是一致的。 但Scala中又补充了更多的功能。 一、包对象 在Scala中可以为每个包定义一个同名的包对象，定义在包对象中的成员，作为其对应包下所有class和object的共享变量，可以被直接访问。 定义示例：package object com …
2022/2/14 6:12:18 人评论 次浏览
