搜索结果
查询Tags标签： Scala，共有 231条记录-
Scala函数式编程
一、前言 Scala语言是一个完全面向对象编程语言。万物皆对象； 对象的本质：对数据和行为的一个封装 。 Scala语言是一个完全函数式编程语言。万物皆函数。 解决问题时，将问题分解成一个一个的步骤，将每个步骤进行封装（函数），通过调用这些封装好的步骤，解决问题； 函…
2022/2/13 14:15:21 人评论 次浏览 -
Spark 快速上手
创建 Maven 项目 2.1.1 增加 Scala 插件 Spark 由 Scala 语言开发的，所以本课件接下来的开发所使用的语言也为 Scala，咱们当 前使用的 Spark 版本为 3.0.0，默认采用的 Scala 编译版本为 2.12，所以后续开发时。我们依 然采用这个版本。开发前请保证 IDEA 开发工具中含有…
2022/2/9 23:15:10 人评论 次浏览 -
55 Scala条件表达式、循环、方法、集合、函数式编程
条件表达式 有返回值的if // scala中，条件表达式也是有返回值的 // scala中，没有三元表达式，可以使用if表达式替代三元表达式 val sex = "male" val result = if(sex == "male" 1 else 0) 块表达式 // 块表达式也是有返回值的 // 返回的是最后一个…
2022/2/8 14:13:24 人评论 次浏览 -
scala.Predef$.refArrayOps([Ljava/lang/Object;)[Ljava/lang/Object; 错误原因分析
迁移Spark2.4.2/Scala 2.11 工程项目到Spark 3.0.3/Scala 2.12 的过程，运行工程代码报错：User class threw exception: java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)[Ljava/lang/Object;乍一看是某一行的引用方式取数组元素报错，但是…
2022/1/28 20:09:21 人评论 次浏览 -
Scala编程语言入门（2）
文章目录 Scala编程语言入门Scala进阶函数式编程1. 遍历 foreach2. 映射 map3. 扁平化映射 flatMap4. 过滤 filter5. 排序 sort6. 分组 groupBy7. 聚合 reduce8. 折叠 fold 高阶函数1. 函数值作为参数2. 匿名函数3. 柯里化4. 闭包 类1. 类的定义2. 类的构造器 对象1. scal…
2022/1/23 22:04:30 人评论 次浏览 -
IDEA配置JAVA及SCALA环境
阅文时长 | 0.11分钟 字数统计 | 189.6字符主要内容 | 1、引言&背景 2、解决方案 3、声明与参考资料『IDEA配置JAVA及SCALA环境』编写人 | SCscHero 编写时间 | 2022/1/23 AM1:1文章类型 | 系列 完成度 | 已完成座右铭 每一个伟大的事业，都有一个微不足道的开始…
2022/1/23 20:08:18 人评论 次浏览 -
Scala 可变数组ArrayBuffer
1 package chapter072 3 import scala.collection.mutable4 import scala.collection.mutable.ArrayBuffer5 6 object Test02_ArrayBuffer {7 def main(args: Array[String]): Unit = {8 // 1. 创建可变数组9 val arr1: ArrayBuffer[Int] = new ArrayBuffer[Int…
2022/1/18 23:40:53 人评论 次浏览 -
Scala 可变数组ArrayBuffer
1 package chapter072 3 import scala.collection.mutable4 import scala.collection.mutable.ArrayBuffer5 6 object Test02_ArrayBuffer {7 def main(args: Array[String]): Unit = {8 // 1. 创建可变数组9 val arr1: ArrayBuffer[Int] = new ArrayBuffer[Int…
2022/1/18 23:40:53 人评论 次浏览 -
大三寒假学习 spark学习 Scala面向对编程 模式匹配
最常见的模式匹配是match语句，match语句用在当需要从多个分支中进行选择的场景。 通配符_相当于Java中的default分支。 match结构中不需要break语句来跳出判断，Scala从前往后匹配到一个分支后，会自动跳出判断。另外在模式匹配的case语句中可以使用变量val coloNum=4 va…
2022/1/15 20:04:00 人评论 次浏览 -
大三寒假学习 spark学习 Scala面向对编程 模式匹配
最常见的模式匹配是match语句，match语句用在当需要从多个分支中进行选择的场景。 通配符_相当于Java中的default分支。 match结构中不需要break语句来跳出判断，Scala从前往后匹配到一个分支后，会自动跳出判断。另外在模式匹配的case语句中可以使用变量val coloNum=4 va…
2022/1/15 20:04:00 人评论 次浏览 -
大三寒假学习 spark学习 Scala面向对编程 对象（apply方法与update方法）
Apply方法：Scala自动调用Array类的伴生对象Array中的一个称为apply的方法，来创建一个Array对象myStrArr。 apply方法调用约定：用括号传递给类实例或单例对象名一个或多个参数时，Scala 会在相应的类或对象中查找方法名为apply且参数列表与传入的参数一致的方法，并用传…
2022/1/15 12:33:53 人评论 次浏览 -
大三寒假学习 spark学习 Scala面向对编程 对象（apply方法与update方法）
Apply方法：Scala自动调用Array类的伴生对象Array中的一个称为apply的方法，来创建一个Array对象myStrArr。 apply方法调用约定：用括号传递给类实例或单例对象名一个或多个参数时，Scala 会在相应的类或对象中查找方法名为apply且参数列表与传入的参数一致的方法，并用传…
2022/1/15 12:33:53 人评论 次浏览 -
Centos8下安装Spark
1、下载压缩包命令：wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz2、解压缩包命令：tar -xzvf scala-2.11.8.tgz3、环境变量配置 export JAVA_HOME=/opt/java/jdk1.8.0_301 export HADOOP_HOME=/opt/Hadoop/hadoop-2.7.3 export HADOOP_CONF_DIR=…
2022/1/14 7:06:55 人评论 次浏览 -
Centos8下安装Spark
1、下载压缩包命令：wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz2、解压缩包命令：tar -xzvf scala-2.11.8.tgz3、环境变量配置 export JAVA_HOME=/opt/java/jdk1.8.0_301 export HADOOP_HOME=/opt/Hadoop/hadoop-2.7.3 export HADOOP_CONF_DIR=…
2022/1/14 7:06:55 人评论 次浏览 -
在Spark Scala/Java应用中调用Python脚本，会么？
摘要：本文将介绍如何在 Spark scala 程序中调用 Python 脚本，Spark java程序调用的过程也大体相同。 本文分享自华为云社区《【Spark】如何在Spark Scala/Java应用中调用Python脚本》，作者： 小兔子615 。 1.PythonRunner 对于运行与 JVM 上的程序（即Scala、Java程序）…
2022/1/13 17:06:44 人评论 次浏览
