初识spark 之 读写MySql数据
2022/6/1 2:51:38
本文主要是介绍初识spark 之 读写MySql数据,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
需求
1、使用spark读取MySql库数据;2、使用spark读取MySql库数据,并写入另一张表。
实现代码
1 package com.lzh.sql.数据加载保存 2 3 import org.apache.spark.SparkConf 4 import org.apache.spark.sql.{SaveMode, SparkSession} 5 6 object conMySql { 7 def main(args: Array[String]): Unit = { 8 val sparkConf = new SparkConf().setMaster("local[*]").setAppName("conMySql") 9 val spark = SparkSession.builder().config(sparkConf).getOrCreate() 10 11 // 读取MySql数据 12 val df = spark.read 13 .format("jdbc") 14 .option("url", "jdbc:mysql://bigdata01:3336/hive") // dbc:mysql://地址:端口/数据库名 15 .option("driver", "com.mysql.jdbc.Driver") // 驱动,固定 16 .option("user", "root") // 用户 17 .option("password", "123") // 密码 18 .option("dbtable", "tmp_20220531") // 表 19 .load() 20 21 // 保存数据到MySql 22 df.write 23 .format("jdbc") 24 .option("url", "jdbc:mysql://bigdata01:3336/hive") // dbc:mysql://地址:端口/数据库名 25 .option("driver", "com.mysql.jdbc.Driver") // 驱动,固定 26 .option("user", "root") // 用户 27 .option("password", "123") // 密码 28 .option("dbtable", "tmp_20220531_2") // 追加到表,若表不存在,则新建。 29 .mode(SaveMode.Append) // 数据保存模式,追加 30 .save() 31 } 32 }
这篇关于初识spark 之 读写MySql数据的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-04-26MySQL查出时间比实际晚8小时的解决方案
- 2024-04-01JPA不识别MySQL的枚举类型
- 2024-03-30mysql数据库表卡死解决方法
- 2024-03-15MySQL多数据源笔记5-ShardingJDBC实战
- 2024-03-11natural join mysql
- 2024-03-11关于VS2017,VS2015 中利用 EF使用Mysql 不显示数据源问题解决方案
- 2024-02-26mysql 阿里云xb后缀备份文件恢复-icode9专业技术文章分享
- 2024-02-22docker mysql 5.7
- 2024-02-18从 20 多套 MySQL 到 1 套 TiDB丨骏伯网络综合运营管理平台应用实践
- 2024-02-07mysql 外键索引入门介绍,为什么工作中很少有人使用?