spark 解决 java.util.Date is not a valid external type for schema of Date
2022/9/7 1:36:54
本文主要是介绍spark 解决 java.util.Date is not a valid external type for schema of Date,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
出错伪代码如下:
//出错的点在这里 import java.util.Date ... val t_rdd = t_frame.rdd.map(row => { val photo_url = row.getAs[String]("photo_url") val longitude = row.getAs[String]("longitude") val latitude = row.getAs[String]("latitude") val imei = row.getAs[String]("imei") val pic_time = row.getAs[String]("pic_time") val date_pic_time = new Date(pic_time.toLong) Row( photo_url, longitude, latitude, imei, date_pic_time, ) ) val structType = StructType( Seq( StructField("photo_url", StringType, nullable = true), StructField("longitude", StringType, nullable = true), StructField("latitude", StringType, nullable = true), StructField("imei", StringType, nullable = true), StructField("pic_time", DateType), ) ) spark.createDataFrame(t_rdd, structType)
当时有Row
和structType
来创建DataFrame
时,Date
的类型必须是java.sql.Date
, 而如果是java.util.Date
在后续操作过程中会报 java.util.Date is not a valid external type for schema of Date
这篇关于spark 解决 java.util.Date is not a valid external type for schema of Date的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-0601-电商商品中心解密:仅凭SKU真的足够吗?
- 2024-05-01为什么公共事业机构会偏爱 TiDB :TiDB 数据库在某省妇幼健康管理系统的应用
- 2024-04-26敏捷开发:想要快速交付就必须舍弃产品质量?
- 2024-04-26静态代码分析的这些好处,我竟然都不知道?
- 2024-04-26你在测试金字塔的哪一层?(下)
- 2024-04-26快刀斩乱麻,DevOps让代码评审也自动起来
- 2024-04-262024年最好用的10款ER图神器!
- 2024-04-2203-为啥大模型LLM还没能完全替代你?
- 2024-04-2101-大语言模型发展
- 2024-04-17基于SpringWeb MultipartFile文件上传、下载功能