SparkSql任务.sh文件配置

本文主要是介绍SparkSql任务.sh文件配置，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

一、sql文件名和sh配置文件一样，一起压缩成zip文件上传。.sh配置文件如下：

 1 #!/bin/bash
 2 v_proc_name='freight_waybill_prom_time_day1';
 3 v_filename="${v_proc_name}.sql";
 4 
 5 ######日期相关变量######
 6 #当天日期及当天时分秒日期
 7 v_cur_dt=`date '+%Y-%m-%d'`;
 8 v_cur_tm=`date "+%Y-%m-%d %H:%M:%S"`;
 9 i_to_tm=${v_cur_tm};
10 v_cur_h=`date "+%H"`
11 
12 ######开始跑数日期与截止日期######
13 cur_day=`date -d "" '+%Y-%m-%d'`;
14 
15 if [ -z "$1" ]; then
16    v_day=`date -d " " '+%Y-%m-%d'`;
17 else
18    v_day=$1
19 fi;
20 
21 v_day=`date -d "${v_day} " '+%Y-%m-%d'`;
22 c_ymd=`date -d "${v_cur_dt} " '+%Y%m%d'`;
23 i_ymd=`date -d "${v_day} " '+%Y%m%d'`;
24 i_y_ymd=`date -d "${v_day} -1 day" '+%Y%m%d'`;
25 i_to_ymd=`date -d "${v_day} 1 day" '+%Y%m%d'`;
26 v_fm_dt=`date -d "${v_day} 0 month" '+%Y-%m-01'`;
27 
28 
29 v_fm_day=`date -d "${v_day} 0 day" '+%Y%m%d'`;
30 v_fm_dt_1=`date -d "${v_day} -1 day" '+%Y%m%d'`;
31 v_fm_dt_07=`date -d "${v_day} -7 day" '+%Y%m%d'`;
32 v_fm_dt_09=`date -d "${v_day} -9 day" '+%Y%m%d'`;
33 
34 echo "v_day=${v_day}"
35 echo "v_fm_dt=${v_fm_dt}"
36 echo "v_fm_day=${v_fm_day}"
37 echo "v_fm_dt_1=${v_fm_dt_1}"
38 echo "v_fm_dt_07=${v_fm_dt_07}"
39 echo "v_fm_dt_09=${v_fm_dt_09}"
40 
41 v_user='spark-sql --master yarn --name mlk_test --driver-memory 8g --num-executors 60 --executor-memory 12g --executor-cores 4 --queue root.freight --conf spark.ui.port=5045 --conf spark.scheduler.listenerbus.eventqueue.size=100000 --jars hdfs:///tmp/udf/01368018/test-1.0.0.jar';
42 
43 ######程序处理开始######
44 echo "#开始处理${v_proc_name}: `date '+%Y-%m-%d %H:%M:%S'`.0";
45 echo "开始计算${v_proc_name}结果[开始日期：${v_fm_dt_09}截止日期：${v_fm_day}月份：${v_fm_dt}]\n";
46 
47 ${v_user}   -hiveconf v_fm_dt=${v_fm_dt} \
48             -hiveconf v_fm_day=${v_fm_day} \
49             -hiveconf v_fm_dt_1=${v_fm_dt_1} \
50             -hiveconf v_fm_dt_07=${v_fm_dt_07} \
51             -hiveconf v_fm_dt_09=${v_fm_dt_09} \
52             -hiveconf v_proc_name=${v_proc_name} -f "${v_filename}"  ;

这篇关于SparkSql任务.sh文件配置的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！