spark-function-template

spark自定义函数模版

产品介绍

        至轻云是一款企业级、智能化大数据中心。一键部署，开箱即用。可快速实现大数据计算、数据采集、数据清洗、数据安全、数据质量、数据管理、数据接口开放等功能，助力企业构建新一代智慧数据中心。

构建命令

git clone https://github.com/isxcode/spark-function-template
cd spark-function-template
./gradlew clean build
cp ./build/libs/spark-custom-func.jar ~/Downloads

新建函数

• 名称：to_chinese_date
• 类型：UDF
• 类名：com.isxcode.spark.udf.Func
• 输入类型：date
• 返回类型：string
• 备注：将时间格式转成中文
• 测试sql： select to_chinese_date(now())

函数列表

函数名	类名	演示 SQL	说明	备注
func	com.isxcode.spark.udf.Func	SELECT func(now())	将时间格式转成中文	需要额外下载依赖：hutool-all-5.8.27.jar
func1	com.isxcode.spark.udf.Func1	SELECT func1('zhangsan', 'secret')	对称加密	需要额外下载依赖：hutool-all-5.8.27.jar
func2	com.isxcode.spark.udf.Func2	SELECT func2('sflsfuahsdfjlqewr==', 'secret')	对称解密	需要额外下载依赖：hutool-all-5.8.27.jar
func3	com.isxcode.spark.udf.Func3	SELECT func3('310240199909102395', 1, 3)	身份证脱敏	需要额外下载依赖：hutool-all-5.8.27.jar
func4	com.isxcode.spark.udf.Func4	SELECT func4('13187961213')	手机号码脱敏	需要额外下载依赖：hutool-all-5.8.27.jar
func5	com.isxcode.spark.udf.Func5	SELECT func5('zhangsan')	国密随机加密	需要额外下载依赖：hutool-all-5.8.27.jar、bcprov-jdk18on-1.78.1.jar