Kettle的实战练习指南：从数据导入到ETL自动化

        在数据集成和数据仓库建设中，Kettle作为一个强大的开源ETL工具，提供了灵活的数据抽取、转换和加载功能。本文将通过实战案例，详细介绍Kettle在数据导入、ETL流程设计、自动化任务调度等方面的应用。

一、数据导入

1. SQL语句导入

导入sql语句，支持拖拽

加入你导入sql失败了，将sql语句中的创建数据库的语句删除掉，手动的创建shop数据库，再导入sql即可。

创建一个新的数据库：shop_bi

2. 数据库区分

  • 业务数据库（shop）：支撑业务运行。
  • 分析型数据库（shop_bi）：数据分析工程师操作，减轻业务数据库负担。

二、Kettle实现ETL

1. 数据同步

ODS层：

贴源层，与原数据库结构相似。

将 shop数据库中的数据导⼊到 shop_bi 中。

image.png

表同步：

areas表同步

设置更新操作，确保字段映射正确。

设置 更新 操作：

设置另个一数据库的连接：

执行SQL语句，创建表ods_areas:

此时发现ods_areas表中，需要一个字段（dt）,该字段表示什么时候更新的这个数据。

goods_cats表同步

确保执行创建表SQL语句。

以上错误原因是没有执行创建表的SQL语句。

2. 定时任务

每周定时执行

设置Kettle作业，每周周一1点自动执行数据同步。

这样就可以达到每周周一1点进行数据同步的目的。

3. 日常数据抽取

获取特定日期数据：

如何获取一个orders表中某一天的数据

使用SQL语句筛选特定日期数据。

方式1：
select * from orders where createTime like  '2019-06-22%';方式2：
select * from orders where createTime >=  '2019-06-22 00:00:00' and createTime <='2019-06-22 23:59:59';方式3：
select * from orders where substr(createTime,1,10) = '2019-06-22';

select *,str_to_date('${dt}','%Y-%m-%d') dt from orders where substr(createTime,1,10) = '${dt}';
也可以使用下面这个：
SELECT *,str_to_date('${dt}','%Y-%m-%d') as dtime FROM shop.orders  where createTime like '${dt}%'
如何传递参数

传递参数，确保数据准确性。

必须保证预览有数据才可以：

插入\更新操作设置：

执行SQL语句建表的时候：出现错误

一般出现这个错误，就把数据类型，变为小写，再执行一遍。

4. 多表数据同步

goods、users、order_goods：

goods数据：

SELECT *,str_to_date(now(),'%Y-%m-%d %H:%i:%s') as dt
FROM goods
where subStr(createTime,1,10) = '${dt}'

后面的users 以及order_goods 操作是一样的。

三、自动化任务调度

1. 每天执行的任务

Job任务：设置Kettle作业，每天自动执行数据抽取和同步任务。

 每天执行的任务，做一个Job

image.png

image.png

以上步骤结束了，但是每天都需要修改一下dt 的参数。

image.png

目前还没有分析数据，没有分析任何的指标。分析的时候再shop_bi数据库上，减轻shop数据库的负担。

2. 获取前一天日期

方法一：使用正则表达式获取

使用正则表达式获取当前时间，传递给任务中的变量。

在sql语句中，可以获取前一天的日期：

select date_sub(str_to_date('2023-09-23','%Y-%m-%d'), INTERVAL 1 DAY);
INTERVAL 是间隔的意思可以将以前的sql修改为：
select *,date_sub(str_to_date(?,'%Y-%m-%d'), INTERVAL 1 DAY) dt
from orders where substr(createTime,1,10) = date_sub(str_to_date(?,'%Y-%m-%
d'), INTERVAL 1 DAY);获取前一天的数据另一个sql:
select adddate(str_to_date('2023-09-23','%Y-%m-%d'), -1);

新建转换：

通过这个工具可以获取当前时间。

在脚本中选择正则表达式脚本。为什么搞这个，因为我想从上一个步骤中获取年-月-日三个数据。

创建一个脚本，选择正则表达式，编写解析的正则表达式：

2023/09/25 10:20:07.986(\d{4})/(\d{2})/(\d{2})\s\d{2}:\d{2}:\d{2}\.\d{3}
为什么在前面的年月日需要添加括号，因为括号括起来叫做组，可以通过别的方式获取组的数据，由于其他数据我不需要获取，所以不加括号

在脚本中创建正则表达式

新建作业--设置变量，使用线连接。

运行查看结果：

结果正确，保存，留着以后使用。

继续回归到项目中：

新建转换，选中 [ 作业 ]，获取变量。

接着输入选择表输入，使用如下sql语句：

select *,date_sub(str_to_date(?,'%Y-%m-%d'), INTERVAL 1 DAY) dt
from orders where substr(createTime,1,10) = date_sub(str_to_date(?,'%Y-%m-%d'), INTERVAL 1 DAY);

开始编辑：获取变量这个 job

可以点击预览一下。

创建表输出为--插入更新 操作

修改数据库中的一条数据（orders表）：

回顾：整个步骤只有两步，第一步设置变量

第二步：使用变量：

方法二：使用Java代码获取

使用Java代码获取前一天日期，并传递给任务中的变量。

1）编辑java代码
一个输入参数，一个输出参数，给定一个日期，获取这个日期的前一天的日期。

image.png

import java.util.Calendar;
import java.util.Date;
import java.text.SimpleDateFormat;
import java.text.ParseException;
public boolean processRow(StepMetaInterface smi, StepDataInterface sdi) throws KettleException {if (first) {first = false;}Object[] r = getRow();if (r == null) {setOutputDone();return false;}r = createOutputRow(r, data.outputRowMeta.size());String foobar = get(Fields.In, "dt").getString(r);SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd");SimpleDateFormat format = new SimpleDateFormat("yyyy/MM/dd HH:mm:ss");// 创建Calendar对象，并设置为传⼊的时间Calendar calendar = Calendar.getInstance();try {calendar.setTime(format.parse(foobar));} catch (ParseException e) {throw new RuntimeException(e);}// 将Calendar的⽇期减1，即为昨天的⽇期calendar.add(Calendar.DATE, -1);// 获取昨天的⽇期Date yesterdayDate = calendar.getTime();// System.out.println("昨天的时间：" + yesterdayDate);// 将昨天的⽇期格式化为指定格式String yesterdayStr = sdf.format(yesterdayDate);// 设置需要输出的字段get(Fields.Out, "yesterday").setValue(r, yesterdayStr);// Send the row on to the next step.putRow(data.outputRowMeta, r);return true;
}

image.png


2) 设置输入 为系统时间
操作步骤跟之前一样，数据名称必须是 dt， 值是 系统时间（可变）

image.png


测试一下，从java代码中点击【测试类】

image.png

image.png


确实可以获取到dt的数据。
创建一个作业--设置变量，操作跟之前一样。

image.png


运行一下查看结果是否正确：

image.png


接着可以在项目中使用：
在作业中，拉取【获取变量】，输入是表输入，输出是插入更新

image.png


点击获取变量，输入yesterday。

image.png


表输入中的sql语句如下：

select *,str_to_date(?,'%Y-%m-%d') dt
from order_goods where substr(createTime,1,10) = str_to_date(?,'%Y-%m-%d');

image.png


修改获取变量，因为我的sql语句中有两个 ？ ，表示需要两个参数。

image.png


表输出的设置：

image.png


记得先创建表，执行sql语句。

image.png


执行任务，查看结果。

image.png


 

四、总结

        Kettle不仅提供了强大的数据抽取和转换功能，还支持灵活的任务调度和自动化处理。通过本文的实战案例，读者可以更好地理解和应用Kettle，提高数据集成的效率和准确性。希望这篇文章能帮助你更好地掌握Kettle的实战应用。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/1538755.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

（11）(2.1.2) DShot ESCs（二）

（11）(2.1.2) DShot ESCs（二）

文章目录 前言 3 配置伺服功能 4 检查RC横幅 5 参数说明 前言 DShot 是一种数字 ESC 协议&#xff0c;它允许快速、高分辨率的数字通信&#xff0c;可以改善飞行器控制&#xff0c;这在多旋翼和 quadplane 应用中特别有用。 3 配置伺服功能 如上所述&#xff0c;如果使用…
阅读更多...
数据结构-3.链表

数据结构-3.链表

前言 本篇博客给大家带来的是链表的知识点, 其中包括面试经常会提问的真题 ArrayList 和 LinkedList 的区别 . 文章专栏: Java-数据结构 若有问题 评论区见 欢迎大家点赞 评论 收藏 分享 如果你不知道分享给谁,那就分享给薯条, 如果分享不成功, 那我就会回你一下,那样你就分享成…
阅读更多...
c++与cmake:完整的C++项目构建注意事项

c++与cmake:完整的C++项目构建注意事项

个人博客:Sekyoro的博客小屋 个人网站:Proanimer的个人网站 最近常常使用cmake构建c项目有感,从创建项目到打包发布总结一下需要注意的事情. 项目组织方式 具体的项目组织方式因人而异,这里推荐一种,在src目录中创建模块目录,再在include目录中常见对应的同名目录包含头文件,…
阅读更多...
阿里巴巴API助力电商：商品详情获取与数据驱动的完美结合

阿里巴巴API助力电商：商品详情获取与数据驱动的完美结合

阿里巴巴API在电商领域的应用&#xff0c;特别是在商品详情获取与数据驱动的决策过程中&#xff0c;发挥着至关重要的作用。以下是对这一主题的详细阐述&#xff1a; 一、阿里巴巴API在商品详情获取中的应用 丰富的数据支持&#xff1a; 阿里巴巴提供的商品详情API&#xff0…
阅读更多...
html详细知识

html详细知识

1-标题标签、水平线、字体标签 <!--1.标题标签1&#xff09;格式&#xff1a;<hn></hn> n的范围是1-6&#xff0c;依次递减2&#xff09;标题标签特点&#xff1a;a:单独占一行b:自动加粗2.水平线1&#xff09;格式&#xff1a;<hr/>2)属性&#xff1a;…
阅读更多...
深度学习对抗海洋赤潮危机！浙大GIS实验室提出ChloroFormer模型，可提前预警海洋藻类爆发

深度学习对抗海洋赤潮危机！浙大GIS实验室提出ChloroFormer模型，可提前预警海洋藻类爆发

2014 年 8 月&#xff0c;美国俄亥俄州托莱多市超 50 万名居民突然收到市政府的一则紧急通知——不得擅自饮用自来水&#xff01; 水是人类生存的基本供给&#xff0c;此通告关系重大&#xff0c;发出后也引起了不小的恐慌。究其原因&#xff0c;其实是美国伊利湖爆发了大规模…
阅读更多...
如何使用ssm实现在线视频网站开发

如何使用ssm实现在线视频网站开发

TOC ssm631在线视频网站开发jsp 绪论 1.1 选题背景 当人们发现随着生产规模的不断扩大&#xff0c;人为计算方面才是一个巨大的短板&#xff0c;所以发明了各种计算设备&#xff0c;从结绳记事&#xff0c;到算筹&#xff0c;以及算盘&#xff0c;到如今的计算机&#xff0…
阅读更多...
关于嵌入式硬件需要了解的基础知识

关于嵌入式硬件需要了解的基础知识

成长路上不孤单&#x1f60a;&#x1f60a;&#x1f60a;&#x1f60a;&#x1f60a;&#x1f60a; 【14后&#x1f60a;///C爱好者&#x1f60a;///持续分享所学&#x1f60a;///如有需要欢迎收藏转发///&#x1f60a;】 今日分享关于嵌入式硬件基础知识的相关内容&#xff…
阅读更多...
html，css基础知识点笔记（二）

html，css基础知识点笔记（二）

9.18&#xff08;二&#xff09; 本文主要教列表的样式设计 1&#xff09;文本溢出 效果图 文字限制一行显示几个字&#xff0c;多余打点 line-height: 1.8em; white-space: nowrap; width: 40em; overflow: hidden; text-overflow: ellipsis;em表示一个文字的大小单位&…
阅读更多...
828华为云征文｜云服务器Flexus X实例｜Ubunt部署Vue项目

828华为云征文｜云服务器Flexus X实例｜Ubunt部署Vue项目

概要 本章将深入阐述Vue项目在Ubuntu环境下&#xff0c;实现在华为云Flexus X云服务器上的部署过程&#xff0c;此次演示以Vue.js项目为核心华为云在已经到来的828 B2B企业节上&#xff0c;为Vue等前端项目的部署与运维提供强有力的支持。 Ubuntu部署Vue项目的影响&#xff1…
阅读更多...
VS Code远程连接虚拟机

VS Code远程连接虚拟机

VS Code远程连接虚拟机 1.下载vscode2.打开VS Code下载Remote-SSH插件1.修改相关信息 3.虚拟机检查或安装ssh4.检查虚拟机服务是否安装成功5.开启ssh&#xff0c;并检查是否开启成功 1.下载vscode 2.打开VS Code下载Remote-SSH插件 1.修改相关信息 2. 3.虚拟机检查或安装ssh…
阅读更多...
封装svg图片

封装svg图片

前言 项目中有大量svg图片&#xff0c;为了方便引入&#xff0c;所以对svg进行了处理 一、svg是什么&#xff1f; svg是可缩放矢量图形&#xff0c;是一种图片格式 二、使用步骤 1.创建icons文件夹 将icons文件夹放进src中&#xff0c;并创建一个svg文件夹和index.js&…
阅读更多...
PMP--一模--解题--161-170

PMP--一模--解题--161-170

文章目录 13.干系人管理161、 [单选] 项目经理正在领导一个公司内部项目&#xff0c;该项目正处于早期阶段。该项目与一年前结束的另一个项目很相似&#xff0c;项目经理该做什么来分析涉及的干系人&#xff1f; 10.沟通管理162、 [单选] 在项目执行过程中&#xff0c;一位关键…
阅读更多...
Docker安装 ▎Docker详细讲解 ▎数据卷挂载 ▎Nginx安装理解

Docker安装 ▎Docker详细讲解 ▎数据卷挂载 ▎Nginx安装理解

前言 Docker是一种容器化技术&#xff0c;简化软件的部署和管理。文章详细解释了Docker的架构、安装步骤和常用命令&#xff0c;帮助用户快速启动和管理容器。还介绍了Docker镜像命令和数据卷挂载的实例&#xff0c;增强对持久化存储的理解&#xff0c;并涵盖了Nginx的安装方法…
阅读更多...
『功能项目』QFrameWork框架重构OnGUI【63】

『功能项目』QFrameWork框架重构OnGUI【63】

我们打开上一篇62QFrameWork背包框架的项目&#xff0c; 上文将功能实现在一个脚本中 本章要做的事情让脚本实现背包框架思想 首先按照图示创建脚本&#xff1a; 创建脚本&#xff1a;Item.cs namespace QFramework {public class Item{//道具public string Key;public string …
阅读更多...
【网络】传输层协议TCP

【网络】传输层协议TCP

TCP协议 TCP&#xff08;Transmission Control Protocol&#xff0c;传输控制协议&#xff09;是一种面向连接的、可靠的、基于字节流的传输层通信协议&#xff0c;由IETF的RFC 793定义。TCP在IP&#xff08;Internet Protocol&#xff0c;互联网协议&#xff09;网络层上提供…
阅读更多...
最长连续子序列 - 华为OD统一考试（E卷）

最长连续子序列 - 华为OD统一考试（E卷）

OD统一考试&#xff08;E卷&#xff09; 分值&#xff1a; 100分 题解&#xff1a; Java / Python / C 2024华为OD机试&#xff08;E卷D卷C卷&#xff09;最新题库【超值优惠】Java/Python/C合集 题目描述 有N个正整数组成的一个序列。给定整数sum&#xff0c;求长度最长的连续…
阅读更多...
海报制作哪个软件好？探索5个免费海报生成器

海报制作哪个软件好？探索5个免费海报生成器

Hey&#xff0c;最近发现了几个超酷的海报生成器&#xff0c;它们简直是设计新手的救星&#xff01;无论是想要快速制作一张吸引眼球的促销海报&#xff0c;还是为即将到来的活动设计一张有创意的邀请函&#xff0c;这些工具都能让整个过程变得既简单又有趣。 设想一下&#x…
阅读更多...
React框架搭建，看这一篇就够了，看完你会感谢我

React框架搭建，看这一篇就够了，看完你会感谢我

传统搭建框架的方式 在2024年以前&#xff0c;我们构建框架基本上采用官方脚手架&#xff0c;但是官方脚手架其实大概率都不符合我们的项目要求&#xff0c;搭建完了以后往往需要再继续集成一些第三方的包。这时候又会碰到一些版本冲突&#xff0c;配置教程等&#xff0c;往往…
阅读更多...
PMP--二模--解题--1-10

PMP--二模--解题--1-10

文章目录 4.整合管理--商业文件--商业论证&#xff08;是否值得所需投资、高管们决策的依据&#xff09;反映了&#xff1a;1、 [单选] 收到新项目的客户请求之后&#xff0c;项目经理首先应该做什么&#xff1f; 14.敏捷--角色--产品负责人PO–职责–1.创建待办列表并排序;2.确…
阅读更多...
最新文章

Copyright @ 2022~2023