博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
kettle demo4 从FTP下载文本文件到本地,然后插入到数据库
阅读量:5932 次
发布时间:2019-06-19

本文共 741 字,大约阅读时间需要 2 分钟。

hot3.png

本事例演示从FTP下载文件,然后在插入到数据库,这次FTP配置信息就通过变量来配置了,全局变量一般配置在kettle.properties文件里,

下面是FTP的配置信息,

8456c5f9aa17d3ba1fb8564a1cdc20cd60e.jpg

因为FTP下载是一个作业(job),一些路径信息的设置需要转换,所以咱们需要串联配置转换和作业,大致步骤如下

设置远程FTP文件路径变量>下载FTP文件>导入本地文件到数据库

1、新建一个转换,设置远程FTP服务器的目录,最后名称保存为demo_get_url,因为后面要用,所以名称要起的认真点,

至于为什么有这个步骤,是因为很多ftp服务器的文件命名规则都是这么来的,要获取当年当月当天文件夹下的文件

首先从输入里拖进来生成记录控件,然后通过JS代码返回目录路径字符串,最后把这个路径设置为变量

f3a7f7373c57d72cdb7983cec52c38907fa.jpg

 

2、设置生成记录,把条数改为一条

6e2429d1223f4138d169a6bbc8d7b6c46ec.jpg

3、设置JS代码控件,最终返回的是一个或者多个目录的名称变量,我这里的目录为年月日分开的目录,我的ftp服务器是本地测试的,所以ftp目录也在本地

d1db5d8fc20c39bab1b6358bc6c3f1a7f2b.jpg28f78754a769d6bfe8feb3bc4a9edc12af0.jpg

4、然后开始设置变量,把刚才年月日设置为变量,供同作业下的下个转换使用

803bf0e8e64cc6597aa35ab21b4f2d05d1d.jpg

到这里,ftp服务器的目录就设置好了,然后开始设置ftp下载了

5、创建ftp下载作业,和上一篇基本类似,就不再详细贴图了,只把有变化的地方指出来,设置好后保存为demo_ftp_downlaod,开始设置从文本文件到数据库转换了

4e4776fd07ba31e19c1d129de219b7f952e.jpg

7e6a654b20aaa7a2860bfb7ffa39c4ccec3.jpg

6、新建一个转换,从文本文件到表输出,这个步骤就不再贴图了,和前面的一模一样,

7、基本的步骤都弄好了,然后新建一个作业,把这些步骤穿起来,如图

这之前把数据库表清空,然后执行当前job,查看结果

3e16cacc9779daa82f291f2df334080a9fd.jpg

94989c00e3ef6d454b066019b649a5b653f.jpg

 

本地下载目录

a924a13263d339cdf4d8bc2e11711285404.jpg

数据库

58be5c13b0f9fa4c544f1188799a0b3ade7.jpg

转载于:https://my.oschina.net/feiyang2017/blog/3027828

你可能感兴趣的文章
String详解
查看>>
线程 不安全,
查看>>
sql-server学习:索引
查看>>
常用安全资源整理(持续更新)
查看>>
【转】JMS的规范,以及MQ中p2p和publish/subscriber2中模式
查看>>
java Annotation的应用
查看>>
HDU3572 Task Schedule(ISAP)
查看>>
JQuery 选择器
查看>>
css3文本阴影
查看>>
Activity的活动周期
查看>>
java.io.InvalidClassException
查看>>
canvas学习笔记,实用知识点总结(上)
查看>>
vuecli2多页面 实测成功
查看>>
【细说Java】揭开Java的main方法神秘的面纱(转)
查看>>
HTML转义字符大全(转)
查看>>
CountDownLatch
查看>>
stuts1:(Struts)Action类及其相关类
查看>>
Linux系统的启动过程
查看>>
Python_day02_2018.7.3_(格式化输出,基本运算符)
查看>>
判断指定的成员名是否属于对象(In和hasOwnProperty)
查看>>