本事例演示从FTP下载文件,然后在插入到数据库,这次FTP配置信息就通过变量来配置了,全局变量一般配置在kettle.properties文件里,
下面是FTP的配置信息,
因为FTP下载是一个作业(job),一些路径信息的设置需要转换,所以咱们需要串联配置转换和作业,大致步骤如下
设置远程FTP文件路径变量>下载FTP文件>导入本地文件到数据库
1、新建一个转换,设置远程FTP服务器的目录,最后名称保存为demo_get_url,因为后面要用,所以名称要起的认真点,
至于为什么有这个步骤,是因为很多ftp服务器的文件命名规则都是这么来的,要获取当年当月当天文件夹下的文件
首先从输入里拖进来生成记录控件,然后通过JS代码返回目录路径字符串,最后把这个路径设置为变量
2、设置生成记录,把条数改为一条
3、设置JS代码控件,最终返回的是一个或者多个目录的名称变量,我这里的目录为年月日分开的目录,我的ftp服务器是本地测试的,所以ftp目录也在本地
4、然后开始设置变量,把刚才年月日设置为变量,供同作业下的下个转换使用
到这里,ftp服务器的目录就设置好了,然后开始设置ftp下载了
5、创建ftp下载作业,和上一篇基本类似,就不再详细贴图了,只把有变化的地方指出来,设置好后保存为demo_ftp_downlaod,开始设置从文本文件到数据库转换了
6、新建一个转换,从文本文件到表输出,这个步骤就不再贴图了,和前面的一模一样,
7、基本的步骤都弄好了,然后新建一个作业,把这些步骤穿起来,如图
这之前把数据库表清空,然后执行当前job,查看结果
本地下载目录
数据库