同步操作将从 chen/dataCollection 强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
mkdir spoon
mv webSpoon.zip spoon
cd spoon
unzip webSpoon.zip
解压完成后查看目录
cd bin/
./startup.sh
注意:
./startup.sh后如果提示权限不够, 需要修改权限:
chmod -R 777 /spoon
./startup.sh
出现这个界面则启动成功
在浏览器上输入: http://ip:8080/spoon/spoon (ip为linux的ip地址)
由于创建目录的位置,当前用户权限可能不够,需要添加当前登录用户的权限或者切换到root用户操作
切换用户命令:su root 然后输入密码即可
命令:
mkdir -p java/jdk
注意:要先切换目录到jdk文件夹下,然后再运行下载命令
下载命令:
wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz
注意:如果wget命令不能用,报错:-bash: wget: command not found。执行一下该命令(安装依赖包)
yum -y install wget
下载命令运行后,等待下载完成
解压命令:
tar -zxvf jdk-8u131-linux-x64.tar.gz
解压完成后,会生成jdk1.8.0.131文件夹,输入命令:mv jdk1.8.0.131 jdk1.8 重命名一下
输入命令:vi /etc/profile
打开文件后,拉到最下面添加以下内容
export JAVA_HOME=/java/jdk/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
修改文件步骤:
(1) 按键盘 i 键 即变成可编辑状态
(2) 修改文件内容后退出:按ESC键
(3) 保存修改:冒号+x,如(:x)
(4) 不保存修改的内容:冒号+q!,如(:q!)
命令:java -version
docker pull mysql:5.7.23
sudo docker run --name mysql -v /mysql/mysql-data/data:/var/lib/mysql -v /mysql/conf:/etc/mysql -e MYSQL_ROOT_PASSWORD=root -p 3306:3306 -d mysql:5.7.23
(1) 切到MySQL配置文件挂载的目录
cd /mysql/conf/
(2) 编辑 my.cnf 配置文件
vim my.cnf
在 [mysqld] 下面添加: lower_case_table_names=1
即可忽略表名大小写
编辑 application-kettle.yml
kettle:
log-file-path: /apps/logs/${spring.application.name}/run-logs
encoding: utf-8
upload-path: /apps/var/kettle-script-file
kettle-home: /apps/var/file-rep
kettlePluginPackages: /home/ali/data/plugins
将kettle插件包plugins上传到 /home/ali/data/ 下
在 application.yml配置文件中配置 kettle的url:
spoon:
url: 192.168.200.129:8080/spoon/spoon
application-mysql.yml
spring:
datasource: # 数据库链接
url: jdbc:mysql://192.168.200.129:3306/data_collection?useUnicode=true&characterEncoding=utf8&useSSL=false&allowPublicKeyRetrieval=true&serverTimezone=GMT%2B8
username: root
password: root #数据库名、用户名和密码改为自己的
driver-class-name: org.gjt.mm.mysql.Driver
将dataCollection-0.0.6-SNAPSHOT.jar 包上传到 /java文件夹下,运行
cd /java
java -jar dataCollection-0.0.6-SNAPSHOT.jar
访问: http://ip:7080/ 出现以下界面 , 启动成功
根据以上步骤进行启动 kettle 和 数据采集平台
默认账号密码都为 admin
首页为任务的监控界面
可以查看已经连接过的资源库列表
点击新增库资源库
点击保存, 新建完成, 即可在列表中查看到刚才新建的数据库资源库
可以在四个目录任意一个下新增脚本
点击 保存, 会跳转到kettle web端界面
如果是新建的数据库资源库, 第一次新增脚本时需要在kettle界面连接该数据库资源库, 后续添加脚本则不需要
步骤:
(1) 点击右上角的 Connect 选择 Repository Manager
(2) 点击 Add 即: 新增资源库
(3) 点击 Other Repositories
(4) 选择 Database Repository, 然后点击 Get Started
(5) 设置资源库名称 (资源库名称需要和新增资源库时设置的名称保持一致)
(6) 设置 资源库连接, 点击New
(7) 连接名称(自定义); 连接类型, 连接方式 , ip, 数据库名 端口号 用户名 密码 需要和新增资源库时保持一致, 然后点击测试
(8) 点击back返回后, 点击 Finish完成
(9) 返回数据采集平台, 选择脚本,点击编辑, 即可编写脚本
(1) 选择表输入和Excel输出, 并使用 shift + 鼠标左键 建立连接
(2) 编辑表输入, 新建数据库连接, 选择要操作的数据库和表
点击预览, 显示如下, 表输入设置成功,点击确定
(3) 设置Excel输出
设置生成文件的路径: /root/.kettle/data
获取字段
ctrl + s 进行保存
(1) 采用中华万年历天气API
url= http://wthrcdn.etouch.cn/weather_mini?city=郑州
返回数据:
{
"data": {
"yesterday": {
"date": "3日星期三",
"high": "高温 21℃",
"fx": "西南风",
"low": "低温 9℃",
"fl": "<![CDATA[1级]]>",
"type": "霾"
},
"city": "郑州",
"forecast": [
{
"date": "4日星期四",
"high": "高温 22℃",
"fengli": "<![CDATA[2级]]>",
"low": "低温 13℃",
"fengxiang": "南风",
"type": "阴"
},
{
"date": "5日星期五",
"high": "高温 19℃",
"fengli": "<![CDATA[2级]]>",
"low": "低温 12℃",
"fengxiang": "东风",
"type": "小雨"
},
{
"date": "6日星期六",
"high": "高温 18℃",
"fengli": "<![CDATA[3级]]>",
"low": "低温 6℃",
"fengxiang": "北风",
"type": "阴"
},
{
"date": "7日星期天",
"high": "高温 10℃",
"fengli": "<![CDATA[5级]]>",
"low": "低温 5℃",
"fengxiang": "西北风",
"type": "晴"
},
{
"date": "8日星期一",
"high": "高温 11℃",
"fengli": "<![CDATA[4级]]>",
"low": "低温 5℃",
"fengxiang": "西风",
"type": "晴"
}
],
"ganmao": "感冒低发期,天气舒适,请注意多吃蔬菜水果,多喝水哦。",
"wendu": "13"
},
"status": 1000,
"desc": "OK"
}
(2) 定义url和参数
(3) 发请求
(3) 接收请求后的结果
(4) 字段选择
(5) 输出excel
ctrl + s 保存
可以设置任务定时执行的策略, 即: 多长时间执行一次
可以自定义任务分类
(1) 新增转换
(2) 启动转换
(3) 生成文件
可以查看任务的执行记录和执行状态
可以新增和删除用户
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。