Spark 机器学习--运用逻辑回归分析银行营销数据

介绍

Spark 机器学习--运用逻辑回归分析银行营销数据

软件架构

spark2.4.7-scala-2.12.12-hadoop-2.7.7

特技

1.逻辑回归(Logistic Regression)

机器学习算法分为监督学习算法和无监督学习算法，在监督学习算法中，算法有目标变量(即预测值)和特征变量等两种变量，根据目标变量的值是离散值还是连续数值，分为分类算法(目标变量的值为离散值，如 是/否、0/1)和回归算法(目标变量为连续值)。

逻辑回归是一个分类算法而不是回归算法。通常是利用已知的特征变量来预测一个离散型目标变量的值(如 0/1，是/否，真/假)。通过拟合一个逻辑函数来预测一个事件发生的概率，预测值是一个概率值(0-100%),根据概率值的大小,映射为目标变量的分类值,如:概率值大于等于 50%,映射目标变量分类值为 1,概率值小于 50%,映射目标变量分类值为 0。

2.特征工程

特征工程是最大限度地从原始数据中提取特征以供算法和模型使用的过程。特征工程包括特征提取、特征转换、降维等操作。 Spark 提供了多种特征工程算法，详细内容可查看官方文档。

本实验中，我们使用 StringIndex 和 OneHotEncoder 两种特征转换算法。