机器学习基础理论：数据归一化

归一化的原理

  归一化就是把你需要处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内，让权重变为统一的过程，其目的就是将不同尺度上的评判结果统一到一个尺度上，从而可以作比较，作计算。首先归一化是为了后面数据处理的方便，其次是保正程序运行时收敛加快。

---

归一化的方法

1.线性函数转换

$$y=\frac{x-MinValue}{MaxValue-MinValue}$$

  说明: x、y分别为转换前、后的值，MaxValue、MinValue分别为样本的最大值和最小值。

def autoNorm(dataSet):
    """
    Desc:
        归一化特征值，消除特征之间量级不同导致的影响
    parameter:
        dataSet: 数据集
    return:
        归一化后的数据集 normDataSet. ranges和minVals即最小值与范围

    归一化公式: 
        Y = (X-Xmin)/(Xmax-Xmin)
        其中的 min 和 max 分别是数据集中的最小特征值和最大特征值。
        该函数可以自动将数字特征值转化为0到1的区间。
    """
    # 计算每种属性的最大值、最小值、范围
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    # 极差
    ranges = maxVals - minVals
    normDataSet = np.zeros(np.shape(dataSet))
    m = dataSet.shape[0]
    # 生成与最小值之差组成的矩阵
    normDataSet = dataSet - np.tile(minVals, (m, 1))
    # 将最小值之差除以范围组成矩阵
    normDataSet = normDataSet / np.tile(ranges, (m, 1))  # element wise divide
    return normDataSet, ranges, minVals

2.对数函数转换

$$y=\log_{10}(x)$$

  说明: 以10为底的对数函数转换。

3.反余切函数转换

$$y=\frac{\arctan{x}\times 2}{\pi}$$

  在统计学中，归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布，归一化在 -1 — +1之间是统计的坐标分布。