">

一步步教你轻松学奇异值分解SVD降维算法

摘要:奇异值分解(singular value decomposition)是线性代数中一种重要的矩阵分解,在生物信息学、信号处理、金融学、统计学等领域有重要应用,SVD都是提取信息的强度工具。在机器学习领域,很多应用与奇异值都有关系,比如推荐系统、数据压缩(以图像压缩为代表)、搜索引擎语义层次检索的LSI等等。(本文原创,转载必须注明出处.)

奇异值分解原理

什么是奇异值分解(SVD)

奇异值分解

假设M是一个m×n阶矩阵,其中的元素全部属于域K,也就是实数域或复数域。如此则存在一个分解使得

其中U是m×m阶酉矩阵;Σ是m×n阶非负实数对角矩阵;而\(V^T\),即V的共轭转置,是n×n阶酉矩阵。这样的分解就称作M的奇异值分解。Σ对角线上的元素\(Σ_i\),i即为M的奇异值。常见的做法是将奇异值由大而小排列。如此Σ便能由M唯一确定了。(虽然U和V仍然不能确定。)

  • V的列组成一套对\(M\)的正交”输入”或”分析”的基向量。这些向量是\(M^*M\)的特征向量。
  • U的列组成一套对\(M\)的正交”输出”的基向量。这些向量是\(MM^*\)的特征向量。
  • Σ对角线上的元素是奇异值,可视为是在输入与输出间进行的标量的”膨胀控制”。这些是\( MM^* \)及 \( M^* M \)的特征值的非负平方根,并与U和V的行向量相对应。

矩阵知识

正交与正定矩阵

  • 正交矩阵:若一个方阵其行与列皆为正交的单位向量,则该矩阵为正交矩阵,且该矩阵的转置和其逆相等。两个向量正交的意思是两个向量的内积为 0。 >> 正交矩阵知识扩展
  • 正定矩阵:如果对于所有的非零实系数向量 \(z\),都有 \(z^T A z > 0\),则称矩阵 \(A\) 是正定的。正定矩阵的行列式必然大于 0, 所有特征值也必然 > 0。相对应的,半正定矩阵的行列式必然 ≥ 0。>> 正定矩阵知识扩展

转置与共轭转置

矩阵的转置(transpose)是最简单的一种矩阵变换。简单来说,若 $m\times n$ 的矩阵 $\mathbf M$ 的转置记为 $\mathbf M^{\mathsf T}$;则 $\mathbf M^{\mathsf T}$ 是一个 $n\times m$ 的矩阵,并且 。因此,矩阵的转置相当于将矩阵按照主对角线翻转;同时,我们不难得出

矩阵的共轭转置(conjugate transpose)可能是倒数第二简单的矩阵变换。共轭转置只需要在转置的基础上,再叠加复数的共轭即可。因此,若以 $\mathbf M^{\mathsf H}$ 记矩阵 $\mathbf M$ 的共轭转置,则有

酉矩阵

酉矩阵(unitary matrix)是一种特殊的方阵,它满足 酉矩阵实际上是推广的正交矩阵(orthogonal matrix);当酉矩阵中的元素均为实数时,酉矩阵实际就是正交矩阵。另一方面,由于 ,所以酉矩阵 $\mathbf U$ 满足 $\mathbf U^{-1} = \mathbf U^{\mathsf H}$;事实上,这是一个矩阵是酉矩阵的充分必要条件。

正规矩阵

同酉矩阵一样,正规矩阵(normal matrix)也是一种特殊的方阵,它要求在矩阵乘法的意义下与它的共轭转置矩阵满足交换律。这也就是说,若矩阵 $\mathbf M$ 满足如下条件,则称其为正规矩阵:。显而易见,复系数的酉矩阵和实系数的正交矩阵都是正规矩阵。显而易见,正规矩阵并不只有酉矩阵或正交矩阵。例如说,矩阵 即是一个正规矩阵,但它显然不是酉矩阵或正交矩阵;因为

谱定理和谱分解

矩阵的对角化是线性代数中的一个重要命题。谱定理(spectral theorem)给出了方阵对角化的一个结论:若矩阵 $\mathbf M$ 是一个正规矩阵,则存在酉矩阵 $\mathbf U$,以及对角矩阵 $\mathbf \Lambda$,使得
这也就是说,正规矩阵,可经由酉变换,分解为对角矩阵;这种矩阵分解的方式,称为谱分解(spectral decomposition)。


SVD 的计算方法

SVD 与特征值

现在,假设矩阵 $\mathbf M_{m\times n}$ 的 SVD 分解是那么,我们有

这也就是说,$\mathbf U$ 的列向量(左奇异向量),是 $\mathbf M\mathbf M^{\mathsf H}$ 的特征向量;同时,$\mathbf V$ 的列向量(右奇异向量),是 $\mathbf M^{\mathsf H}\mathbf M$ 的特征向量;另一方面,$\mathbf M$ 的奇异值($\mathbf\Sigma$ 的非零对角元素)则是 $\mathbf M\mathbf M^{\mathsf H}$ 或者 $\mathbf M^{\mathsf H}\mathbf M$ 的非零特征值的平方根。

如何计算 SVD

有了这些知识,我们就能手工计算出任意矩阵的 SVD 分解了;具体来说,算法如下

  1. 计算 $\mathbf M\mathbf M^{\mathsf H}$ 和 $\mathbf M^{\mathsf H}\mathbf M$;
  2. 分别计算 $\mathbf M\mathbf M^{\mathsf H}$ 和 $\mathbf M^{\mathsf H}\mathbf M$ 的特征向量及其特征值;
  3. $\mathbf M\mathbf M^{\mathsf H}$ 的特征向量组成 $\mathbf U$;而 $\mathbf M^{\mathsf H}\mathbf M$ 的特征向量组成 $\mathbf V$;
  4. 对 $\mathbf M\mathbf M^{\mathsf H}$ 和 $\mathbf M^{\mathsf H}\mathbf M$ 的非零特征值求平方根,对应上述特征向量的位置,填入 $\mathbf\Sigma$ 的对角元。

实际计算看看

现在,我们来试着计算 的奇异值分解。计算奇异值分解,需要计算 $\mathbf M$ 与其共轭转置的左右积;这里主要以 $\mathbf M\mathbf M^{\mathsf H}$ 为例。
首先,我们需要计算 $\mathbf M\mathbf M^{\mathsf H}$,

现在,我们要求 $\mathbf W$ 的特征值与特征向量。根据定义 $\mathbf W\vec x = \lambda \vec x$;因此 $(\mathbf W - \lambda\mathbf I)\vec x = \vec 0$。这也就是说

根据线性方程组的理论,若要该关于 $\vec x$ 的方程有非零解,则要求系数矩阵的行列式为 0;也就是

这也就是 $\bigl((20 - \lambda)(10 - \lambda) - 196\bigr)\lambda^2 = 0$;解得 , , 。将特征值代入原方程,可解得对应的特征向量;这些特征向量即作为列向量,形成矩阵

同理可解得(注意,$\mathbf M\mathbf M^{\mathsf T}$ 和 $\mathbf M^{\mathsf T}\mathbf M$ 的特征值相同)

以及 $\mathbf\Sigma$ 上的对角线元素由 $\mathbf W$ 的特征值的算术平方根组成;因此有

因此我们得到矩阵 $\mathbf M$ 的 SVD 分解(数值上做了近似):

几何上的直观解释

我们先来看一个例子。假设 $\mathbf M$ 是一个 $m\times n$ 的矩阵,而 $\mathbf x$ 是线性空间 $\mathbb K^n$ 中的向量,则$\mathbf y = \mathbf M\cdot\mathbf x$ 是线性空间 $\mathbb K^m$ 中的向量。这样一来,矩阵 $\mathbb A$ 就对应了一个从 $\mathbb K^n$ 到 $\mathbb K^m$ 的变换 $T: \mathbb K^n \to \mathbb K^m$,具体来说既是 $\mathbf x\mapsto \mathbf M\cdot\mathbf x$。这也就是说,在线性代数中,任意矩阵都能看做是一种变换。这样一来,我们就统一了矩阵和变换。

SVD 场景

隐性语义检索

信息检索-隐性语义检索(Lstent Semantic Indexing, LSI)或 隐形语义分析(Latent Semantic Analysis, LSA)
隐性语义索引:矩阵 = 文档 + 词语
最早的 SVD 应用之一,我们称利用 SVD 的方法为隐性语义索引(LSI)或隐性语义分析(LSA)。

推荐系统

  1. 利用 SVD 从数据中构建一个主题空间。
  2. 再在该空间下计算其相似度。(从高维-低维空间的转化,在低维空间来计算相似度,SVD 提升了推荐系统的效率。)

图像压缩

例如:32*32=1024 => 32*2+2*1+32*2=130(2*1表示去掉了除对角线的0), 几乎获得了10倍的压缩比。


SVD 工作原理

矩阵分解

  • 矩阵分解是将数据矩阵分解为多个独立部分的过程。
  • 矩阵分解可以将原始矩阵表示成新的易于处理的形式,这种新形式是两个或多个矩阵的乘积。(类似代数中的因数分解)
  • 举例:如何将12分解成两个数的乘积?(1,12)、(2,6)、(3,4)都是合理的答案。

SVD 是矩阵分解的一种类型,也是矩阵分解最常见的技术

  • SVD 将原始的数据集矩阵 Data 分解成三个矩阵 U、∑、V
  • 举例:如果原始矩阵 \(Data_{m*n} \) 是m行n列,
    • \(U_{m * k}\) 表示m行k列
    • \(∑_{k * k}\) 表示k行k列
    • \(V_{k * n}\) 表示k行n列。

具体的案例:

  • 上述分解中会构建出一个矩阵∑,该矩阵只有对角元素,其他元素均为0(近似于0)。另一个惯例就是,∑的对角元素是从大到小排列的。这些对角元素称为奇异值。
  • 奇异值与特征值(PCA 数据中重要特征)是有关系的。这里的奇异值就是矩阵 \(Data * Data^T\) 特征值的平方根。
  • 普遍的事实:在某个奇异值的数目(r 个=>奇异值的平方和累加到总值的90%以上)之后,其他的奇异值都置为0(近似于0)。这意味着数据集中仅有 r 个重要特征,而其余特征则都是噪声或冗余特征。

SVD 算法特点

优点:简化数据,去除噪声,优化算法的结果
缺点:数据的转换可能难以理解
使用的数据类型:数值型数据


推荐系统

推荐系统是利用电子商务网站向客户提供商品信息和建议,帮助用户决定应该购买什么产品,模拟销售人员帮助客户完成购买过程。

推荐系统场景

  1. Amazon 会根据顾客的购买历史向他们推荐物品
  2. Netflix 会向其用户推荐电影
  3. 新闻网站会对用户推荐新闻频道

推荐系统要点

基于协同过滤(collaborative filtering) 的推荐引擎

  • 利用Python 实现 SVD(Numpy 有一个称为 linalg 的线性代数工具箱)
  • 协同过滤:是通过将用户和其他用户的数据进行对比来实现推荐的。
  • 当知道了两个用户或两个物品之间的相似度,我们就可以利用已有的数据来预测未知用户的喜好。

基于物品的相似度和基于用户的相似度:物品比较少则选择物品相似度,用户比较少则选择用户相似度。【矩阵还是小一点好计算】

  • 基于物品的相似度:计算物品之间的距离。【耗时会随物品数量的增加而增加】
  • 由于物品A和物品C 相似度(相关度)很高,所以给买A的人推荐C。

用户/物品|物品A|物品B|物品C

  • 基于用户的相似度:计算用户之间的距离。【耗时会随用户数量的增加而增加】
  • 由于用户A和用户C 相似度(相关度)很高,所以A和C是兴趣相投的人,对于C买的物品就会推荐给A。

相似度计算

inA, inB 对应的是 列向量

  1. 欧氏距离:指在m维空间中两个点之间的真实距离,或者向量的自然长度(即该点到原点的距离)。二维或三维中的欧氏距离就是两点之间的实际距离。
    • 相似度= 1/(1+欧式距离)
    • 相似度= 1.0/(1.0 + la.norm(inA - inB))
    • 物品对越相似,它们的相似度值就越大。
  2. 皮尔逊相关系数:度量的是两个向量之间的相似度。
    • 相似度= 0.5 + 0.5corrcoef() 【皮尔逊相关系数的取值范围从 -1 到 +1,通过函数0.5 + 0.5\corrcoef()这个函数计算,把值归一化到0到1之间】
    • 相似度= 0.5 + 0.5 * corrcoef(inA, inB, rowvar = 0)[0][1]
    • 相对欧氏距离的优势:它对用户评级的量级并不敏感。
  3. 余弦相似度:计算的是两个向量夹角的余弦值。
    • 余弦值 = (A·B)/(||A||·||B||) 【余弦值的取值范围也在-1到+1之间】
    • 相似度= 0.5 + 0.5*余弦值
    • 相似度= 0.5 + 0.5*( float(inA.T*inB) / la.norm(inA)*la.norm(inB))
    • 如果夹角为90度,则相似度为0;如果两个向量的方向相同,则相似度为1.0。

代码实现

'''基于欧氏距离相似度计算,假定inA和inB 都是列向量
相似度=1/(1+距离),相似度介于0-1之间
norm:范式计算,默认是2范数,即:sqrt(a^2+b^2+...)
'''
def ecludSim(inA, inB):
    return 1.0/(1.0 + la.norm(inA - inB))


'''皮尔逊相关系数
范围[-1, 1],归一化后[0, 1]即0.5 + 0.5 *
相对于欧式距离,对具体量级(五星三星都一样)不敏感皮尔逊相关系数
'''
def pearsSim(inA, inB):
    # 检查是否存在3个或更多的点不存在,该函数返回1.0,此时两个向量完全相关。
    if len(inA) < 3:
        return 1.0
    return 0.5 + 0.5 * corrcoef(inA, inB, rowvar=0)[0][1]


'''计算余弦相似度
如果夹角为90度相似度为0;两个向量的方向相同,相似度为1.0
余弦取值-1到1之间,归一化到0与1之间即:相似度=0.5 + 0.5*cosθ
余弦相似度cosθ=(A*B/|A|*|B|)
'''
def cosSim(inA, inB):
    num = float(inA.T*inB) # 矩阵相乘
    denom = la.norm(inA)*la.norm(inB) # 默认是2范数
    return 0.5 + 0.5*(num/denom)

推荐系统的评价

  • 采用交叉测试的方法。【拆分数据为训练集和测试集】
  • 推荐引擎评价的指标: 最小均方根误差(Root mean squared error, RMSE),也称标准误差(Standard error),就是计算均方误差的平均值然后取其平方根。
    • 如果RMSE=1, 表示相差1个星级;如果RMSE=2.5, 表示相差2.5个星级。

推荐系统原理

  • 推荐系统的工作过程:给定一个用户,系统会为此用户返回N个最好的推荐菜。
  • 实现流程大致如下:
    1. 寻找用户没有评级的菜肴,即在用户-物品矩阵中的0值。
    2. 在用户没有评级的所有物品中,对每个物品预计一个可能的评级分数。这就是说:我们认为用户可能会对物品的打分(这就是相似度计算的初衷)。
    3. 对这些物品的评分从高到低进行排序,返回前N个物品。

项目实战: 餐馆菜肴推荐系统

假如一个人在家决定外出吃饭,但是他并不知道该到哪儿去吃饭,该点什么菜。推荐系统可以帮他做到这两点。

收集并准备数据

数据准备的代码实现

# 利用SVD提高推荐效果,菜肴矩阵
"""
行:代表人
列:代表菜肴名词
值:代表人对菜肴的评分,0表示未评分
"""
def loadExData3():
    return[[2, 0, 0, 4, 4, 0, 0, 0, 0, 0, 0],
           [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5],
           [0, 0, 0, 0, 0, 0, 0, 1, 0, 4, 0],
           [3, 3, 4, 0, 3, 0, 0, 2, 2, 0, 0],
           [5, 5, 5, 0, 0, 0, 0, 0, 0, 0, 0],
           [0, 0, 0, 0, 0, 0, 5, 0, 0, 5, 0],
           [4, 0, 4, 0, 0, 0, 0, 0, 0, 0, 5],
           [0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 4],
           [0, 0, 0, 0, 0, 0, 5, 0, 0, 5, 0],
           [0, 0, 0, 3, 0, 0, 0, 0, 4, 5, 0],
           [1, 1, 2, 1, 1, 2, 1, 0, 4, 5, 0]]
```

## 分析数据

这里不做过多的讨论(当然此处可以对比不同距离之间的差别),通常保留矩阵 80% ~ 90% 的能量,就可以得到重要的特征并去除噪声。

```python
'''分析 Sigma 的长度取值
根据自己的业务情况,就行处理,设置对应的 Singma 次数
通常保留矩阵 80% ~ 90% 的能量,就可以得到重要的特征并取出噪声。
'''
def analyse_data(Sigma, loopNum=20):
    # 总方差的集合(总能量值)
    Sig2 = Sigma**2
    SigmaSum = sum(Sig2)
    for i in range(loopNum):
        SigmaI = sum(Sig2[:i+1])
        print('主成分:%s, 方差占比:%s%%' % (format(i+1, '2.0f'), format(SigmaI/SigmaSum*100, '.2f')))

训练算法: 通过调用 recommend() 函数进行推荐

recommend() 会调用 基于物品相似度 或者是 基于SVD,得到推荐的物品评分。

基于物品相似度

基于物品相似度的推荐引擎代码实现

'''基于物品相似度的推荐引擎
descripte:计算某用户未评分物品中,以对该物品和其他物品评分的用户的物品相似度,然后进行综合评分
dataMat         训练数据集
user            用户编号
simMeas         相似度计算方法
item            未评分的物品编号
Returns: ratSimTotal/simTotal  评分(0~5之间的值)
'''
def standEst(dataMat, user, simMeas, item):
    # 得到数据集中的物品数目
    n = shape(dataMat)[1]
    # 初始化两个评分值
    simTotal = 0.0 ; ratSimTotal = 0.0
    # 遍历行中的每个物品(对用户评过分的物品遍历,并与其他物品进行比较)
    for j in range(n):
        userRating = dataMat[user, j]
        # 如果某个物品的评分值为0,则跳过这个物品
        if userRating == 0: # 终止循环
            continue
        # 寻找两个都评级的物品,变量overLap 给出两个物品中已被评分的元素索引ID
        # logical_and 计算x1和x2元素的真值。
        # print(dataMat[:, item].T.A, ':',dataMat[:, j].T.A )
        overLap = nonzero(logical_and(dataMat[:, item].A > 0, dataMat[:, j].A > 0))[0]
        # 如果相似度为0,则两着没有任何重合元素,终止本次循环
        if len(overLap) == 0:
            similarity = 0
        # 如果存在重合的物品,则基于这些重合物重新计算相似度。
        else:
            similarity = simMeas(dataMat[overLap, item], dataMat[overLap, j])
        # 相似度会不断累加,每次计算时还考虑相似度和当前用户评分的乘积
        # similarity  用户相似度,   userRating 用户评分
        simTotal += similarity
        ratSimTotal += similarity * userRating
    if simTotal == 0:
        return 0
    # 通过除以所有的评分总和,对上述相似度评分的乘积进行归一化,使得最后评分在0~5之间,这些评分用来对预测值进行排序
    else:
        return ratSimTotal/simTotal

基于SVD

基于SVD的代码实现

'''分析 Sigma 的长度取值
根据自己的业务情况,就行处理,设置对应的 Singma 次数
通常保留矩阵 80% ~ 90% 的能量,就可以得到重要的特征并取出噪声。
'''
def analyse_data(Sigma, loopNum=20):
    # 总方差的集合(总能量值)
    Sig2 = Sigma**2
    SigmaSum = sum(Sig2)
    for i in range(loopNum):
        SigmaI = sum(Sig2[:i+1])
        print('主成分:%s, 方差占比:%s%%' % (format(i+1, '2.0f'), format(SigmaI/SigmaSum*100, '.2f')))


'''基于SVD的评分估计
Args:
    dataMat         训练数据集
    user            用户编号
    simMeas         相似度计算方法
    item            未评分的物品编号
Returns:
    ratSimTotal/simTotal     评分(0~5之间的值)
'''
def svdEst(dataMat, user, simMeas, item):
    # 物品数目
    n = shape(dataMat)[1]
    # 对数据集进行SVD分解
    simTotal = 0.0 ;  ratSimTotal = 0.0
    # 奇异值分解,只利用90%能量值的奇异值,奇异值以NumPy数组形式保存
    U, Sigma, VT = la.svd(dataMat)
    # 分析 Sigma 的长度取值
    # analyse_data(Sigma, 20)

    # 如果要进行矩阵运算,就必须要用这些奇异值构建出一个对角矩阵
    Sig4 = mat(eye(4) * Sigma[: 4]) # eye对角矩阵
    # 利用U矩阵将物品转换到低维空间中,构建转换后的物品(物品+4个主要的特征)
    xformedItems = dataMat.T * U[:, :4] * Sig4.I # I 逆矩阵
    # print('dataMat', shape(dataMat))
    # print('U[:, :4]', shape(U[:, :4]))
    # print('Sig4.I', shape(Sig4.I))
    # print('VT[:4, :]', shape(VT[:4, :]))
    # print('xformedItems', shape(xformedItems))

    # 对于给定的用户,for循环在用户对应行的元素上进行遍历
    # 和standEst()函数的for循环一样,这里相似度计算在低维空间下进行的。
    for j in range(n):
        userRating = dataMat[user, j]
        if userRating == 0 or j == item:
            continue
        # 相似度的计算方法也会作为一个参数传递给该函数
        similarity = simMeas(xformedItems[item, :].T, xformedItems[j, :].T)
        # for 循环中加入了一条print语句,以便了解相似度计算的进展情况。如果觉得累赘,可以去掉
        # print('the %d and %d similarity is: %f' % (item, j, similarity))
        # 对相似度不断累加求和
        simTotal += similarity
        # 对相似度及对应评分值的乘积求和
        ratSimTotal += similarity * userRating
    if simTotal == 0:
        return 0
    else:
        # 计算估计评分
        return ratSimTotal/simTotal

排序获取最后的推荐结果

'''recommend函数推荐引擎,默认调用standEst函数,产生最高的N个推荐结果
Args:
    dataMat         训练数据集
    user            用户编号
    simMeas         相似度计算方法
    estMethod       使用的推荐算法
Returns:  返回最终 N 个推荐结果
'''
def recommend(dataMat, user, N=3, simMeas=cosSim, estMethod=standEst):
    # 寻找未评级的物品,对给定的用户建立一个未评分的物品列表
    unratedItems = nonzero(dataMat[user, :].A == 0)[1] # .A: 矩阵转数组
    # 如果不存在未评分物品,那么就退出函数
    if len(unratedItems) == 0:
        return 'you rated everything'
    # 物品的编号和评分值
    itemScores = []
    # 在未评分物品上进行循环
    for item in unratedItems:
        # 获取 item 该物品的评分
        estimatedScore = estMethod(dataMat, user, simMeas, item)
        itemScores.append((item, estimatedScore))
    # 按照评分得分 进行逆排序,获取前N个未评级物品进行推荐
    return sorted(itemScores, key=lambda jj: jj[1], reverse=True)[: N]

测试和项目调用

测试代码

# 计算相似度的方法
myMat = mat(loadExData3())
# 计算相似度的第一种方式
# print(recommend(myMat, 1, estMethod=svdEst))
# 计算相似度的第二种方式
# print(recommend(myMat, 1, estMethod=svdEst, simMeas=pearsSim))

# 默认推荐(菜馆菜肴推荐示例)
print(recommend(myMat, 2))

运行结果

菜馆菜肴推荐结果: [(3, 4.0), (5, 4.0), (6, 4.0)]

***Repl Closed***

分析结果,我们不难发现,分别对3烤牛肉,5鲁宾三明治、6印度烤鸡给我4星好评,推荐给我们的用户。

要点补充

基于内容(content-based)的推荐

  1. 通过各种标签来标记菜肴
  2. 将这些属性作为相似度计算所需要的数据
  3. 这就是:基于内容的推荐。

构建推荐引擎面临的挑战

问题

  • 1)在大规模的数据集上,SVD分解会降低程序的速度
  • 2)存在其他很多规模扩展性的挑战性问题,比如矩阵的表示方法和计算相似度得分消耗资源。
  • 3)如何在缺乏数据时给出好的推荐-称为冷启动【简单说:用户不会喜欢一个无效的物品,而用户不喜欢的物品又无效】

建议

  • 1)在大型系统中,SVD分解(可以在程序调入时运行一次)每天运行一次或者其频率更低,并且还要离线运行。
  • 2)在实际中,另一个普遍的做法就是离线计算并保存相似度得分。(物品相似度可能被用户重复的调用)
  • 3)冷启动问题,解决方案就是将推荐看成是搜索问题,通过各种标签/属性特征进行基于内容的推荐

项目案例: 基于SVD的图像压缩

收集并准备数据

将文本数据转化为矩阵

'''图像压缩函数'''
def imgLoadData(filename):
    myl = []
    for line in open(filename).readlines():
        newRow = []
        for i in range(32):
            newRow.append(int(line[i]))
        myl.append(newRow)
    # 矩阵调入后,就可以在屏幕上输出该矩阵
    myMat = mat(myl)
    return myMat

分析数据: 分析Sigma的长度个数

通常保留矩阵 80% ~ 90% 的能量,就可以得到重要的特征并去除噪声。

'''分析 Sigma 的长度取值
根据自己的业务情况,就行处理,设置对应的 Singma 次数
通常保留矩阵 80% ~ 90% 的能量,就可以得到重要的特征并取出噪声。
'''
def analyse_data(Sigma, loopNum=20):
    # 总方差的集合(总能量值)
    Sig2 = Sigma**2
    SigmaSum = sum(Sig2)
    for i in range(loopNum):
        SigmaI = sum(Sig2[:i+1])
        print('主成分:%s, 方差占比:%s%%' % (format(i+1, '2.0f'), format(SigmaI/SigmaSum*100, '.2f')))

使用算法: 对比使用 SVD 前后的数据差异对比,对于存储大家可以试着写写

例如:32*32=1024 => 32*2+2*1+32*2=130(2*1表示去掉了除对角线的0), 几乎获得了10倍的压缩比。

'''打印矩阵
由于矩阵保护了浮点数,因此定义浅色和深色,遍历所有矩阵元素,当元素大于阀值时打印1,否则打印0
'''
def printMat(inMat, thresh=0.8):
    for i in range(32):
        for k in range(32):
            if float(inMat[i, k]) > thresh:
                print(1)
            else:
                print(0)
        print('')


'''实现图像压缩,允许基于任意给定的奇异值数目来重构图像
Args:
    numSV       Sigma长度
    thresh      判断的阈值
'''
def imgCompress(numSV=3, thresh=0.8):
    # 构建一个列表
    myMat = imgLoadData('./0_5.txt')

    print("****original matrix****")
    # 对原始图像进行SVD分解并重构图像e
    printMat(myMat, thresh)

    # 通过Sigma 重新构成SigRecom来实现
    # Sigma是一个对角矩阵,因此需要建立一个全0矩阵,然后将前面的那些奇异值填充到对角线上。
    U, Sigma, VT = la.svd(myMat)
    # SigRecon = mat(zeros((numSV, numSV)))
    # for k in range(numSV):
    #     SigRecon[k, k] = Sigma[k]

    # 分析插入的 Sigma 长度
    # analyse_data(Sigma, 20)

    SigRecon = mat(eye(numSV) * Sigma[: numSV])
    reconMat = U[:, :numSV] * SigRecon * VT[:numSV, :]
    print("****reconstructed matrix using %d singular values *****" % numSV)
    printMat(reconMat, thresh)

参考文献

  1. 奇异值分解
  2. 中文维基百科
  3. GitHub
  4. 图书:《机器学习实战》
  5. 图书:《自然语言处理理论与实战》
  6. 强大的矩阵奇异值分解(SVD)及其应用
  7. 奇异值分解 SVD 的数学解释

完整代码下载

源码请进【机器学习和自然语言QQ群:436303759】文件下载:自然语言处理和机器学习技术QQ交流

作者声明

本文版权归作者所有,旨在技术交流使用。未经作者同意禁止转载,转载后需在文章页面明显位置给出原文连接,否则相关责任自行承担。

白宁超 wechat
扫一扫关注微信公众号,机器学习和自然语言处理,订阅号datathinks!