当前位置:首页 > 文化教育 > 正文

tanx的导数是什么?

  • 文化教育
  • 2022年04月08日 09:21:38
  • 49

支持向量机[1]

通过某非线性变换 φ( x) ,将输入空间映射到高维特征空间。特征空间的维数可能非常高。如果支持向量机的求解只用到内积运算,而在低维输入空间又存在某个函数 K(x, x′) ,它恰好等于在高维空间中这个内积,即K( x, x′) =<φ( x) ⋅φ( x′) > 。那么支持向量机就不用计算复杂的非线性变换,而由这个函数 K(x, x′) 直接得到非线性变换的内积,使大大简化了计算。这样的函数 K(x, x′) 称为核函数。

核函数包括线性核函数、多项式核函数、高斯核函数等,其中高斯核函数最常用,可以将数据映射到无穷维,也叫做径向基函数(Radial Basis Function 简称 RBF),是某种沿径向对称的标量函数。通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数, 可记作 k(||x-xc||), 其作用往往是局部的 , 即当x远离xc时函数取值很小。

目录

1. 1方法简介

2. 2方法原理

3. 3特点

4. 4常见分类

方法简介

编辑

核函数发展历史

早在1964年Aizermann等在势函数方法的研究中就将该技术引入到机器学习领域,但是直到1992年Vapnik等利用该技术成功地将线性SVMs推广到非线性SVMs时其潜力才得以充分挖掘。而核函数的理论则更为古老,Mercer定理可以追溯到1909年,再生核希尔伯特空间(ReproducingKernel Hilbert Space, RKHS)研究是在20世纪40年代开始的。

方法原理

编辑

根据模式识别理论,低维空间线性不可分的模式通过非线性映射到高维特征空间则可能实现线性可分,但是如果直接采用这种技术在高维空间进行分类或回归,则存在确定非线性映射函数的形式和参数、特征空间维数等问题,而最大的障碍则是在高维特征空间运算时存在的“维数灾难”。采用核函数技术可以有效地解决这样问题。

设x,z∈X,X属于R(n)空间,非线性函数Φ实现输入空间X到特征空间F的映射,其中F属于R(m),n<<m。根据核函数技术有:

K(x,z) =<Φ(x),Φ(z) > (1)

其中:<, >为内积,K(x,z)为核函数。从式(1)可以看出,核函数将m维高维空间的内积运算转化为n维低维输入空间的核函数计算,从而巧妙地解决了在高维特征空间中计算的“维数灾难”等问题,从而为在高维特征空间解决复杂的分类或回归问题奠定了理论基础。

特点

编辑

核函数方法的广泛应用,与其特点是分不开的:

1)核函数的引入避免了“维数灾难”,大大减小了计算量。而输入空间的维数n对核函数矩阵无影响,因此,核函数方法可以有效处理高维输入。

2)无需知道非线性变换函数Φ的形式和参数.

3)核函数的形式和参数的变化会隐式地改变从输入空间到特征空间的映射,进而对特征空间的性质产生影响,最终改变各种核函数方法的性能。

4)核函数方法可以和不同的算法相结合,形成多种不同的基于核函数技术的方法,且这两部分的设计可以单独进行,并可以为不同的应用选择不同的核函数和算法。

常见分类

编辑

核函数的确定并不困难,满足Mercer定理的函数都可以作为核函数。常用的核函数有:线性核函数,多项式核函数,径向基核函数,Sigmoid核函数和复合核函数,傅立叶级数核,B 样条核函数和张量积核函数等。

参考资料

· 1.

支持向量机.百度百科[引用日期2016-10-9]

前言

之前分析的感知机、主成分分析(Principle component analysis, PCA)包括后面看的支撑向量机(Support vector machines, SVM),都有用到核函数。核函数是将信号映射到高维,而PCA一般用来降维。这里简单梳理一下核函数的知识:

1)核函数基本概念;

2)核函数的意义;

内容为自己的学习记录,其中多有参考他人,最后一并给出链接。

一、核函数基本概念

先来看看核函数的定义:

tanx的导数是什么?-第1张图片

tanx的导数是什么?-第1张图片

核函数:是映射关系

tanx的导数是什么?-第1张图片

的内积,映射函数本身仅仅是一种映射关系,并没有增加维度的特性,不过可以利用核函数的特性,构造可以增加维度的核函数,这通常是我们希望的。

例如这样一个图:

tanx的导数是什么?-第1张图片

二维映射到三维,区分就更容易了,这是聚类、分类常用核函数的原因。为什么PCA这样一个降维算法也用核函数呢?

左图为原数据,右图为映射到三维的数据,可以看出:同样是降到1维,先通过Kernel映射到(Kernel是映射的内积,不要弄乱了)三维,再投影到1维,就容易分离开,这就是Kernel在PCA降维中的应用,本质还是对原有数据增加维度。

tanx的导数是什么?-第1张图片

既然核函数这么神奇,就看看它的来龙去脉。

二、核函数的意义

A-核函数常见应用

先来看看核函数几个常用的地方:

1.核感知机

在前面分析感知机时提到:

tanx的导数是什么?-第1张图片

2.核聚类(Kernel Kmeans)

在前面分析核聚类时提到:

tanx的导数是什么?-第1张图片

3.核PCA(kernel PCA)

具体定义可以参考wikipedia,根据前文分析的PCA步骤,有一步是利用相关矩阵的特征值分解,看看相关矩阵:

tanx的导数是什么?-第1张图片

又看到了相乘的形式,自然可以用Kernel:

tanx的导数是什么?-第1张图片

4.支撑向量机SVM

支撑向量机对偶形式的目标函数:

tanx的导数是什么?-第1张图片

又看到了

tanx的导数是什么?-第1张图片

的形式,从而得到SVM的核函数形式:

tanx的导数是什么?-第1张图片

B-核函数为什么可以映射到高维?

1.为什么不用映射函数

tanx的导数是什么?-第1张图片

,而用他们的内积形式,即Kernel函数?

因为(x,z)一起出现的时候,

tanx的导数是什么?-第1张图片

有许多固定的形式可以调用,而不必求解或者关心

tanx的导数是什么?-第1张图片

的具体形式,这大大简化了求解。

2.什么样的函数才可以叫做核函数?

直接给出条件:

tanx的导数是什么?-第1张图片

具体参考:李航《统计学习方法》p120~122。

3.为什么实现数据映射到高维?

看一个例子:

tanx的导数是什么?-第1张图片

tanx的导数是什么?-第1张图片

这就从二维变成了三维,当然还可以更高维:

tanx的导数是什么?-第1张图片

这里可以粗略理解成:多项式可以实现数据的维度扩增,而高斯核是指数形式,展开就是无穷多的多项式,所以高斯核可以将数据映射到无穷维度。

4.常用核函数

多项式核:

tanx的导数是什么?-第1张图片

高斯核:

tanx的导数是什么?-第1张图片

参考:

有话要说...