线性模型的判断

线性模型的判断

线性模型定义:如果模型是参数的线性函数,并且存在线性分类面就是线性模型,否则不是。

注意:线性模型可以用曲线拟合样本,但是分类的决策边界一定是直线的,例如$LR$

例子:

单层感知机(网络)无法解决异或问题(单层感知机是线性模型)

存在非线性激活函数的多层感知机(网络)可以解决异或问题(存在非线性激活函数多层感知机是非线性)

快速判断线性非线性

线性的情况

  1. 看乘法式子中自变量$x$前的系数$w$,如果$w$只影响一个$x$,那么此模型为线性模型。(等价于对决策边界是否为超平面的判断)

非线性的情况

  1. $(变量)^n$,且$n$不为1为非线性
  2. $|变量|$有变量在绝对值内为非线性
  3. $sgn (变量)$有变量在符号函数内为非线性

常见的模型

常见的线性分类器:$LR$,贝叶斯分类器,单层感知机,线性回归

常见的非线性分类器:决策树,$RF$,$GBDT$,多层感知机

$SVM$两种都有(看是线性核还是高斯核)

线性分类器速度快、编程方便,但是拟合效果可能不好

非线性分类器编程复杂,但是拟合能力强

为什么朴素贝叶斯分类器是线性分类器?

这一部分我感觉我的理解出现了偏差,先写上了

朴素贝叶斯分类器

假设了各特征之间相互独立,采用后验概率最大的类别

贝叶斯公式:

训练时候只需要统计$p(C_k),p(x_i|C_k)$,可以说是$very naive$了

从线性模型角度理解

这里以二分类举例

我们将样本表示为$x=(x_1,x_2,…,x_n)$,$y=\{0,1\}$,$p_{ki}$表示$C_k$中$x_i$出现的概率

$\log p(C_k)p(x|C_k)$

$=\log p(C_k)+\sum_{i=1}^n\log p_{ki}$

对于上式,将$\log p_{ki}$看做$w_i$,而$x_i$为样本中$x_i$表示的值的出现,$x_i=1$。上式可以化为:

$=w^T_kx+b$

0%