广义线性模型

广义线性模型

概要

本文将会说明线性回归和$LR$都是广义线性模型的一种特殊形式,介绍广义线性模型的一般求解步骤。

线性回归中我们假设:

$LR$中我们假设:

其实他们只是广义线性模型($GlMs$)的特例。

自己的理解

广义线性模型是通过链接函数($LR$中为$logit$函数),把自变量的线性组合($\eta$ 自然参数/标准参数)与因变量($T(y)$)的期望联系起来。

注:$LR$也可以说与因变量的概率分布结合起来,因为二项伯努利分布$E=P$

指数分布族($The exponential family$)

首先我们定义一下什么是指数分布族,它有如下形式($\eta$自变量,$y$因变量):

简单介绍一下其中的参数:

1.$\eta $是自然参数

2.$T(y)$是充分统计量(一般情况下$T(y)=y$)

3.$a(\eta)$是$\log partition function$( $ exp(-a(\eta))$充当正规化常量的角色,保证$\sum p(y;\eta)=1 $)

也就是说$T,a,b$确定了一种分布,$\eta$是该分布的参数。

选择合适的$T,a,b$我们可以得到高斯分布和$Bernouli$分布

广义线性模型的形式化定义

GLM有三个假设:

1.$y|x;\theta$~$ExpFamily(\eta)$(某指数分布族);给定样本$x$与参数$\theta$,样本分类$y$服从指数分布族中的某个分布;

2.给定一个$x$,我们需要的目标函数为$h_{\theta}(x)=E[T(y)|x]$

3.$\eta=\theta^Tx$

高斯分布的另一种看法

伯努利分布-LR回归的含义

0%