pumpkin-book
pumpkin-book copied to clipboard
【第9章聚类】待推导或待解析公式征集+答疑专区
在这里,你可以: 1.评论留下西瓜书第9章你觉得需要补充推导细节或者解析的公式编号,我们看到后会尽快进行补充; 2.评论留下你对南瓜书第9章里相关内容的疑问,我们看到后会尽快进行答疑。
9.38下标错误:应为 $$\sum^m_{j=1} \frac{\alpha_i \cdot p(x_j|\mu_i, \Sigma_i)}{\sum^k_{l=1}\alpha_l \cdot p(x_j|\mu_l,\Sigma_l)} = -\lambda \alpha_i$$
@bifeng 是的,感谢您的指正,现已更正,请查阅 :)
第九章推导公式9.35时最后几步有个小错误 最后几行公式推导的时候,γij应该是乘以对角矩阵I,而不是乘以1 I是一个对角向量为1的斜对角矩阵。 只有这样的话,维度才能对得上。
第九章推导公式9.35时最后几步有个小错误 最后几行公式推导的时候,γij应该是乘以对角矩阵I,而不是乘以1 I是一个对角向量为1的斜对角矩阵。 只有这样的话,维度才能对得上。
感谢反馈,已修改
@MooreAndMoore 同学你好,这个是解优化问题的一个trick而已,通常对于这种对待求参数定义域的限制不会直接列进拉格朗日函数,而是先忽略这个限制进行试探性地求解,如果恰好求得的结果满足这个限制那么这个解一定也是最优解。其原理是这样的:以你说的9.36的α_i为例,如果我们不考虑它必须>=0那么就等价于我们现在假设的α_i的取值范围是整个实数域,现在我们在整个实数域的范围下求得了α_i的最优解,由于这个解很容易看出是一定满足>=0的,那么我们是不是也可以说在>=0的范围下,现在求得的α_i一定也是最优解,显然是可以的,因为如果我是地球上最靓的仔,那么在中国我肯定也是最靓的仔 :)
9.33个人认为应该改成这样(之前不知道直接pull request了 不好意思 \frac{\partial L L(D)}{\partial \boldsymbol{\mu}{i}} &=\frac{\partial}{\partial \boldsymbol{\mu}{i}}\left[\sum_{j=1}^{m} \ln \left(\sum_{i=1}^{k} \alpha_{i} \cdot p\left(\boldsymbol{x}{j} | \boldsymbol{\mu}{i}, \boldsymbol{\Sigma}{i}\right)\right)\right] \ &=\sum{j=1}^{m} \frac{\partial}{\partial \boldsymbol{\mu}{i}}\left[\ln \left(\sum{i=1}^{k} \alpha_{i} \cdot p\left(\boldsymbol{x}{j} | \boldsymbol{\mu}{i}, \boldsymbol{\Sigma}{i}\right)\right)\right] \ &=\sum{j=1}^{m} \frac{\alpha_{i} \cdot \frac{\partial}{\partial \boldsymbol{\mu}{i}}\left(p\left(\boldsymbol{x}{j} | \boldsymbol{\mu}{i}, \boldsymbol{\Sigma}{i}\right)\right)}{\sum_{l=1}^{k} \alpha_{l} \cdot p\left(\boldsymbol{x}{j} | \boldsymbol{\mu}{l}, \boldsymbol{\Sigma}{l}\right)} \ &=\sum{j=1}^{m} \frac{1}{(2 \pi)^{\frac{n}{2}}\left|\boldsymbol{\Sigma}{i}\right|^{\frac{1}{2}} \exp \left(-\frac{1}{2}\left(\boldsymbol{x}{j}-\boldsymbol{\mu}{i}\right)^{T} \boldsymbol{\Sigma}{i}^{-1}\left(\boldsymbol{x}{j}-\boldsymbol{\mu}{i}\right)\right)}\left(-\frac{1}{2}\right) \cdot \ &\qquad\frac{\partial}{\partial \boldsymbol{\mu}{i}}\left(\boldsymbol{x}{j}^{T} \boldsymbol{\Sigma}{i}^{-1} \boldsymbol{x}{j}-\boldsymbol{x}{j}^{T} \boldsymbol{\Sigma}{i}^{-1} \boldsymbol{\mu}{i}-\boldsymbol{\mu}{i}^{T} \boldsymbol{\Sigma}{i}^{-1} \boldsymbol{x}{j}+\boldsymbol{\mu}{i}^{T} \boldsymbol{\Sigma}{i}^{-1} \boldsymbol{\mu}_{i}\right) \
9.33个人认为应该改成这样(之前不知道直接pull request了 不好意思 \frac{\partial L L(D)}{\partial \boldsymbol{\mu}{i}} &=\frac{\partial}{\partial \boldsymbol{\mu}{i}}\left[\sum_{j=1}^{m} \ln \left(\sum_{i=1}^{k} \alpha_{i} \cdot p\left(\boldsymbol{x}{j} | \boldsymbol{\mu}{i}, \boldsymbol{\Sigma}{i}\right)\right)\right] \ &=\sum{j=1}^{m} \frac{\partial}{\partial \boldsymbol{\mu}{i}}\left[\ln \left(\sum{i=1}^{k} \alpha_{i} \cdot p\left(\boldsymbol{x}{j} | \boldsymbol{\mu}{i}, \boldsymbol{\Sigma}{i}\right)\right)\right] \ &=\sum{j=1}^{m} \frac{\alpha_{i} \cdot \frac{\partial}{\partial \boldsymbol{\mu}{i}}\left(p\left(\boldsymbol{x}{j} | \boldsymbol{\mu}{i}, \boldsymbol{\Sigma}{i}\right)\right)}{\sum_{l=1}^{k} \alpha_{l} \cdot p\left(\boldsymbol{x}{j} | \boldsymbol{\mu}{l}, \boldsymbol{\Sigma}{l}\right)} \ &=\sum{j=1}^{m} \frac{1}{(2 \pi)^{\frac{n}{2}}\left|\boldsymbol{\Sigma}{i}\right|^{\frac{1}{2}} \exp \left(-\frac{1}{2}\left(\boldsymbol{x}{j}-\boldsymbol{\mu}{i}\right)^{T} \boldsymbol{\Sigma}{i}^{-1}\left(\boldsymbol{x}{j}-\boldsymbol{\mu}{i}\right)\right)}\left(-\frac{1}{2}\right) \cdot \ &\qquad\frac{\partial}{\partial \boldsymbol{\mu}{i}}\left(\boldsymbol{x}{j}^{T} \boldsymbol{\Sigma}{i}^{-1} \boldsymbol{x}{j}-\boldsymbol{x}{j}^{T} \boldsymbol{\Sigma}{i}^{-1} \boldsymbol{\mu}{i}-\boldsymbol{\mu}{i}^{T} \boldsymbol{\Sigma}{i}^{-1} \boldsymbol{x}{j}+\boldsymbol{\mu}{i}^{T} \boldsymbol{\Sigma}{i}^{-1} \boldsymbol{\mu}_{i}\right) \
您好,这部分推导确有问题,已进行重新推导,请查阅。 另:非常欢迎以PR的形式更正内容。
请问9.35的矩阵微分公式,为什么写的是−X−Tab^TX−T,而后面代入后变成了Σi的逆呢 ,如果按照前面公式代入,不应该是Σi-T吗
请问9.38推导中,为什么两边对所有混合成分求和后,可以得出m=-λ呢?有点看不明白,谢谢
请问9.35的矩阵微分公式,为什么写的是−X−Tab^TX−T,而后面代入后变成了Σi的逆呢 ,如果按照前面公式代入,不应该是Σi-T吗
因为 \sigma^{-1} 是对称矩阵,因此 \sigma^{-1} = \sigma^{-1}^{T}
请问9.38推导中,为什么两边对所有混合成分求和后,可以得出m=-λ呢?有点看不明白,谢谢
这里遗漏了一步推导,已补上,请查阅
请问9.38推导中,为什么两边对所有混合成分求和后,可以得出m=-λ呢?有点看不明白,谢谢
这里遗漏了一步推导,已补上,请查阅
非常感谢!
书籍版本:v1.0.2 9.8的公式解析 “求和号左边是 (x i, x j) 组合个数的倒数”,是不是不对啊?我觉得应该是“聚类结果中的簇划分C的组合个数的倒数”。
书籍版本:v1.0.2 9.8的公式解析 “求和号左边是 (x i, x j) 组合个数的倒数”,是不是不对啊?我觉得应该是“聚类结果中的簇划分C的组合个数的倒数”。
这两个说法表达的意思是一致的,因为x_i, x_j 都是划分C中的样本。
书籍版本:v1.0.2 9.8的公式解析 “求和号左边是 (x i, x j) 组合个数的倒数”,是不是不对啊?我觉得应该是“聚类结果中的簇划分C的组合个数的倒数”。
这两个说法表达的意思是一致的,因为x_i, x_j 都是划分C中的样本。
谢谢,仔细想想,确实是一样的说法。