pumpkin-book
pumpkin-book copied to clipboard
datawhalechina
【第12章计算学习理论】待推导或待解析公式征集+答疑专区
在这里，你可以： 1.评论留下西瓜书第12章你觉得需要补充推导细节或者解析的公式编号，我们看到后会尽快进行补充； 2.评论留下你对南瓜书第12章里相关内容的疑问，我们看到后会尽快进行答疑。
@johnmaster 同学你好，因为(1-ε)^m=e^[mln(1-ε)]，而e^[mln(1-ε)]是恒小于e^[m*(-ε)]的，所以(1-ε)^m也就恒小于e^[m*(-ε)]了。
12.24 $|H_{|D'}| + |H_{D'|D}|$ 那个不等号的summation,第二个应该是从i=0到i-1,不是i+1
您好，这里是笔误，已修正，感谢反馈！
您好，式12.13这里的逻辑我不太明白，我们要回答的问题是“训练集的规模如何才能使学习算法以一定概率找到目标假设的\epsilon 近似”，因此我们应该直接计算“泛化误差>\epsilon”的概率。但是我们计算的概率却是“(泛化误差>\epsilon) 且(经验误差为0)”。我知道后者会小于前者，所以不影响结论，但是这样推出来的bound应该是非常松的。请问应该怎么理解呢？
您好，关于式12.12我也有一个问题，这个概率从语境上理解应该是“存在 h \in H, 泛化误差>\epsilon 且 经验误差为0”的概率。但是这样的写法好像就变成了是“h \in H”的概率。这样的写法我不太能理解。
您好，关于式12.31的问题。在推导E(g)和E(h)被经验误差bound住时，我们分别令\epsilon为不一样的值。但是在后续合并时，出现了\epsilon/2 + \epsilon/2 = \epsilon这样的操作。这里两个\epsilon的值不一样，为什么可以直接相加呢？
您好，式12.13这里的逻辑我不太明白，我们要回答的问题是“训练集的规模如何才能使学习算法以一定概率找到目标假设的\epsilon 近似”，因此我们应该直接计算“泛化误差>\epsilon”的概率。但是我们计算的概率却是“(泛化误差>\epsilon) 且(经验误差为0)”。我知道后者会小于前者，所以不影响结论，但是这样推出来的bound应该是非常松的。请问应该怎么理解呢？
您好，注意到此节讨论的是“可分情形”，即目标概念 c 属于假设空间\mathcal{H}，因此必有经验误差为 0。
您好，关于式12.12我也有一个问题，这个概率从语境上理解应该是“存在 h \in H, 泛化误差>\epsilon 且 经验误差为0”的概率。但是这样的写法好像就变成了是“h \in H”的概率。这样的写法我不太能理解。
您好，这里在一些教材比如浙大版的《概率论与数理统计》中写作 | 表示条件概率的意思。
您好，关于式12.31的问题。在推导E(g)和E(h)被经验误差bound住时，我们分别令\epsilon为不一样的值。但是在后续合并时，出现了\epsilon/2 + \epsilon/2 = \epsilon这样的操作。这里两个\epsilon的值不一样，为什么可以直接相加呢？
您好，这两个\epsilon 是相等的，在定理 12.3 中给出了\epsilon 和 \delta 的关系，式 12.32给出了\delta^{\prime} 和\delta，\delta^{\prime} 和 \epsilon 的关系，验算可知两个\epsilon 是一样的。
您好，关于式12.31的问题。在推导E(g)和E(h)被经验误差bound住时，我们分别令\epsilon为不一样的值。但是在后续合并时，出现了\epsilon/2 + \epsilon/2 = \epsilon这样的操作。这里两个\epsilon的值不一样，为什么可以直接相加呢？
您好，这两个\epsilon 是相等的，在定理 12.3 中给出了\epsilon 和 \delta 的关系，式 12.32给出了\delta^{\prime} 和\delta，\delta^{\prime} 和 \epsilon 的关系，验算可知两个\epsilon 是一样的。
谢谢您的回答！
您好，我注意到公式12.12中，泛化误差的期望$E(h) > \epsilon$与经验误差的关系是交集，这里是否有些不妥？ 因为最后我们要想严格的按照PAC学习的定义的形式的话，需要除了令$δ>=|H|e^{}$外，还需要对12.12两边同时用1减去原始式子，再取反化简。 然而，若此时依然按照12.12中的内容对P()中的内容进行取反的话，我们得到的结果为 $$ P( \forall h \in H : E(h) \leq \epsilon \lor \hat E(h) \not = 0) $$ 这与我们想要得到的结果是矛盾的。所以我觉得，这里换成条件概率的的形式会不会更好？因为这里我们已经假设了是在有限假设空间中的可分的情况（$\hat E(h)=0$），将其作为条件应当是可以的。
