Foundations-of-LLMs
Foundations-of-LLMs copied to clipboard
第一章捉虫
(1.15)等号左边应该也有累加符号 (1.24|1.37)第二个连乘符号上限应该是N-1 Page 20倒数第二行:“称为随机采样方法”
(1.54)中g_n应为g_i
感谢宝贵建议,我们会在下次更新时进行完善,感谢!
第一章1.4.2,第2小节 “Top-P采样”下,举的图1.9(b)的例子,原文是: “例如在图1.9(b) 所示的例子中,我们若以 0.9 作为阈值,则就可以包含打架、睡觉等长颈鹿脖子鲜为人知的用途。” 这里的0.9是否应为0.1,看图上取的最小值是0.1?
第一章1.4.2,第2小节 “Top-P采样”下,举的图1.9(b)的例子,原文是: “例如在图1.9(b) 所示的例子中,我们若以 0.9 作为阈值,则就可以包含打架、睡觉等长颈鹿脖子鲜为人知的用途。” 这里的0.9是否应为0.1,看图上取的最小值是0.1?
不是的,top-p的意思是每个token累加的概率和为0.9,具体看书中这个公式:
第一章15页,层正则化 的描述中,应该是“标准差”而不是“方差”
第28页,最后一段的第3行,“任务式什么”应该为“任务是什么”。
14页,softmax那边公式1.32,公式最后一个exp都没加...