Foundations-of-LLMs icon indicating copy to clipboard operation
Foundations-of-LLMs copied to clipboard

第一章捉虫

Open Patrick-Rud opened this issue 1 year ago • 7 comments

(1.15)等号左边应该也有累加符号 (1.24|1.37)第二个连乘符号上限应该是N-1 Page 20倒数第二行:“称为随机采样方法”

Patrick-Rud avatar Nov 19 '24 11:11 Patrick-Rud

(1.54)中g_n应为g_i

Patrick-Rud avatar Nov 19 '24 12:11 Patrick-Rud

感谢宝贵建议,我们会在下次更新时进行完善,感谢!

wenyisir avatar Nov 23 '24 06:11 wenyisir

第一章1.4.2,第2小节 “Top-P采样”下,举的图1.9(b)的例子,原文是: “例如在图1.9(b) 所示的例子中,我们若以 0.9 作为阈值,则就可以包含打架、睡觉等长颈鹿脖子鲜为人知的用途。” 这里的0.9是否应为0.1,看图上取的最小值是0.1?

anbenqishi avatar Jan 03 '25 07:01 anbenqishi

第一章1.4.2,第2小节 “Top-P采样”下,举的图1.9(b)的例子,原文是: “例如在图1.9(b) 所示的例子中,我们若以 0.9 作为阈值,则就可以包含打架、睡觉等长颈鹿脖子鲜为人知的用途。” 这里的0.9是否应为0.1,看图上取的最小值是0.1?

不是的,top-p的意思是每个token累加的概率和为0.9,具体看书中这个公式: image

Odimmsun avatar Jan 04 '25 10:01 Odimmsun

第一章15页,层正则化 的描述中,应该是“标准差”而不是“方差”

Todddt avatar Jan 09 '25 08:01 Todddt

第28页,最后一段的第3行,“任务式什么”应该为“任务是什么”。

gibeon avatar Feb 10 '25 13:02 gibeon

14页,softmax那边公式1.32,公式最后一个exp都没加...

akiori avatar Mar 21 '25 09:03 akiori