2020-cs213n
2020-cs213n copied to clipboard
Divsigma
Questions about the 1st assingment of CS231n
答主您好！您的作业非常高质量，给了我很多启发，首先向您表达我的感谢~
我对第一次作业的KNN部分的inline Q2 有个小问题，课程视频不是说L1范数是坐标系敏感的吗？为什么第5个选项--调整坐标系--对图片的相似性没有影响呢？
希望得到您的解答~
您好！谢谢您的好评！ 能麻烦您给我提示下视频说“L1范数对坐标系敏感”是在哪个视频大概什么位置吗？（我去复习下 因为我现在的理解是：knn通过累加所有像素点对应的L1差值作为两张图片的相似性。inlineQ2的选项5只是将坐标轴旋转，并没有影响两张图片的相对距离，所以相似性没有变化
https://www.bilibili.com/video/BV1nJ411z7fe?p=5 该视频3分19秒举的例子说明L1与坐标轴有关。
当时我就没有想清楚这个问题，不过从像素距离的公式来看，图片像素的差值并不依赖于遍历的顺序，所以我也很疑惑QAQ
(⊙o⊙)，多谢提醒！我当时没留意到这个orz。
我现在有个想法，尝试说明白：
视频中说的坐标系（coordinate）应该是“图片向量点”的坐标系，而不是我之前认为的图片的坐标系（即“长-宽”二维空间）。比如一张图片有32×32个pixels，那这个图片作为一个knn中的向量点，是在一个1024维的空间中的，它的坐标系（coordinate）就是1024个线性无关的向量组成的。
明确了坐标系的含义，就可以考虑转轴（coordinate rotation）对向量点距离度量的影响了。我尝试把图片看作一个矩阵M，因为转轴变换是一个正交变换，对应一个正交矩阵，假设是A，那么：
1、转轴后图片距离原点的L1距离为|A*M|（即矩阵A*M的一范数），按照元素写出来，与|M|对比会发现，变换后各分量都受A影响，所以L1范数受转轴影响；
2、但转轴后图片距离原点的L2距离为|A*M|_{2}（即矩阵A*M的二范数，_{2}是下标是2的意思），根据矩阵运算，矩阵A*M的二范数平方=(M')(A')AM=(M')(M)=矩阵M的二范数平方，所以L2距离不受转轴影响（为了好记，我姑且记为L2范数具有旋转不变性吧2333）；
把上述两种情况中原点推广到其他任一张图片，也是类似的。