wddwzwhhxx

why embedding.size() is [2,128]?

1

Hello,thanks for your contribution，but how to do the embedding? The formula you describe in the paper is Lpull = 1/ 􏰅N( 􏰆(etk −ek)2 +(ebk −ek)2􏰇),I want to know the etk.size()....

关于offset层的通道数

4

您好，我阅读了别人的2d代码发现offset层的out通道数和上一层feature map的通道数并没有什么关系，但是在你的3d代码中是等于上一层的通道数乘hwl，这样通道数由几十变成了几千层，网络变慢了很多。请问这样做是有什么特别的意义吗

当我 python trainval_net.py --cuda 发生了段错误（吐核） 请问这个是什么原因造成的，是否可以解决呢？ 我使用的是pytorch0.3.1 谢谢！

Traceback (most recent call last): File "test_net.py", line 329, in imdb.evaluate_detections(all_boxes, output_dir) File "/home/wangzhaowei/pycharm/fpn.pytorch-master/lib/datasets/pascal_voc.py", line 349, in evaluate_detections self._do_python_eval(output_dir) File "/home/wangzhaowei/pycharm/fpn.pytorch-master/lib/datasets/pascal_voc.py", line 312, in _do_python_eval use_07_metric=use_07_metric) File "/home/wangzhaowei/pycharm/fpn.pytorch-master/lib/datasets/voc_eval.py", line 126,...

测试的时候特征层是否要加噪声？

4

您好，您在论文里提到训练的时候特征层也就是第一个损失函数那里加噪声，网络效果会比较好，那么测试的时候还要不要在特征层加噪声呢？如果不要的话，可否能解释一下为什么？ 谢谢。

如果加入对抗样本训练性能会变好吗

1

您好，非常感谢您的贡献。 您在论文中提到这个方法的好处在于不需要对抗样本，只用纯净图像就可以达到抗干扰的效果。 但如果加入对抗样本训练，整个模型的性能会随着对抗样本的数量和质量提升吗？

关于蒸馏中LLM模型的语义特征

1

首先感谢你们的文章！看了很有启发性。 我有一点困惑，对于文中提到的取llama模型的语义特征，并且你们提到了下面这两行： for layer in self.layers: h = layer(h, start_pos, freqs_cis, mask) 我使用了你们的例子输入”a colorful animal with big eyes on a blue background，“但当我打印第40层layer的最终结果shape时，显示h的shape是【1， 12， 5120】，显然每个word都拥有一个[5120]长度的token，但你们的sur_data_small里面却是一个【5120】的token，这是怎么回事呢？我应该取LLM哪个位置的语义特征呢？ 期待你们的回复