Questions about Differentiable Neural Architecture Search

[buttercutter]

问题 1: https://www.bilibili.com/video/BV1C64y127Fv 时间: 10:26

θ 不是张量 (看时间：7:00)，所以卷积层block 的输出 不等于 θ

那么 卷积层block 的输出 怎么生成 θ 呢 ？

Question 1: https://youtu.be/D9m9-CXw_HY?t=626

θ is not a tensor (check video at t=7:00), so the convolutional block output is not equal to θ

So, how does the convolutional block generate θ ?

问题 2: 在 https://github.com/D-X-Y/AutoDL-Projects/issues/99#issuecomment-835802887 和 GDAS 文献 的式子 (7) 里，如何在两个节点之间的多个平行 的连接线 进行反向传播的运作 ？

Question 2: For https://github.com/D-X-Y/AutoDL-Projects/issues/99#issuecomment-835802887 and equation (7) of GDAS paper , how to do backpropagation across multiple parallel edges between two nodes ?

[wangshusen]

1. Theta 不是神经网络的输出，而是预先定义的变量，比如初始化为 9x1 的全 1 向量，然后用反向传播做更新。
2. 你可以复习一下多元函数的链式法则。比如 a = f(x), b = g(x), c = h(a, b), 该如何求 c 关于 x 的导数。

[buttercutter]

1. 明白了，谢谢。
2. 在正常的反向传播中，两个节点之间只有一条连接线。 但是在 GDAS 里，两个节点之间有多个平行的连接线 ?