记录-各种循环卷积结构(主要是LSTM)

[lartpang]

Row LSTM/Diagonal BiLSTM

结构

计算

https://www.cnblogs.com/lart/p/10540898.html Pixel Recurrent Neural Networks

[lartpang]

MDRNN（Multi-Dimensional Recurrent Nerual Networks）

总结

• 将RNN/LSTM改造, 适用于n维的数据, 也就是可以用于图像了.
• 同时也可以使用多个方向的集成, 来实现更多广泛的上下文信息的流通.

相关文章

• https://www.yuque.com/lart/papers/mdrnn
• Mulit-Dimensional Recurrent Neural Networks

[lartpang]

MCGSM(Mixtures of conditional Gaussian scale mixtures)

总结

按照常规的思路我们生成下一个像素的时候，会依赖于之前的所有像素。论文《Mixtures of conditional Gaussian scale mixtures applied to multiscale iamge representations》提出了MCGSM用于图像的生成，该思想简单的说，就是生成该像素只依赖于他周边之前的像素点.

参考文章

• Mixtures of Conditional Gaussian Scale Mixtures Applied to Multiscale Image Representations

[lartpang]

Spatial LSTMs

总结

底层是输入的数据采用MCGSM获得数据传向中间层Spatial LSTM，中间层的Spatial LSTM通过MDRNN的前向传播算法计算出当前点的值传给第二层Spatial LSTM,最后一层连接softmax layer 会输出255个值。在softmax layer中采用采样算法获取当前点的生成。

参考文章

• Generative Image Modeling Using Spatial LSTMs