关于relu处理后为什么是非线性

[any86]

起初没理解为什么别人的文章中都说多个relu相加后可以形成多个线段形成数据.

主要不理解的就是这句:"多个relu相加".

看了别人的文章, 突然感觉好像懂了, 比如: 1/2层用了relu, 第1层接收的是relu(x1), 那么到了第二次就成了y2 = W * relu(x1), 这里因为W是张量, 那么就变成内积, 就出现了relu求和.

初学, 很多东西都不懂, 这里是个人理解, 不能保证正确, 权当做个笔记.

如果认同了我说的, 再看这个老师的讲解就通透了: https://www.bilibili.com/video/BV1Wv411K7o5?