Convolutional Rectifier Network as Generalized Tensor Decomposition

http://proceedings.mlr.press/v48/cohenb16.pdf

を読んだ。

概要

ConvNetの理論解析をテンソル分解で行っている。 結果として、ReLU + max-poolでのuniversality, ReLU + ave-poolでのnon-universality, depth efficiencyなどを解析している。

Related Work

かなりおもしろい。

解析

ネットワークを離散化して有限次元テンソルにする。個の入力それぞれがある通りの固定された値(templates)から選ばれるとして、通りの出力をテンソルとしてメモをする。これは、入力を離散化した場合のネットワークそのものの情報を表す。

shallow networkの場合、これがちょうどGeneralized CP decompositionの形でかける。CP decompositionはweighted sumの項数を十分増やせば任意のテンソルを表せるので、universalityがあるね！みたいな事を言う。

もちろん、テンソルは離散的なのに、ネットワーク自体は連続なので、明らかにuniversalityは言えない。しかし、画像データのように、取れる値がそもそも離散的である場合は、を十分大きくとれば実際に任意のネットワークを表せることになる。

templateがネットワークの構造をだたひとつ決定するとき、そのtemplateはcoveringという。universalityの存在を言うにはcovering templatesが存在を仮定しなければいけない。

感想

covering templatesの存在、強烈すぎるだろ。無限次元テンソル解析は無理なの？