On Asymptotic Behaviors of Graph CNNs from Dynamical Systems Perspective

https://arxiv.org/pdf/1905.10947.pdf

PFNで著者と話したのでメモ

GCNの表現能力についての問題。畳み込みの際に用いるの特異値が小さい場合、レイヤー数に対して指数的に表現能力が落ちてしまうという問題。

連結成分数に対応して大きさが決まる特定の空間で、それの要素は、頂点のベクトルが取りうる特徴量(のsubset)を表すが、が同じ連結成分に所属し、次数が同じ場合、それらの特徴量が一致してしまうというようなが存在し、特異値が小さい場合に、GCNのイテレーションを繰り返すたびに、この固有空間との距離が一定の割合以下に縮んでしまうということを証明したっぽい。