Pre-training Graph Neural Networks

https://arxiv.org/pdf/1905.12265.pdf

読んだ。大抵のGNNのタスクはnode classificationだけど、化学や生物の分野だとlocal similarityやgraph全体の特徴が重要になることが多い。 この論文では、自然言語処理で行われるような、Context PredictionやMasking, Negative SamplingなどをGNNに持ち込んで、pre-trainingに成功したとのこと。

Context Prediction

node embeddingsを用いて、近傍のstructureを推定する

Masking

node, edge attributesをmaskして、GNNにそれを予測させる

BERTは同様の方法でめっちゃpre-trainしてるみたい。

Graph-level

Domain-specificな他taskで学習するか、graph edit distance / graph structure similarityなどについてself-trainingするか