A La Carte Embedding: Cheap but Effective Induction of Semantic Feature Vectors

[ymym3412]

0. 論文

A La Carte Embedding: Cheap but Effective Induction of Semantic Feature Vectors Mikhail Khodak, Nikunj Saunshi, Yingyu Liang, Tengyu Ma, Brandon Stewart, Sanjeev Arora

1. どんなもの？

既存の学習済み単語ベクトルを使って新たな意味のベクトルを作る手法

2. 先行研究と比べてどこがすごい？

rare wordやn-gramでも使える

3. 技術や手法のキモはどこ？

文脈語の平均のベクトルの線形変換の写像を学習していく そしてその変換を通して新たな意味のベクトルを作る

4. どうやって有効だと検証した？

rare wordを扱うデータセット(CRW)で他の手法より高いスピアマン相関係数を記録

5. 議論はある？

Classificationタスクに使ったりDocumentのembeddingに使うなど汎用性が高い

6. 次に読むべき論文は？

Learning to predict distributions of words across domains Danushka Bollegala, David Weir, John Carroll

[ymym3412]

第10回最先端NLP勉強会での資料 https://speakerdeck.com/manaysh/alacarte-snlp2018-1