Junki Ohmura

Kernelized Bayesian Softmax for Text Generation Ning Miao, Hao Zhou, Chengqi Zhao, Wenxian Shi, Lei Li https://arxiv.org/abs/1911.00274

When Does Label Smoothing Help? Rafael Müller, Simon Kornblith, Geoffrey Hinton Accepted at NeurIPS 2019 https://arxiv.org/abs/1906.02629

Invariance and identifiability issues for word embeddings Rachel Carrington, Karthik Bharath, Simon Preston NIPS 2019 https://arxiv.org/abs/1911.02656

Spherical Text Embedding Yu Meng, Jiaxin Huang, Guangyuan Wang, Chao Zhang, Honglei Zhuang, Lance Kaplan, Jiawei Han NeurIPS 2019. (Code: this https URL) https://arxiv.org/abs/1911.01196

Fast Structured Decoding for Sequence Models Zhiqing Sun, Zhuohan Li, Haoqing Wang, Zi Lin, Di He, Zhi-Hong Deng Accepted to NeurIPS 2019 (Previous title: Structured Decoding for Non-Autoregressive Machine Translation)...

pair2vec: Compositional Word-Pair Embeddings for Cross-Sentence Inference Mandar Joshi, Eunsol Choi, Omer Levy, Daniel S. Weld, Luke Zettlemoyer NAACL camera ready https://arxiv.org/abs/1810.08854

Relational Word Embeddings Jose Camacho-Collados, Luis Espinosa-Anke, Steven Schockaert To appear at ACL 2019. 11 pages https://arxiv.org/abs/1906.01373

On-the-fly Operation Batching in Dynamic Computation Graphs Graham Neubig, Yoav Goldberg, Chris Dyer https://arxiv.org/abs/1705.07860

A Bit of Progress in Language Modeling Joshua Goodman 73 pages, extended version of paper to appear in Computer Speech and Language https://arxiv.org/abs/cs/0108005

Emu: Enhancing Multilingual Sentence Embeddings with Semantic Specialization Wataru Hirota, Yoshihiko Suhara, Behzad Golshan, Wang-Chiew Tan AAAI 2020 https://arxiv.org/abs/1909.06731 ## 概要 意図分類器と言語識別器の２コンポーネントによるマルチ言語の文埋め込みフレームワークEMUの提案．意図分類器は，関連文の意味類似度を改善し，言語識別器は多言語敵対学習によって埋め込みの多言語性を高めることができる．実験では，単一言語のラベルデータのみを使って，クロス言語の意図分類タスクにおいて，sotaなマルチ言語埋め込みを示した． ## イントロ 多言語文表現の学習はNLPにおける多言語サポートの鍵である．多言語文埋め込みの主なメリットとして，単一言語で１つの分類器を作り，それを他の言語に，その言語のトレーニングなしに適用できることである．更に最近の多言語文埋め込みでは，単一言語の翻訳による２ステージベースのアプローチと比べて，competitiveである． 多言語文埋め込みの主な問題として，表記類似度に敏感であることが挙げられる．下記はその例である．S1とS3が意味的に似ている（意図が似ている）が，S2は異なる意味である．我々は単言語及びクロス言語の設定でこの文の埋め込みを作り比較した．すると，すべてのモデルがS1とS3で残念ならがS2と比べて低類似度を示した．この事例は，表記類似性のビアスを示しており，文の意味類似度を捉えられていないのである． - S1: What time...