deeplearning-papernotes

deeplearning-papernotes copied to clipboard

2020-07

• Language Models are Few-Shot Learners [arXiv]

2018-10

• BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding [arXiv]

2018-09

• Subgoal Discovery for Hierarchical Dialogue Policy Learning [arXiv]

2018-08

• NIPS Conversational Intelligence Challenge 2017 Winner System: Skill-based Conversational Agent with Supervised Dialog Manager [ACL, Github]

2018-04

• Universal Sentence Encoder [arXiv]
• Deep contextualized word representations [arXiv]
• Dynamic Meta-Embeddings for Improved Sentence Representations [arXiv]

2018-01

• How People Negotiate? From the Analysis of a Dialogue Corpus to a Dialogue System [Paper]

• A Survey of Available Corpora For Building Data-Driven Dialogue Systems: The Journal Version [arXiv]

  +

  Большая статья, хороший обзор. Из интересного указаны датасеты к которым есть юзер симуляторы и обозначены проблемы диалоговых систем.

• Personalizing Dialogue Agents: I have a dog, do you have pets too? [arXiv]

2017-12

• Avoiding Echo-Responses in a Retrieval-Based Conversation System [arXiv]
• Conversational AI: The Science Behind the Alexa Prize [Amazon]
• Sounding Board – University of Washington’s Alexa Prize Submission [Amazon]
• Alquist: The Alexa Prize Socialbot [Amazon]
• Superhuman AI for heads-up no-limit poker: Libratus beats top professionals [Science]

2017-11

• A Survey on Dialogue Systems: Recent Advances and New Frontiers [arXiv]

2017-09

• A Deep Reinforcement Learning Chatbot [arXiv]
• Seq2SQL: Generating Structured Queries from Natural Language using Reinforcement Learning [arXiv]
• Generating Sentences by Editing Prototypes [arXiv]

2017-08

• Towards an Automatic Turing Test: Learning to Evaluate Dialogue Responses [arXiv]
• Referenceless Quality Estimation for Natural Language Generation [arXiv]
• Speech and Language Processing (3rd ed. draft). Dialog Systems and Chatbots and Advanced Dialog Systems chapters [Stanford]
• Machine Teaching: A New Paradigm for Building Machine Learning Systems [arXiv]

2017-07

• Learning Multilingual Joint Sentence Embeddings with Neural Machine Translation [ACL]

2017-06

• Deal or no deal? Training AI bots to negotiate [facebook blog]

2017-05

• Machine Comprehension by Text-to-Text Neural Question Generation [arXiv]
• TriviaQA: A Large Scale Dataset for Reading Comprehension and Question Answering [Resource]
• A Survey of Deep Learning Methods for Relation Extraction [arXiv]
• A Deep Reinforced Model for Abstractive Summarization [arXiv]
• Ask the Right Questions: Active Question Reformulation with Reinforcement Learning [arXiv]

2017-04

• Composite task-completion dialogue policy learning via hierarchical deep reinforcement learning [arXiv]

  +

  Те же чуваки делали, примерно также как и в прошлой статье. Тоже goal oriented, но тут подробнее описали как тренировали стейт трекер. Причем его разделили на low-level, где на каждом ходу награда дается и на high-level где награда дается уже достижение большой цели. Ну и цель на подзадачи как-то разбили.

• Neural Question Generation from Text: A Preliminary Study [arXiv]

• Reading Wikipedia to Answer Open-Domain Questions [arXiv]

• SearchQA: A New Q&A Dataset Augmented with Context from a Search Engine [arXiv]

2017-03

• Learning Conversational Systems that Interleave Task and Non-Task Content [arXiv]

  +

  Тут в task-oriented систему примешивают chit-chat модуль, берут длинный контекст диалога и это дает им прирост как в user engagement так и в достижении цели. Мерили людьми по 50 диалогов (без chit-chat модуля, с ним, длинный и короткий контексты). В качестве симулятора использовали Alice (рестартили беседу, когда Алиса начинала повторяться). В качестве награды для RL использовали линейную комбинацию длины диалога, информативности и пары других эвристик.

• End-to-end task-completion neural dialogue systems [arXiv]

  +

  Тут разбирается task oriented система. Надо заполнить фрейм. Решают через end2end систему с RL. Для обучения использовали юзер симулятор. Также награду сразу давали, т.к. есть симулятор и это позволило решить проблему с отложенной наградой в диалогах.

• Massive Exploration of Neural Machine Translation Architectures [arXiv, github]

2017-01

• Cluster-Based Graphs for Conceiving Dialog Systems [Paper]

• Building machines that learn and think like people [arXiv]

  +

  Тут с точки зрения психологии и смежных наук сравнивается текущее состояние ИИ и интеллект человека. Как обычно пишут, что человек намного быстрее и эффективнее обучается. Говорят что это может быть связано с тем что у человека есть врожденные особенности. Типа уже к году человек примерно представляет физику (инерция скорость и тд), язык тоже очень быстро осваивает и тд.

• User involvement in collaborative decision-making dialog systems [Springer]

  +

  Тут рассмотрен диалоговый агент как помощник и компаньон юзера. Такой collaborive-decision making process. Тут был использован классический подход, отдельная база знаний, planning framework, decision model (всякие эвристики).

• Learning End-to-End Goal-Oriented Dialog [arXiv]

• История развития ИИ. Проблемы этики искусственного интеллекта [GitHub]

2016-11

• Generative Deep Neural Networks for Dialogue: A Short Review [arXiv]

2016-09

• SQuAD: 100,000+ Questions for Machine Comprehension of Text [arXiv, github, review presentation]
• Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation [arXiv]

2016-07

• Representation learning for very short texts using weighted word embedding aggregation [arXiv]

2016-06

• Named Entity Recognition Using Syntactic and Semantic Features and Neural Networks [Dialogue-21]
• Dialog State Tracking Challenge 5 Handbook v3.1 [DSTC5]
• Neural Belief Tracker: Data-Driven Dialogue State Tracking [arXiv]

2016-05

• Sentence Pair Scoring: Towards Unified Framework for Text Comprehension [arXiv]
• End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF [arXiv]

2016-03

• Generating Factoid Questions With Recurrent Neural Networks: The 30M Factoid Question-Answer Corpus [arXiv, corpora, review presentation]

2016-02

• A Roadmap towards Machine Intelligence [arXiv]
  • CommAI-env [github]

2016

• The Dialog State Tracking Challenge Series: A Review [Dialogue & Discourse]
• The Fourth Dialog State Tracking Challenge [ResearchGate]

2015-12

• A Survey of Available Corpora for Building Data-Driven Dialogue Systems [arXiv]
• Towards AI-Complete Question Answering: A Set of Prerequisite Toy Tasks [arXiv]

2012

• Hierarchical Conversation Structure Prediction in Multi-Party Chat [ACL]

2001

• Разработка диалоговой системы с применением корпуса [Dialog-21]

2003

• Основы теории дискурса [Book]
• Corpus-based, Statistical Goal Recognition [Paper]

2002

• Dialogue systems and planning [[Paper - ftp://ftp.irit.fr/pub/IRIT/CSC/tsd02.pdf]]
  +

  Предложили вместо интентов и использовать план. Есть задача. Задача решается через достижение цели. Цель достигается посредством плана. План - это такой граф, где каждый узел это какое-то действие. План есть у юзера, у доменной области и у агента.

2000

• A Plan Based Agent Architecture for Interpreting Natural Language Dialogue [Paper]
  +

  Рассмотрен диалоговый агент построенный на базе дискурсного анализа и планирования. Речевые акты, модель агента и модель доменной области и т.д.

1999

• Speech acts for dialogue agents [Paper]

1994

• Chatterbots, tinymuds, and the turing test: Entering the loebner prize competition [AAAI]

Ссылки

• https://github.com/dennybritz/deeplearning-papernotes
• https://github.com/songrotek/Deep-Learning-Papers-Reading-Roadmap
• http://www.shortscience.org
• https://blog.openai.com