On Pixel-Wise Explanations for Non-Linear Classifier Decisions by Layer-Wise Relevance Propagation

[subinium]

• https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0130140
• LRP

[subinium]

Introduction

이번 정리는 아래 도움되는 자료의 내용가 확실히 잘 설명해주고 있음

• 저널 논문은 처음인 느낌(?)
• image classification 시스템에서 모델의 해석은 중요
• 모델 결과를 픽셀 단위로 decomposition 하여
• heatmap style로 visualization!

General Concept

• d차원 입력 x의 각 차원의 relevance score를 계산하는 것이 목적
• f(x) = \sigma_{i=i}^d R_i
  • 각 픽셀의 기여(relevance)하는 값의 합 = 결과
  • 기여도가 양수면 그렇게 예측한 이유, 음수면 그것을 방해한 이유

Layer-wise relevance propagation

• 각 layer 층에 대해서 기여도의 합은 보존

[subinium]

도움되는 자료

• 공돌이의 수학정리 노트 : Layer-wise Relevance Propagation
• Towards Interpretable Deep Learning - Dr. Wojciech Samek
  • 저자의 발표 자료(ODSC)
• OpenXAIProject/PyConKorea2019-Tutorials