Start AI Compiler

• 工程
  • 框架
  • 语言
  • 整理
• 资料
  • 论文
  • 文章
  • 视频
  • 书籍
• 笔记
  • AI Compiler
  • 书籍笔记

工程

框架

• IREE / Google: Intermediate Representation Execution Environment. An MLIR-based end-to-end compiler and runtime.
• MLIR / LLVM: Multi-Level IR Compiler Framework. A novel approach to building reusable and extensible compiler infrastructure.
• TC / Facebook: Tensor Comprehensions. A fully-functional C++ library to automatically synthesize high-performance machine learning kernels.
• Tiramisu / MIT: Tiramisu. A polyhedral compiler for expressing image processing, DNN, and linear/tensor algebra applications.
• TVM / Apache: Tensor Virtual Machine. An End to End Machine Learning Compiler Framework for CPUs, GPUs and accelerators.
• XLA / Google: Accelerated Linear Algebra. A domain-specific compiler for linear algebra that can accelerate TensorFlow models with potentially no source code changes.
  • OpenXLA / Google: XLA (Accelerated Linear Algebra) is an open-source machine learning (ML) compiler for GPUs, CPUs, and ML accelerators.

语言

• Halide: a language for fast, portable computation on images and tensors

整理

• merrymercy/awesome-tensor-compilers
• zwang4/awesome-machine-learning-in-compilers
• BirenResearch/AIChip_Paper_List

资料

论文

• 2020 / MLIR: A Compiler Infrastructure for the End of Moore's Law
• 2020 / The Deep Learning Compiler: A Comprehensive Survey
• 2019 / An In-depth Comparison of Compilers for DeepNeural Networks on Hardware
• 2018 / TVM: An Automated End-to-End Optimizing Compiler for Deep Learning

文章

• 2022-02 / 深度学习编译器整理 / 王钧
• 2021-09 / AI与传统编译器 / 吴建明
• 2021-08 / AI框架中图层IR的分析 / 金雪峰
• 2021-07 / tvm or mlir ？ / dxq
• 2021-04 / 深度学习编译技术的一些思考（五） / 蓝色
• 2019-05 / 深度学习编译技术的现状和未来 / 陈天奇

视频

• 2022-01 / 聊一聊我最近读的编译器后端论文 / 小乖他爹​
• 2021-12 / TVMCon - 2021 Sessions
• 2021-04 / AI 编译器和硬件研讨会 / 李沐

书籍

• 2015-07 / 计算机组成与设计 - 硬件/软件接口（第5版）
• 2015-05 / 并行算法设计与性能优化
• 2014-03 / 算法心得：高效算法的奥秘（第2版）
• 2012-12 / 编译器设计（第2版）
• 2012-01 / 计算机体系结构 - 量化研究方法（第5版） / 视频
• 2011-03 / flex与bison（中文版） / 阅读
• 2008-12 / 编译原理 - 原理、技术与工具
• 2005-01 / 高级编译器与实现

笔记

AI Compiler

• 术语
• 架构
• TVM
  • TVM 安装 - Ubuntu20
  • TVM 使用
    • TVMC 调优模型 - 命令行
    • AutoTVM 调优模型 - Python 接口
    • TE 向量相加
    • TE 矩阵相乘
    • TE 自动调优
    • TE 自动调度
    • TensorIR 开始
    • Relay 开始
    • TOPI 开始
  • TVM 深入
    • TVM 架构

书籍笔记

• Flex 与 Bison
• 编译器设计 2nd
• 计算机组成与设计 - 硬件/软件接口 RISC-V