dl_note

dl_note copied to clipboard

• 项目概述
• 一，数学基础专栏
• 二，神经网络基础部件
• 三，深度学习炼丹
• 四，深度学习模型压缩
• 五，模型推理部署
• 六，异构计算
• 七，大语言模型推理及服务化
• 八，进阶课程
• 九，其他
• Star History
• 参考资料

项目概述

本仓库项目是个人总结的计算机视觉和大语言模型学习笔记，包含深度学习基础知识、神经网络基础部件详解、深度学习炼丹策略、深度学习模型压缩算法、深度学习推理框架代码解析及动手实战，以及 LLM 基础及推理优化的专栏笔记。

一，数学基础专栏

• 深度学习数学基础-概率与信息论
• 深度学习基础-机器学习基本原理
• 随机梯度下降法的数学基础
• Python 编程思维导航

二，神经网络基础部件

1，神经网络基础部件：

1. 神经网络基础部件-卷积层详解
2. 神经网络基础部件-BN 层详解
3. 神经网络基础部件-激活函数详解

2，深度学习基础：

• 反向传播与梯度下降详解
• 深度学习基础-参数初始化详解
• 深度学习基础-损失函数详解
• 深度学习基础-优化算法详解

三，深度学习炼丹

1. 深度学习炼丹-数据标准化
2. 深度学习炼丹-数据增强
3. 深度学习炼丹-不平衡样本的处理
4. 深度学习炼丹-超参数设定
5. 深度学习炼丹-正则化策略

四，深度学习模型压缩

1. 深度学习模型压缩算法综述
2. 模型压缩-轻量化网络设计与部署总结
3. 模型压缩-剪枝算法详解
4. 模型压缩-知识蒸馏详解
5. 模型压缩-量化算法详解

五，模型推理部署

1，模型部署：

• 卷积神经网络复杂度分析
• 模型压缩部署概述

2，模型推理：

• 矩阵乘法详解
• 模型推理加速技巧-融合卷积和BN层

3，ncnn 框架源码解析：

• ncnn 源码解析-sample 运行
• ncnn 源码解析-Net 类
• ncnn 源码解析-Layer 层
• ncnn 源码解析-常见算子

5，AI/NPU/GPU 芯片特性：

• 英伟达 GPU 架构特性详解

六，异构计算

1. 移动端异构计算：neon 编程
2. GPU 端异构计算：cuda 编程

通用矩阵乘法 gemm 算法解析与优化、neon、cuda 编程等内容，以及 ncnn 框架代码解析总结。

七，大语言模型推理及服务化

1，LLM 基础知识：

• transformers 库快速入门
• LLM 背景知识总结

2，Transformer 模型基础：

• Transformer 原理详解
• Transformer 基础视觉模型详解
• LLaMA 及其子孙模型详解
• BLOOM 模型结构详解
• GPT1-3 系列模型总结
• CLIP 多模态模型总结

3，大规模模型的推理优化及部署总结:

• Transformer 模型性能分析理论基础
• FasterTransformer 框架速览
• LLM 训练的并行策略详解

4，DeepSpeed 框架学习笔记：

• DeepSpeed:通过系统优化和压缩加速大规模模型推理和训练
• DeepSpeed推理:具有定制推理内核和量化支持的多GPU推理
• DeepSpeed:模型压缩模块详解

八，进阶课程

1，推荐几个比较好的深度学习模型压缩与加速的仓库和课程资料：

1. 神经网络基本原理教程
2. AI-System: 深度学习系统，主要从底层方向讲解深度学习系统等原理、加速方法、矩阵成乘加计算等。
3. pytorch-deep-learning：很好的 pytorch 深度学习教程。

2，一些笔记好的博客链接：

• The Illustrated Transformer: 国内比较好的博客大都参考这篇文章。
• C++ 并发编程（从C++11到C++17）: 不错的 C++ 并发编程教程。
• What are Diffusion Models?
• annotated_deep_learning_paper_implementations

九，其他

最后，持续高质量创作不易，有 5 秒空闲时间的，可以扫码关注我的公众号-嵌入式视觉，记录 CV 算法工程师成长之路，分享技术总结、读书笔记和个人感悟。

公众号不会写标题党文章，也不输出给大家带来的焦虑的内容！

Star History

参考资料

• 《深度学习》
• 《机器学习》
• 《动手学深度学习》
• 《机器学习系统：设计和实现》
• 《AI-EDU》
• 《AI-System》
• 《PyTorch_tutorial_0.0.5_余霆嵩》
• 《动手编写深度学习推理框架 Planer》
• distill：知识精要和在线可视化
• LLVM IR入门指南
• nanoPyC