2022腾讯犀牛鸟开源人才培养计划-jittor

[tencent-adm]

腾讯犀牛鸟开源人才培养计划 Tencent Rhino-bird Open-source Training Program 2021年腾讯首次发布“犀牛鸟开源人才培养计划”，通过打造面向高校学生的开源课程和开源实践培养方案，培育开源人才、普及开源文化，助力开源人才生态的发展。5月30日，2022年度“犀牛鸟开源人才培养计划”正式启动，由教育部计算机类专业教学指导委员会、教育部软件工程专业教学指导委员会、教育部电子信息类专业教学指导委员会、中国信息通信研究院作为联合指导单位，腾讯开源和腾讯高校合作联合主办，培养计划涉及开源基础课程、开源进阶研学和开源项目实战三大阶段培养。本届培养计划除了来自腾讯的热点开源项目之外，还有来自清华大学、北京大学、中国人民大学与腾讯基于联合实验室平台合作开展的开源项目，涉及技术领域包括人工智能、大数据、前端应用、基础平台（操作系统）、数据库等。

各位同学报名即可参加线上开源系列课程，学习开源知识，对话学界及产业界大咖。其中入选开源项目实战的学生将在导师的一对一指导下，利用暑假开展编程实战。

更多项目信息请看官网：https://opensource.tencent.com/summer-of-code

项目简介 一个完全基于动态编译（Just-in-time），内部使用创新的元算子和统一计算图的深度学习框架。元算子可以复合出神经网络计算所需算子，和Numpy一样易于使用，并且超越Numpy能够实现更复杂更高效的操作。统一计算图则是融合了静态计算图和动态计算图的诸多优点，在易于使用的同时，提供高性能的优化。基于元算子开发的深度学习模型，可以被计图实时自动优化并且运行在指定的硬件上，如CPU，GPU，NPU等。

项目导师 梁盾，计图核心开发者，清华大学助理研究员

导师寄语 计图是首个由国内高校牵头的具有自主知识产权的深度学习框架，相比于国外主流框架，在性能、多平台适配上有着诸多优势。本项目将带大家进入科研一线，深入浅出地了解最前沿的研究领域与框架开发知识，涵盖内容包括：可微渲染、目标检测与识别、图像分割、几何学习以及算子优化等内容

编程任务 【初级】任务一：基于计图框架 NeRF 模型复现和速度优化

背景：随着VR、AR的蓬勃发展，三维场景、物体的重建与生成越来越重要。在新视角生成及重建任务中，目的是给定若干不同视角的图像或视频，重建场景或获取新视角对应的图像。2020年Mildenhall等人提出的NeRF使用一组稀疏的输入视图来优化MLP网络，该网络输入查询点并输出颜色和密度，通过光线行进在空间中采样点来渲染场景，可以生成高质量的高分辨率图像。

参考论文：

1. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis https://arxiv.org/abs/2003.08934
2. Efficient Geometry-aware 3D Generative Adversarial Networks https://arxiv.org/abs/2112.07945
3. pixelNeRF: Neural Radiance Fields from One or Few Images https://arxiv.org/pdf/2012.02190
4. Neural Sparse Voxel Fields https://arxiv.org/abs/2007.11571

相关代码：

1. https://github.com/Jittor/JNeRF

预备知识：

1. 熟悉上述参考论文
2. 熟悉 Jittor、PyTorch、Tensorflow 的学习和使用
3. 熟悉训练神经网络，在测试数据集上测试模型

预期成果：在计图框架上复现 NeRF 模型，达到论文中的点数，做速度优化，性能超过 PyTorch、Tensorflow等平台。

收获：

1. 掌握NeRF 领域的常用模型
2. 掌握Jittor、PyTorch、Tensorflow 三种深度学习框架
3. 掌握深度学习模型训练和测试

【中级】任务二：基于计图框架 GAN 模型复现和速度优化

背景：图像生成任务是计算机视觉领域非常重要和实用的一个方向。GAN 模型作为图像生成代表模型，自 2014 年被提出就受到广泛关注。2018 年，StyleGAN 模型被提出，图像生成进入高分辨率时代。本任务希望基于计图框架复现 GAN 的重要模型、复现论文中的点数以及训练、推理速度超过其他深度学习框架。

参考论文：

1. Jittor-GAN: A fast-training generative adversarial network model zoo based on Jittor （https://link.springer.com/content/pdf/10.1007/s41095-021-0203-2.pdf）
2. A style-based generator architecture for generative adversarial networks（https://openaccess.thecvf.com/content_CVPR_2019/papers/Karras_A_Style-Based_Generator_Architecture_for_Generative_Adversarial_Networks_CVPR_2019_paper.pdf）
3. Analyzing and improving the image quality of stylegan （https://openaccess.thecvf.com/content_CVPR_2020/papers/Karras_Analyzing_and_Improving_the_Image_Quality_of_StyleGAN_CVPR_2020_paper.pdf）
4. Alias-free generative adversarial networks （https://proceedings.neurips.cc/paper/2021/file/076ccd93ad68be51f23707988e934906-Paper.pdf）

相关代码：

1. https://github.com/Jittor/gan-jittor
2. https://github.com/NVlabs/stylegan
3. https://github.com/NVlabs/stylegan2
4. https://github.com/NVlabs/stylegan3

预备知识：

1. 熟悉上述参考论文
2. 熟悉 Jittor、PyTorch、tensorflow 的学习和使用
3. 熟悉训练神经网络，在测试数据集上测试点数

预期成果：在计图框架上复现 GAN 模型，达到论文中的点数，做速度优化，性能超过 PyTorch、Tensorflow等

收获：

1. 掌握 GAN 领域常用模型
2. 掌握 Jittor、PyTorch、Tensorflow 三种深度学习框架
3. 掌握深度学习模型的训练和测试

【高级】任务三：基于计图框架实现稀疏卷积库

背景： 稀疏卷积是支撑3D视觉非常重要的一部分，因此如何实现快速的稀疏卷积已经成为3D视觉领域不可或缺的一部分。本任务希望基于计图框架实现稀疏库，能够实现目前的大多数稀疏算法，能够在保证精度的前提下，实现较快的速度，并且基于这个库，复现一篇体素分割的论文。

参考论文：

1. Vmnet: Voxel-mesh network for geodesic-aware 3d semantic segmentation (https://openaccess.thecvf.com/content/ICCV2021/papers/Hu_VMNet_Voxel-Mesh_Network_for_Geodesic-Aware_3D_Semantic_Segmentation_ICCV_2021_paper.pdf)
2. 4d spatio-temporal convnets: Minkowski convolutional neural networks (https://openaccess.thecvf.com/content_CVPR_2019/papers/Choy_4D_Spatio-Temporal_ConvNets_Minkowski_Convolutional_Neural_Networks_CVPR_2019_paper.pdf)
3. TorchSparse: Efficient Point Cloud Inference Engine
4. Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution

相关代码：

1. https://github.com/rusty1s/pytorch_sparse
2. https://github.com/mit-han-lab/torchsparse
3. https://github.com/NVIDIA/MinkowskiEngine
4. https://github.com/facebookresearch/SparseConvNet
5. https://github.com/rusty1s/pytorch_scatter
6. https://github.com/rusty1s/pytorch_scatter
7. https://github.com/pyg-team/pytorch_geometric

预备知识：

1. 熟悉上述参考论文
2. 熟悉 Jittor、PyTorch、Tensorflow 的学习和使用
3. 熟悉CUDA编程
4. 熟悉训练神经网络，在测试数据集上测试点数

预期成果：在计图框架上实现稀疏库，保证精度和正确性，完成1篇论文的复现。

收获：

1. 掌握3D视觉常用模型
2. 掌握深度学习框架底层算法
3. 掌握Jittor、PyTorch、Tensorflow 三种深度学习框架
4. 掌握深度学习模型的训练和测试

联系导师 梁盾，https://github.com/cjld