openmlsys-zh
openmlsys-zh copied to clipboard
openmlsys
《Machine Learning Systems: Design and Implementation》- Chinese Version
https://github.com/openmlsys/openmlsys-zh/blob/dbe4eee5b9b308f9230d3178e7f0fd1da7bd4f0a/chapter_backend_and_runtime/kernel_selecter.md?plain=1#L69-L80 这里我一直有一个疑问，现在支持把一个网络的算子 offload 到多个 backend 吗？ 在为算子选择一个合适的 backend 时候考虑的事情感觉是十分复杂的，不能简单的认为这个后端更适合这个算子就直接 offload 到这个 backend。 举一个例子，一个网络前面的所有算子都非常适合 GPU，全部 offload 到 GPU 上，但是现在紧接着有一个 算子可能更适合 其他的 backend A，如果 offload 到 A 上的话，数据搬运的开销可能远远大于算子本身在 backend A 上执行带来的提升。 所以想请问一下，算子卸载一般是怎么做的呀，是会具体考虑到各种开销，然后去综合评估吗？
书中 10.4.3.2. 算法优化章节，提到“在前述5.3.3小节中，已经详细介绍了矩阵乘GEMM运算的优化”。请问该部分内容在哪里，谢谢！ 
感谢各位作者，非常好的工作！ 我在调研中学习了分布式训练等章节，感觉章节的架构很全面，内容实用，希望能规范地 cite 本书以供他人参考。请问是否可以提供 bibtex 类型的引用格式？
1. 分布式训练章节 * 能否介绍一些分布式算子实现案例？比如大规模分类任务中softmax的并行化 2. 数据处理框架 * 能否介绍一下不同数据格式的差异（如TFRecord, MindRecord, lmdb，webdataset等），比如在训练中的随机/顺序性能差异、接口丰富度等
From [this section](https://openmlsys.github.io/chapter_frontend_and_ir/intermediate_representation.html#id3):
Hi @hanjr92 , thanks for your nice work, I found two links missing : 1. [计算图的基本构成 张量和算子](https://github.com/openmlsys/openmlsys-zh/blob/main/chapter_computational_graph/components_of_computational_graph.md#%E5%BC%A0%E9%87%8F%E5%92%8C%E7%AE%97%E5%AD%90)一节中`代码示例`链接失效。 文中链接为： https://github.com/openmlsys/openmlsys-pytorch/blob/master/chapter_computational_graph/tensor.py 该链接已失效。 2. [计算图的基本构成 基于链式法则计算梯度](https://github.com/openmlsys/openmlsys-zh/blob/main/chapter_computational_graph/components_of_computational_graph.md#%E5%9F%BA%E4%BA%8E%E9%93%BE%E5%BC%8F%E6%B3%95%E5%88%99%E8%AE%A1%E7%AE%97%E6%A2%AF%E5%BA%A6)一节中`代码示例`链接失效。 文中链接为：https://github.com/openmlsys/openmlsys-pytorch/blob/master/chapter_computational_graph/control_flow.py 该链接已失效。 3. [计算图的生成, 动态图与静态图的转换和融合](https://github.com/openmlsys/openmlsys-zh/blob/main/chapter_computational_graph/generation_of_computational_graph.md#%E5%8A%A8%E6%80%81%E5%9B%BE%E4%B8%8E%E9%9D%99%E6%80%81%E5%9B%BE%E7%9A%84%E8%BD%AC%E6%8D%A2%E5%92%8C%E8%9E%8D%E5%90%88)一节中`代码示例`链接失效。 文中链接为：https://github.com/openmlsys/openmlsys-pytorch/blob/master/chapter_computational_graph/generate_static_graph.py 该链接已失效。
