oneflow

oneflow copied to clipboard

Fix BroadcastElemenetwiseUnary launch error

12

这里的dispatch pack 逻辑只是根据指针地址来做 考虑一个情况： 比如你只有2个float元素，此时你pack是4个float来pack。那么pack_count = 2 / 4 = 0，你启动block数量=0就失败了。 因此dispatch逻辑需要考虑到count是否大于等于当前pack_count。还是2个float元素，他最终会走到分支 pack_size = 2

MARD1NO

Add lr_scheduler: Cyclilc LR and OneCycle LR

4

背景：espnet2需求 概述：增加了缺失的两个 Learning Rate Scheduler：Cyclic LR 和 OneCycle LR 注意事项： 在 torch 中，这两个 scheduler 有如下特点： - 输入有 `lr` 和 `momentum` 相关参数，会在构造函数中覆盖掉 `optimizer.param_group` 的状态，比如 `momentum`、`initial_lr`等 - 输入 `lr` 时，支持输入 list，该 list...

marigoold

## Summary Multidimensional indexing with non-tuple values is not allowed. Previously, code such as arr[ind] where ind = [[0, 1], [0, 1]] produced a FutureWarning and was interpreted as a...

wyg1997

GradAcc Mem V5: Part 0-4

6

- [x] Part 0 : Logical Chain 使用 LogicalChainPass 在 Job 层级进行内存复用的 chain merge 操作 - [x] Part 1 : AfterGradAccChain ，将 GradAcc 之后的子图合并为一个 logical chain - [x] Part 2...

chengtbf

strint

oneflow.save没有对齐

1

flow.save没有和torch对齐 ``` >>> import oneflow as torch >>> x = torch.tensor([0, 1, 2, 3, 4]) >>> torch.save(dict(tensor=x), 'tensor.pt') ``` pytorch保存成一个文件，而oneflow保存成目录。

lixinqi

带有 BatchNorm2d 的模型在开启 amp 和 grad acc 时会报错

29

## Summary 带有 BatchNorm2d 的模型在开启 amp 和 grad acc 时会报错。 - 注释掉模型中 BN 层，保留 amp 和 grad acc，不会报错 - 注释掉 grad acc，保留 BN 层和 amp，不会报错 - 注释掉 amp，保留 BN 层和...

marigoold

fix the usage of argument end_factor in LinearLR

4

In `LinearLR`, when `last_step` >= `total_iters`, ``` lr = base_lr * 1. ``` to be consistent with pytorch ``` lr = base_lr * end_factor ``` related issue https://github.com/Oneflow-Inc/oneflow/issues/8343

basicv8vc

- 拆分 exec graph 的创建、register 的 blob desc 的推导 - 对于 user op，使用 logical blob desc + sbp 来推导 physical blob desc - 并行推导 user op 的 register blob desc，该部分开销占大头...

strint

问题来自于该commit: - https://github.com/Oneflow-Inc/oneflow/commit/5409a531b43a26dac43dcca2b73f88d8a95fb068 里面只有一句代码可能导致这个问题：  具体排查细节查看以下连接： - https://github.com/Oneflow-Inc/libai/discussions/366#discussioncomment-3554950 在现在nightly版本的oneflow，这句话已经不在这个文件里面了，而在 https://github.com/Oneflow-Inc/oneflow/blob/4338d962b88d82707955e0a9068f8bc7923e3724/python/oneflow/nn/init.py 中：  **当然，问题很可能不止这一个pr导致的，根据绘图感觉是多个pr共同作用的结果，但这个pr是第一个导致问题的** **因为涉及到随机数，也导致了无法通过精度对齐来找到对应的问题了，所以只能靠这种二分来找**

shaoshitong