oneflow

oneflow copied to clipboard

clackhan

## Summary 由于 autograd.grad 的机制问题，会借用 tensor.retain_grad 属性，把临时的 grad 存在 tensor.grad 上，导致的结果错误。 ## Code to reproduce bug ```python import oneflow as flow # import torch as flow a = flow.ones(2, 3).requires_grad_()...

wyg1997

howin98

Reduce print op graph cost

2

Libai T5 ``` # T5-large model config model.cfg.num_attention_heads = 12 model.cfg.hidden_size = 384 model.cfg.hidden_layers = 6 ``` 生成 op graph 用于 debug ``` (MODULE:model.t5_model.encoder.layers.4.post_attention_layernorm:LayerNorm((384,), eps=1e-05, elementwise_affine=True)): ( (INPUT:_model.t5_model.encoder.layers.4.post_attention_layernorm_input.0.0_2:tensor(..., placement=oneflow.placement(type="cuda", ranks=[0,...

strint

设置CUDA_VISIBLE_DEVICES 环境变量没生效

4

## Summary import oneflow 后再通过设置 CUDA_VISIBLE_DEVICES 环境变量 对于OneFlow后端 并没有生效。 ## Code to reproduce bug OneFlow 设置 `CUDA_VISIBLE_DEVICES` 代码： ``` python import oneflow as flow import os os.environ["CUDA_VISIBLE_DEVICES"] = "1" device...

ccssu

flow.cuda.manual_seed_all() 会占用所有显卡的部分显存

1

```python import oneflow as flow flow.cuda.manual_seed_all(1) ``` 程序调用了flow.cuda.manual_seed_all之后会立刻占用每一张显卡的部分显存，我这里每张卡都被占用了500-600MiB，可能是异常现象。pytorch调用这个接口并没有观察到会占用显卡的显存。

BBuf

Graph 不支持 tuple 的子类作为输入

1

## Summary https://github.com/Oneflow-Inc/oneflow/pull/9363 这个 PR 中，我用一个 named_tuple 把返回 TensorTuple 的算子结果包了一层，使其能够跟 torch 对齐： ``` In [1]: import torch In [2]: import oneflow as flow In [3]: x = torch.randn(2, 3, 4)...

marigoold

lazy tensor indexing 支持。 主要处理了： - indexing functor 内对 eager/lazy mode 的管理，value tensor 可以做合适的预处理 - 解决 lazy boxing 中对 0size tensor 没有处理，导致的程序崩溃

wyg1997

support named tuple for return type

12

背景：https://github.com/Oneflow-Inc/OneCloud/issues/147#issuecomment-1195307571 概述： 在 functional_api.yaml 中，支持了一种新的写法： ``` "TensorTuple (Tensor input, Int32 dim, Bool keepdim=False) => Max", ``` 来表明返回值是一个 named tuple，第一个元素的 name 是 values，第二个元素的 name 是 indices 实现： 在生成 pybind 接口的时候，判断 tensortuple...

marigoold

batch norm 模块处理half的输入报错

2

```python import oneflow as flow m = flow.nn.BatchNorm2d(10).to("cuda") m.half() print(m.running_mean.dtype) x = flow.randn(1, 10, 20, 20).to("cuda").half() print(m(x)) ``` torch可以正常运行，oneflow挂在 op 的type推导： ```shell oneflow.float16 Traceback (most recent call last): File "../../debug.py",...

BBuf