Wang Yi

Graph 不支持 tuple 的子类作为输入

1

## Summary https://github.com/Oneflow-Inc/oneflow/pull/9363 这个 PR 中，我用一个 named_tuple 把返回 TensorTuple 的算子结果包了一层，使其能够跟 torch 对齐： ``` In [1]: import torch In [2]: import oneflow as flow In [3]: x = torch.randn(2, 3, 4)...

support named tuple for return type

12

背景：https://github.com/Oneflow-Inc/OneCloud/issues/147#issuecomment-1195307571 概述： 在 functional_api.yaml 中，支持了一种新的写法： ``` "TensorTuple (Tensor input, Int32 dim, Bool keepdim=False) => Max", ``` 来表明返回值是一个 named tuple，第一个元素的 name 是 values，第二个元素的 name 是 indices 实现： 在生成 pybind 接口的时候，判断 tensortuple...

add generic_ctor to pass dtype for type tensor

22

#close https://github.com/Oneflow-Inc/oneflow/issues/9265

Add nn.MultiHeadAttention

7

TODO: - [x] 实现 helper functions - [x] 最 naive 的 case：native_multi_head_attention 在 functor 层对齐并实现 - [x] 实现 python functional 层的 mha - [x] 实现 nn.Module 层的 mha - [x]...

Dev add bitwise shift op

84

 

I got wrong output when fp16_mode is True

7

```python3 net.load_state_dict(weight) net = net.eval().cuda() x = torch.ones([1,3,112,112]).cuda() trt_net = ttrt.torch2trt(net, [x], max_batch_size=20) trt_net_fp16 = ttrt.torch2trt(net, [x], max_batch_size=20, fp16_mode=True) ori_output = net(imgs) trt_output = trt_net(imgs) trt_fp16_output = trt_net_fp16(imgs) print('without fp16:...

add feature of saving and loading graph, and related UI previous UI:  current UI: