PaddleMIX icon indicating copy to clipboard operation
PaddleMIX copied to clipboard

[wip] add mix schema

Open lyuwenyu opened this issue 1 year ago • 1 comments

PaddleMIX统一多模数据格式

  1. [x] 纯文
  2. [x] 单图
  3. [x] 多图
  4. [x] interleaved
  5. [ ] 音频
  6. [ ] 视频

功能

  1. [x] MIX格式定义和检查
  2. [x] MM格式到MIX格式转换Op

特殊字段

  1. [x] images <-> <image>id</image>
  2. [ ] audios <-> <audio>id</audio>
  3. [ ] videos <-> <video>id</video>
[
    {
        'id': '000002b66c9c498e',
        'images': [
                {
                    'id': 0,
                    'url': 'train/000002b66c9c498e.jpg', 
                    'heigh': 100,
                    'width': 100,
                }, 
                {
                    'id': 1,
                    'url': 'train/000002b66c9c498e.jpg', 
                    'heigh': 100,
                    'width': 100,
                }, 
            ],
        'conversations': [
                {
                    'from': 'user', 
                    'value': '<image>id</image><image>id</image> xxxx'
                }, 
                {
                    'from': 'assistant', 
                    'value': 'xxx'
                },
                {
                    'from': 'user', 
                    'value': 'xxxx <image>id</image>'
                }, 
                {
                    'from': 'assistant', 
                    'value': 'xxx'
                }
            ],
    },
]

lyuwenyu avatar Aug 05 '24 06:08 lyuwenyu

Thanks for your contribution!

paddle-bot[bot] avatar Aug 05 '24 06:08 paddle-bot[bot]