Multiple-instance-learning icon indicating copy to clipboard operation
Multiple-instance-learning copied to clipboard

visual concept

Open CherishineNi opened this issue 5 years ago • 11 comments

请问如何实现visual_concept,生成图像字幕呢?

CherishineNi avatar Mar 27 '19 12:03 CherishineNi

请问如何实现visual_concept,生成图像字幕呢?

不是很理解你的意思,可否描述清楚一点,需要有图像和文本的映射数据集来训练的

Epiphqny avatar Mar 27 '19 12:03 Epiphqny

请问如何实现visual_concept,生成图像字幕呢?

不是很理解你的意思,可否描述清楚一点,需要有图像和文本的映射数据集来训练的

请问您分享的代码能实现 Visual_concept: From captions to visual concepts and back这篇文章的多示例学习吗?如何获取图像和文本标注的映射数据集呢?我使用labelimg对自己的图片进行了标注,想用多示例学习提取 Visual_concept,要如何进行呢?

CherishineNi avatar Mar 27 '19 12:03 CherishineNi

请问如何实现visual_concept,生成图像字幕呢?

不是很理解你的意思,可否描述清楚一点,需要有图像和文本的映射数据集来训练的

请问您分享的代码能实现 Visual_concept: From captions to visual concepts and back这篇文章的多示例学习吗?如何获取图像和文本标注的映射数据集呢?我使用labelimg对自己的图片进行了标注,想用多示例学习提取 Visual_concept,要如何进行呢?

额,这个方法并不是真实的对数据框出部位的。原始数据就只有图像和文本,构造方式可以查看data_process文件

Epiphqny avatar Mar 27 '19 12:03 Epiphqny

请问如何实现visual_concept,生成图像字幕呢?

不是很理解你的意思,可否描述清楚一点,需要有图像和文本的映射数据集来训练的

请问您分享的代码能实现 Visual_concept: From captions to visual concepts and back这篇文章的多示例学习吗?如何获取图像和文本标注的映射数据集呢?我使用labelimg对自己的图片进行了标注,想用多示例学习提取 Visual_concept,要如何进行呢?

额,这个方法并不是真实的对数据框出部位的。原始数据就只有图像和文本,构造方式可以查看data_process文件

文本数据是图像的5句话描述吗?

CherishineNi avatar Mar 27 '19 12:03 CherishineNi

请问如何实现visual_concept,生成图像字幕呢?

不是很理解你的意思,可否描述清楚一点,需要有图像和文本的映射数据集来训练的

请问您分享的代码能实现 Visual_concept: From captions to visual concepts and back这篇文章的多示例学习吗?如何获取图像和文本标注的映射数据集呢?我使用labelimg对自己的图片进行了标注,想用多示例学习提取 Visual_concept,要如何进行呢?

额,这个方法并不是真实的对数据框出部位的。原始数据就只有图像和文本,构造方式可以查看data_process文件

文本数据是图像的5句话描述吗?

不是,只是图像对应的多个词汇。这个方法是做多标签词汇的,并不是做句子生成的。可以先去了解一下多示例学习的思想

Epiphqny avatar Mar 27 '19 12:03 Epiphqny

请问如何实现visual_concept,生成图像字幕呢?

不是很理解你的意思,可否描述清楚一点,需要有图像和文本的映射数据集来训练的

请问您分享的代码能实现 Visual_concept: From captions to visual concepts and back这篇文章的多示例学习吗?如何获取图像和文本标注的映射数据集呢?我使用labelimg对自己的图片进行了标注,想用多示例学习提取 Visual_concept,要如何进行呢?

额,这个方法并不是真实的对数据框出部位的。原始数据就只有图像和文本,构造方式可以查看data_process文件

文本数据是图像的5句话描述吗?

不是,只是图像对应的多个词汇。这个方法是做多标签词汇的,并不是做句子生成的。可以先去了解一下多实例学习的思想

可以看一下visual_concept的实现效果吗?生成的标签会对应于图像的所属区域吗?

CherishineNi avatar Mar 27 '19 12:03 CherishineNi

不会哦,论文里如果有图的局部应该只是为了说明motivation的应该,实际生成的只是一张图生成对应的多个词汇而已

CherishineNi [email protected]于2019年3月27日 周三下午8:37写道:

请问如何实现visual_concept,生成图像字幕呢?

不是很理解你的意思,可否描述清楚一点,需要有图像和文本的映射数据集来训练的

请问您分享的代码能实现 Visual_concept: From captions to visual concepts and back这篇文章的多示例学习吗?如何获取图像和文本标注的映射数据集呢?我使用labelimg对自己的图片进行了标注,想用多示例学习提取 Visual_concept,要如何进行呢?

额,这个方法并不是真实的对数据框出部位的。原始数据就只有图像和文本,构造方式可以查看data_process文件

文本数据是图像的5句话描述吗?

不是,只是图像对应的多个词汇。这个方法是做多标签词汇的,并不是做句子生成的。可以先去了解一下多实例学习的思想

可以看一下visual_concept的实现效果吗?生成的标签会对应于图像的所属区域吗?

— You are receiving this because you commented.

Reply to this email directly, view it on GitHub https://github.com/Epiphqny/Multiple-instance-learning/issues/2#issuecomment-477132835, or mute the thread https://github.com/notifications/unsubscribe-auth/APkEjTfYgeQwCcwWd5-AmSbk0hlptyuJks5va2YDgaJpZM4cNnfz .

Epiphqny avatar Mar 27 '19 12:03 Epiphqny

您好!我是一名研究细粒度图像分类的研究生,偶然发现了您的基于Pytorch的多示例学习框架,想借用其思想应用于论文中。 我看了您的分享,在visual_concept.py文件中有两个包data_loader_v3和build_vocab_v3没有发现呢?谢谢

ghost avatar Apr 08 '21 07:04 ghost

@Eyashika Please refer to https://github.com/Epiphqny/Multiple-instance-learning/issues/7

Epiphqny avatar Apr 09 '21 03:04 Epiphqny

@Eyashika Please refer to #7

Oh I see it, thanks for your reply.

ghost avatar Apr 09 '21 03:04 ghost

When I run train_visual.py, the following error occurs, what might be the cause of this? Traceback (most recent call last): File "……/python3.7/lib/python3.7/multiprocessing/queues.py", line 236, in _feed obj = _ForkingPickler.dumps(obj) File "……/python3.7/lib/python3.7/multiprocessing/reduction.py", line 51, in dumps cls(buf, protocol).dump(obj) File "……/python3.7/lib/python3.7/site-packages/torch/multiprocessing/reductions.py", line 359, in reduce_storage df = multiprocessing.reduction.DupFd(fd) File "……/python3.7/lib/python3.7/multiprocessing/reduction.py", line 194, in DupFd return resource_sharer.DupFd(fd) File "……/python3.7/lib/python3.7/multiprocessing/resource_sharer.py", line 53, in __init__ self._id = _resource_sharer.register(send, close) File "……/python3.7/lib/python3.7/multiprocessing/resource_sharer.py", line 77, in register self._start() File "……/python3.7/lib/python3.7/multiprocessing/resource_sharer.py", line 130, in _start self._listener = Listener(authkey=process.current_process().authkey) File "……/python3.7/lib/python3.7/multiprocessing/connection.py", line 438, in __init__ self._listener = SocketListener(address, family, backlog) File "……/python3.7/lib/python3.7/multiprocessing/connection.py", line 581, in __init__ self._socket.bind(address) OSError: AF_UNIX path too long

NorthTree22 avatar Nov 20 '23 13:11 NorthTree22