Grounded-Segment-Anything icon indicating copy to clipboard operation
Grounded-Segment-Anything copied to clipboard

grounding dino如何进行零样本迁移?

Open iPengXPro opened this issue 2 years ago • 8 comments

例如我要检测电路板中的电容电阻等电子元器件,现有模型在输入“register” promot后,无法识别出电阻,我应该如何进行微调呢?恳请大佬们不吝赐教!

iPengXPro avatar Apr 10 '23 02:04 iPengXPro

可以用huggingface的peft代码库进行下游任务微调

tuofeilunhifi avatar Apr 10 '23 03:04 tuofeilunhifi

可以用huggingface的peft代码库进行下游任务微调

感谢大佬的回复,打开了一扇新的大门。今天研究了一天peft,看了其中的一些sample,那像这种微调的情况,数据集应该如何构建呢?

iPengXPro avatar Apr 10 '23 11:04 iPengXPro

可以用huggingface的peft代码库进行下游任务微调

感谢大佬的回复,打开了一扇新的大门。今天研究了一天peft,看了其中的一些sample,那像这种微调的情况,数据集应该如何构建呢?

就跟原来标注检测的数据集一样,类别就是prompt,这里要挑选一下合适的peft方法,微调后就可以把大模型的能力用上

tuofeilunhifi avatar Apr 10 '23 14:04 tuofeilunhifi

可以用huggingface的peft代码库进行下游任务微调

感谢大佬的回复,打开了一扇新的大门。今天研究了一天peft,看了其中的一些sample,那像这种微调的情况,数据集应该如何构建呢?

就跟原来标注检测的数据集一样,peft微调后就可以把大模型的能力用上

好的,感谢您的指导。我去试一下

iPengXPro avatar Apr 10 '23 14:04 iPengXPro

@iPengXPro 您好,请问可以指导一下微调这部分的工作吗,我对这部分没接触过,没法入手

uuu686 avatar May 16 '23 03:05 uuu686

@uuu686 @uuu686 哎呀惭愧惭愧,我中道崩殂了,研究了三天没搞定,后续没有继续往下了。前面大佬提到的你可以去看看里面的sample https://github.com/huggingface/peft

iPengXPro avatar May 16 '23 07:05 iPengXPro

@uuu686 @uuu686 哎呀惭愧惭愧,我中道崩殂了,研究了三天没搞定,后续没有继续往下了。前面大佬提到的你可以去看看里面的sample https://github.com/huggingface/peft

好的,感谢感谢

uuu686 avatar May 16 '23 08:05 uuu686

@uuu686 @uuu686 哎呀惭愧惭愧,我中道崩殂了,研究了三天没搞定,后续没有继续往下了。前面大佬提到的你可以去看看里面的sample https://github.com/huggingface/peft

好的,感谢感谢

请问解决了吗

SoulProficiency avatar Feb 26 '24 13:02 SoulProficiency