UER-py
UER-py copied to clipboard
dbiir
Open Source Pre-training Model Framework in PyTorch & Pre-trained Model Zoo
怎么保存成 transforms 能够直接加载的 文件； 例如： tokenizer = BertTokenizer.from_pretrained("uer/t5-small-chinese-cluecorpussmall")
跑个unit test的时候例句得到负值的cosine similarity，这个是怎么回事？是util.cos_sim函数的问题么？ ```` try: logger.info("START - 加载 Sen-SIMILARITY 模型") # model = SentenceTransformer('distiluse-base-multilingual-cased-v2') model = SentenceTransformer('uer/sbert-base-chinese-nli') # uer model中文性能好很多。 logger.info("FINISH - 加载 Sen-SIMILARITY 模型") except Exception as e: logger.warning("Exception...
训练数据格式如下： 你是文本分类专家，请对文本进行分类，将文本分到以下类别：音乐、体育、娱乐、财经。文本：xxxxxxx 类别是？音乐，娱乐 是否可实现这类生成式任务？目前未看到支持的脚本
UER进行文本分类时如何在训练过程中 loss 持续没有降低的情况下 进行提前结束训练 保存模型 进入测试环节
我有高度结构化且单向关系明显的数据，因此我想尝试使用LTR或RTL的预训练任务替代现有的MLM任务并检查是否有更好的性能，我应该如何修改
在预训练ELMO模型时，我发现`bilm_target.py`中的前向传播和后向传播函数调用缺少了`seg`参数传递，这导致了预训练过程中的运行时错误：TypeError: LmTarget.lm() missing 1 required positional argument: 'seg' 此PR修复了这个问题，通过在相关函数调用中加入`seg`参数。这样可以确保在进行前向和后向传播时正确地传递所有必需的参数，从而避免上述类型错误。 **具体更改：** - 在调用`self.lm()`方法时添加了缺失的`seg`参数。 **测试情况：** - 已经在我的开发环境中进行了基本的功能测试，预训练过程现在能够正常执行而不再抛出错误。 请审查这些更改，感谢您的时间和努力！
