bert4torch

bert4torch copied to clipboard

tokenizer_encode_config和tokenizer_decode_config问题

3

通义千问Qwen的测试py，86行方法SeqGeneration，参数tokenizer_encode_config和tokenizer_decode_config报错，看了好像没有这两个参数？是我使用方法不对吗？

YiTouch

convert sequence labeling model to onnx

1

[issue](https://github.com/microsoft/onnxruntime/issues/16268) [issue](https://github.com/microsoft/onnxruntime/issues/16264)

feng-1985

使用AutoModel替代build_transformer_model，发现其参数在训练过程中不会被更新

14

我使用 **AutoModel.from_pretrained** 来替代 **build_transformer_model(config_path, checkpoint_path)** 作为backbone后，发现模型训练过程不会更新backbone的参数（ requires_grad=True），而其他的加上的 linear 层还是正常更新的。 请问能提示下是哪里的问题吗？

ZayIsAllYouNeed

deberta_v2保存的模型非常大

2

您好，大佬，我用97M的deberta_v2模型训练多分类模型，发现保存的模型400M，有点没搞明白啊

leizhu1989

安装时报错：Could not find a version that satisfies the requirement

10

提问时请尽可能提供如下信息： ### 基本信息 - 你使用的**操作系统**: CentOS Linux release 7.8.2003 (Core) - 你使用的**Python**版本: 3.8.5 - 你使用的**Pytorch**版本: 2.0.1 - 你使用的**bert4torch**版本: 0.2.8 - 你加载的**预训练模型**: 无 ### 核心代码 ``` pip install git+https://github.com/Tongjilibo/bert4torch git clone...

WenjingBao

大佬，有意复现这篇CNER吗？

3

大佬，有意复现一下这篇CNER 吗？[Delving Deep into Regularity: A Simple but Effective Method for Chinese Named Entity Recognition](https://paperswithcode.com/paper/delving-deep-into-regularity-a-simple-but)

nlper01

W2NER模型加载不连续实体的data

3

您好，W2NER模型如何load中文不连续实体呢？就像原文中的CADEC数据集一样的格式，以所有字符的下标数组作为实体位置标记： ```json { "sentence": ["For", "all", "of", "you", "who", "now", "have", "extremely", "low", "LDL", "and", "a", "bad", "case", "of", "joint", "pain", "to", "the", "extent", "that", "it", "is", "very", "arthritic", "or",...

Bureaux-Tao

accelerate 不支持对抗训练

1

提问时请尽可能提供如下信息： 基本信息 你使用的操作系统: ubuntu20.04 你使用的Python版本: 3.8.10 你使用的Pytorch版本: 1.10.2 你使用的bert4torch版本: 0.2.7.post2 你加载的预训练模型: bert-base ### 核心代码 ```python adversarial_train = AdversarialTraining('fgm') model, optimizer, train_dataloader, eval_dataloader, lr_scheduler, adversarial_train = accelerator.prepare( model, optimizer, train_dataloader, eval_dataloader,...

skykiseki

TSDAE测试结果异常，spearman分值极低甚至会NAN，检查dataset和collate_fn无问题，请问可能是什么原因？

1

是否performance里面的横杠代表的异常也是如此呢？

rutonggaoya

首先感谢并且欢迎给出宝贵建议的大佬们~，有的issue是关于想用的预训练模型没有内置，解释如下 - **原因**：有的模型的影响力没有那么大，个人开发精力有限，只能先维护好常用模型 - **建议方案**：bert4torch是支持加载transformers的模型的，此时bert4torch只是相当于一个trainer，具体的网络结构还是在transformers中，但是训练过程和callback的调用和原来一致，使用教程如下[tutorials_load_transformers_model.py](https://github.com/Tongjilibo/bert4torch/blob/master/examples/tutorials/tutorials_load_transformers_model.py) - **完美方案**：可以尝试自己用bert4torch实现，然后提pull request成为contributor，一起为社区做贡献

Tongjilibo