KoBERT
KoBERT copied to clipboard
Korean BERT pre-trained cased (KoBERT)
## 🐛 Bug 기존 예제를 모두 실행 하여 정상적인 결과를 뽑았습니다. 이에 진행중인 프로젝트에 적용시키고 싶어, 학습 데이터를 따로 추출하여 적용하였는데, [ TypeError: Argument 'text' has incorrect type (expected str,...
## 🐛 Bug kobert를 Colab에서 구현할 때, tokenizer 사용시, nbest_size 오류 등이 발생합니다. ## To Reproduce !pip install ipywidgets # for vscode !pip install git+https://[email protected]/SKTBrain/KoBERT.git@master import torch from torch import...
## 🐛 Bug windows10+ pycharm 환경에서 kobert 설치를 시도했는데 에러가 발생합니다. ## To Reproduce ![image](https://user-images.githubusercontent.com/55524773/171872631-82933e17-dbbf-4e39-b0a2-edb47bbf9aac.png) ![image](https://user-images.githubusercontent.com/55524773/171872524-0fb184bc-d096-4ff0-974e-b31ea78b7c00.png) 버그를 재현하기 위한 재현절차를 작성해주세요. 1. pip install git+https://[email protected]/SKTBrain/KoBERT.git@master ## Expected behavior kobert 설치...
Hi~ I wonder how many token used for pretraining kobert? I see that in README.md that you guys used 54M of words. I'm wondering if 54M means 54M of token...
kobert를 활용하여 분류 학습 후 파이토치 모델로 저장하였습니다 fine-tuning 후 새로운 데이터를 입력으로 주어 모델에 output중 hidden_states 값을 사용하려고합니다. transformer BertForSequenceClassification.from_pretrained()를 사용하여 fine_tuning을 진행하였고, 옵션으로 output_hidden_states = True로 설정한 뒤...
[BUG]
## 🐛 Bug No module named 'kobert' ## To Reproduce from kobert.utils import get_tokenizer from kobert.pytorch_kobert import get_pytorch_kobert_model 이거를 돌리려 할 때 ModuleNotFoundError Traceback (most recent call last) [](https://localhost:8080/#) in...
## 🐛 Bug ## To Reproduce Collecting git+https://****@github.com/SKTBrain/KoBERT.git@master Cloning https://****@github.com/SKTBrain/KoBERT.git (to revision master) to /tmp/pip-req-build-ag9d_9gj Running command git clone --filter=blob:none --quiet 'https://****@github.com/SKTBrain/KoBERT.git' /tmp/pip-req-build-ag9d_9gj Resolved https://****@github.com/SKTBrain/KoBERT.git to commit 47a69af87928fc24e20f571fe10c3cc9dd9af9a3 Preparing metadata...
using cached model. /home/cgac/juhan/kobert/kobert/KoBERT/.cache/kobert_v1.zip using cached model. /home/cgac/juhan/kobert/kobert/KoBERT/.cache/kobert_news_wiki_ko_cased-1087f8699e.spiece --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) in 17 device = torch.device("cuda:0") 18 #BERT 모델, Vocabulary 불러오기 ---> 19 bertmodel, vocab =...
[BUG]
## 🐛 Bug 기본 감정분류 예와 https://www.dinolabs.ai/271 이 예를 참고하여 검색하며 오류 수정하면서 하고있습니다.. colab으로 하고있습니다. !pip install mxnet !pip install gluonnlp pandas tqdm !pip install sentencepiece==0.1.91 !pip install transformers==4.8.2...
## 🐛 Bug pip install git+https://[email protected]/SKTBrain/KoBERT.git@master를 통해 설치시 다음과 같은 에러가 납니다 ## To Reproduce ERROR: Could not find a version that satisfies the requirement onnxruntime ## Environment Apple M2,...