NiklausDu

请问有TensorFlow版本的萝卜塔英文预训练权重么？或者还未开源

pre-train masked language with BERT: python train_bert_lm.py [DONE] 请问这里的 [DONE] 是什么意思，.py脚本后不需要跟文件路径么？望指点。

对中英文混合的文本分类

2

对中英文混合的文本分类（主要是中午，夹杂一些英文关键词，如：我喜欢用TensorFlow框架进行机器学习任务。），encode文本的时候有以下问题，请教下： 1. 当前任务，推荐是使用提供多语言版本模型还是使用chinese版本模型？ 2. 中英文文本的token切分是char-level还是word-level，具体机制是什么？自己尝试的例子出现： [['[CLS]', 'hell', '##o', 'world', '!', '[SEP]'], ['[CLS]', '我', '在', '吃', '饭', '[SEP]']] 3. 部分英文词汇属于重要的关键词，当前属于UNK，不能丢弃，请问该项目支持加自定义的词汇么？

RedisStreamer如何配置batch_size&max_latency

6

您好，有几个问题请教下： 1.在分布式web server为何RedisStreamer类的init方法中未传入batch_size, max_latency,cuda_devices等参数 2.service-streamer.py中的run_redis_workers_forever方法应该是需要在RedisStreamer类初始化时调用，但是为何从未在任何地方调用？

TypeError: can't pickle _thread.RLock objects

1

File "/media/huaxin/tcl2/nlp/dumingyu_project/bertlk/web_service/advanced_deploy_api.py", line 76, in streamer = Streamer(model.predict, batch_size=8, max_latency=0.1, worker_num=1) File "/media/huaxin/tcl2/nlp/dumingyu_project/bertlk/web_service/service_streamer.py", line 296, in __init__ self._setup_gpu_worker() File "/media/huaxin/tcl2/nlp/dumingyu_project/bertlk/web_service/service_streamer.py", line 311, in _setup_gpu_worker p.start() File "/media/huaxin/tcl2/nlp/anaconda3/lib/python3.6/multiprocessing/process.py", line 105, in...

[BUG]Indexing Job Get stuck ( more details below )

15

**Describe the bug** Running Quickstart.ipynb - Start new indexing job. When I checked the progress yesterday, it was 6.25%. It has been 24 hours now, and it is still 6.25%!...