MOSS

MOSS copied to clipboard

plague 版本貌似可能会选择不用工具，这该怎么继续下去呢？

2

 如图，因为我把你们的网络插件部署到server端口的时候出了点问题（图里的报错），就像看看MOSS能不能解决我的问题: )，不过他直接回答了“: None”导致下一步的检索过程没办法执行。这该怎么办呢？ （顺便一问，有不用docker的后端部署方法吗？虽然直接load你们的网络插件还挺快的（比加载模型快很多））

Fu-Dayuan

gradio网页demo的问答出现<p>字符

2

想请问下网页的QA会带有```xxx```,哪怕在parse_text()中去除掉`````` 后台不显示``````，网页输入输出也仍然显示该字符，应该如何解决呢  

BUPTccy

当我跑的时候遇到这个错误

sssssshf

经过几番捣腾，后台报语法错误：TypeError: '<' not supported between instances of 'tuple' and 'float'`

8

经过几番捣腾，载入int4的模型OK了，浏览器提交prompt，后台报语法错误如下。 ubuntu：2204 NVIDIA-SMI 530.41.03 nvcc: NVIDIA (R) Cuda compiler driver Copyright (c) 2005-2019 NVIDIA Corporation Built on Sun_Jul_28_19:07:16_PDT_2019 Cuda compilation tools, release 10.1, V10.1.243 `~/MOSS$ python moss_gui_demo.py Waiting for all...

ImGoodBai

199843

推理占的显存不能释放吗，随着问题增多，显存溢出

3

3090卡在线推理，前面几个问题，推理时间虽然长点，能出结果，随着问题的增加，显存溢出，不是一个问题推理完后，显存自动释放吗，有好解决方案吗。 难道问的问题越多，显存占用越多，不释放，那不是再好的配置，随着问题的增多，显存越来越少。

guiniao

iamdbb

运行 moss_cli_demo.py 出现错误，请问这是提示我cpu内存不够吗？

1

D:\UserSoftware\Anaconda3\envs\Moss\python.exe E:/MOSS-main/moss_cli_demo.py ┌───────────────────── Traceback (most recent call last) ─────────────────────┐ │ E:\MOSS-main\moss_cli_demo.py:47 in │ │ │ │ 44 │ │ raw_model, model_path, device_map="auto", no_split_module_clas │ │ 45 │ ) │ │...

NingBoHao

NameError: name 'transpose_matmul_248_kernel' is not defined

3

代码中缺少了对transpose_matmul_248_kernel的定义。 代码中使用的库存在问题，这个错误出现在quantization.py文件中，这个文件似乎是Hugging Face模型缓存中的一部分。 quantization.py", line 265, 应该是忘记导入 transpose_matmul_248_kernel 了，我找了一个，文件头部没有导入。 这个代码是deepspeed 微调时触发的， 走到model_engine.backward(loss) 时出的问题 """ File "fine_tune.py", line 117, in model_engine.backward(loss) File "/home/zeal/pytorch-venv/lib/python3.8/site-packages/deepspeed/utils/nvtx.py", line 15, in wrapped_fn ret_val = func(*args, **kwargs)...

ZealHua

bugfix

1

阻止在特殊情况下中文字符导致的程序崩溃，以及空白输入的重复响应

34245621