White-Friday
White-Friday
@liudayiheng 我在使用vllm的时候，降低repetition_penalty会出现回答一直重复的问题，比如： 你好 2023/12/4 18:51:20 你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好 当提高repetition_penalty到0.8之后，翻译仍然会出现中文 "To perfect the system of science and technology awards, and enable outstanding talents of technological innovation to receive reasonable returns, unleashing the innovation...
> 太长了，出现幻觉，建议先截取短一点，再一句一句翻译。 @wengyuan722 我使用wizardLM-70B一直都没出现过这个问题，使用qwen14b也有这个问题，72b也有这个问题
prompt: 你是一名精通泰米尔语的专家，将下面内容翻译为泰米尔语： “要完善科技奖励制度，让优秀科技创新人才得到合理回报，释放各类人才创新活力。要通过改革，改变片面将论文、专利、资金数量作为人才评价标准的做法，不能让繁文缛节把科学家的手脚捆死了，不能让无穷的报表和审批把科学家的精力耽误了。” Qwen72B的结果： "அறிவியல் அருட்கொள்ளுதல் முறையைச் சமன்பாக்கி, மதிப்பான தவழ்நடத்தப் பணியாளர்களுக்குச் சரி மறைவானதரமானதைப் πடியவரி.改革ழல், लेख-विषयक पत्रांची सर्वाधिक मागणी करणे, पैसे आणि मंजूरीदारीच्या संख्येसह भुगतान करणे हा कल्पना बदलून, सcientist's hands...
@T0L0ve 请问这个问题解决了吗？我也有类似的问题
请问咱们当前有专一评测大模型翻译能力的bench吗？如何使用？谢谢
我的可以加载chatglm模型，但是无法加载chinese模型，也是出现No sentence-transformers model found with name GanymedeNil/text2vec-large-chinese. Creating a new one with MEAN pooling，然后重新加载，chatglm可以加载，一开始对话就报错，提示RuntimeError: Error in faiss::FileIOReader::FileIOReader(const char*) at /project/faiss/faiss/impl/io.cpp:67: Error: 'f' failed: could not open faiss_index/index.faiss for reading: No...
请问现在是否已经支持LLaVA-NeXT Qwen1.5-110, Qwen1.5-72B, LLaMA3-8B了吗
06:31:06 - openhands:INFO: docker_runtime.py:140 - [runtime 49c984843f124878987ad0d1eb340cad] Starting runtime with image: docker.all-hands.dev/all-hands-ai/runtime:0.30-nikolaik 06:31:07 - openhands:INFO: docker_runtime.py:144 - [runtime 49c984843f124878987ad0d1eb340cad] Container started: openhands-runtime-49c984843f124878987ad0d1eb340cad. VSCode URL: None 06:31:07 - openhands:INFO: docker_runtime.py:155 -...
Could you please explain how you specify the --conv-template?