SkySlity comments

Results 9 comments of


                                            SkySlity

请问有啥推荐的模型吗？

按照readme里的多卡部署，用jupyter测试的，我这边想用来做一些生成单元测试和代码审查。但是给出的回答tokens很短。说到一半就截止了。不知道该怎么调整，这边用了4张Tesla V100

![image](https://user-images.githubusercontent.com/52128805/233960144-0981aaf3-0e0f-424c-8b88-753d9a43f225.png)

截断截图稍等我晚点上传，我得重新跑下，有点慢

![image](https://user-images.githubusercontent.com/52128805/233962100-460a28f4-d3df-42a8-88e4-96ea85be0386.png) 现在是这样，不认真回答了

![image](https://user-images.githubusercontent.com/52128805/233962375-e7309896-73c1-4da3-83eb-49ec2be1fb21.png)

这个只有max_new_tokens=256 这个参数，但是我改大到2048 似乎没什么变化

4张tesla V100 都还是慢的飞起，而且还短，重要信息说一半没了，不知道咋续上

加一层消息队列好了