Geng Haojie

需要更换model赋值的语句,替换为：model = MossForCausalLM.from_pretrained("/root/moss-moon-003-sft-int8", trust_remote_code=True).half().cuda()。可以参考这个：https://blog.csdn.net/genghaojie123/article/details/130357804

> 在centos上部署好，运行moss_gui_demo.py，已经提示Running on local URL: [http://127.0.0.1:7860，但是网页打开，显示无法访问](http://127.0.0.1:7860%EF%BC%8C%E4%BD%86%E6%98%AF%E7%BD%91%E9%A1%B5%E6%89%93%E5%BC%80%EF%BC%8C%E6%98%BE%E7%A4%BA%E6%97%A0%E6%B3%95%E8%AE%BF%E9%97%AE) 修改脚本中启动的配置：demo.queue().launch(share=False, inbrowser=True,server_name="0.0.0.0",server_port=7860)，就可以从外部访问了。

同问

我修改的是moss_gui_demo.py,替换model加载语句的方法还是有效的，可以参考我的操作记录：https://blog.csdn.net/genghaojie123/article/details/130357804