OpenGVLab
[Feature] 还有一个问题，streamlit run app.py启动后无法选择模型
Motivation
选择模型那里是灰色的，不能选择，是什么原因呢？麻烦请教一下怎么弄。模型用的是InternVL2-Llama3-76B。路径如下图：
Related resources
请问下图中是不是路径不对？/root/InternVL/InternVL2-Llama3-76B 里面是 OpenGVLab/InternVL2-Llama3-76B 模型文件和其他文件。
Additional context
是fastapi接口没调试好，调试好后就可以了。
https://internvl.readthedocs.io/en/latest/get_started/local_chat_demo.html 这里没说要调试 fastapi接口 呀，具体要怎么做呢？我是启动了 Step 2: Start the Streamlit Web Server 和 Step 3: Start the Controller。之后要启动 fastapi吗？在哪里启动
是fastapi接口没调试好，调试好后就可以了。
https://internvl.readthedocs.io/en/latest/get_started/local_chat_demo.html 这里没说要调试 fastapi接口 呀，具体要怎么做呢？我是启动了 Step 2: Start the Streamlit Web Server 和 Step 3: Start the Controller。之后要启动 fastapi吗？在哪里启动
我是在controller.py里app=fastAPI()加了 @app.get("/") async def read_root(): return('get':200}
对了，你要用76b的模型不用量化模型吗。我用量化的24b显卡都占了大概70G了。 然后我试过如果用量化模型好像不能用streamlit，所以虽然我调试好了streamlit界面但最后还是选择了用lmdeploy+gradio部署的。
是fastapi接口没调试好，调试好后就可以了。
https://internvl.readthedocs.io/en/latest/get_started/local_chat_demo.html 这里没说要调试 fastapi接口 呀，具体要怎么做呢？我是启动了 Step 2: Start the Streamlit Web Server 和 Step 3: Start the Controller。之后要启动 fastapi吗？在哪里启动
我是在controller.py里app=fastAPI()加了 @app.get("/") async def read_root(): return('get':200}
对了，你要用76b的模型不用量化模型吗。我用量化的24b显卡都占了大概70G了。 然后我试过如果用量化模型好像不能用streamlit，所以虽然我调试好了streamlit界面但最后还是选择了用lmdeploy+gradio部署的。
嗯，后来我没用76B，我是直接尝试了mini的4B，之后也尝试了VL2的8B。都可以。24B的话，估计我那显卡撑不住。