GLM-4
GLM-4 copied to clipboard
如何使用 Transformers 启动 GLM-4-9B-Chat 服务端?
Feature request / 功能建议
当前官方文档提供了使用 Transformers 与 GLM-4-9B 进行对话的代码,但缺少如何使用 Transformers 启动服务端以及实现客户端请求的具体代码或指南。我希望能够补充以下内容:
- 如何通过 Transformers 库启动 GLM-4-9B 服务端,并能够接受客户端请求进行推理。
- 如何从客户端发送请求到部署好的 GLM-4-9B 服务端,并获取模型的推理结果。
- (如果可以)提供基于 REST API 或 WebSocket 的交互方式示例,以便我集成到现有的应用中。
希望官方能够提供此类代码或文档,以便开发者使用 GLM-4-9B 模型进行服务端部署和应用开发。
Motivation / 动机
我正在使用 GLM-4-9B 模型进行知识的实体关系抽取,因此需要通过 Transformers 启动服务端,方便处理大量客户端请求并进行批量推理。目前官方文档缺少关于如何实现这一需求的详细指南和代码示例,希望能够补充相关内容,以支持模型在实体关系抽取任务中的高效应用和服务端部署。