GLM-4 icon indicating copy to clipboard operation
GLM-4 copied to clipboard

如何使用 Transformers 启动 GLM-4-9B-Chat 服务端?

Open Twistzz2 opened this issue 4 months ago • 1 comments

Feature request / 功能建议

当前官方文档提供了使用 Transformers 与 GLM-4-9B 进行对话的代码,但缺少如何使用 Transformers 启动服务端以及实现客户端请求的具体代码或指南。我希望能够补充以下内容:

  • 如何通过 Transformers 库启动 GLM-4-9B 服务端,并能够接受客户端请求进行推理。
  • 如何从客户端发送请求到部署好的 GLM-4-9B 服务端,并获取模型的推理结果。
  • (如果可以)提供基于 REST API 或 WebSocket 的交互方式示例,以便我集成到现有的应用中。

希望官方能够提供此类代码或文档,以便开发者使用 GLM-4-9B 模型进行服务端部署和应用开发。

Motivation / 动机

我正在使用 GLM-4-9B 模型进行知识的实体关系抽取,因此需要通过 Transformers 启动服务端,方便处理大量客户端请求并进行批量推理。目前官方文档缺少关于如何实现这一需求的详细指南和代码示例,希望能够补充相关内容,以支持模型在实体关系抽取任务中的高效应用和服务端部署。

Twistzz2 avatar Oct 10 '24 07:10 Twistzz2