One-API接入ChatGLM2-6B-int4的OpenAI服务接口
参考:https://doc.fastgpt.in/docs/development/one-api/
基于docker进行部署即可,只需要一条命令
- 类型:OpenAI,这个是固定的
- 名称:chatglm2,这个随意
- 模型:chatglm2,这个通过“输入自定义模型名称”来输入,这个名称是后面FastGPT里面会显示的名称
- 代理:本地ChatGLM2-6B-int4的接口服务地址
点击令牌-> 添加新的令牌
在docker-compose.yml修改 FastGPT 的环境变量(第52行)
在config.json中加入ChatGLM2
启动容器
测试
在FastGPT创建的应用里面,选择外部使用 -> API访问
新建API密钥管理,名称随意,拷贝这个密钥
智能微秘书接入FastGPT中的ChatGLM2-6B-int4
问题总结
- 问题:chatglm的openAPI报错
解决:参考https://github.com/THUDM/ChatGLM2-6B/issues/483
将openai_api.py文件中3处替换为