One-API接入ChatGLM2-6B-int4的OpenAI服务接口

参考：https://doc.fastgpt.in/docs/development/one-api/

基于docker进行部署即可，只需要一条命令

• 类型：OpenAI，这个是固定的
• 名称：chatglm2，这个随意
• 模型：chatglm2，这个通过“输入自定义模型名称”来输入，这个名称是后面FastGPT里面会显示的名称
• 代理：本地ChatGLM2-6B-int4的接口服务地址

点击令牌-> 添加新的令牌

在docker-compose.yml修改 FastGPT 的环境变量(第52行)

在config.json中加入ChatGLM2

启动容器

测试

在FastGPT创建的应用里面，选择外部使用 -> API访问

新建API密钥管理，名称随意，拷贝这个密钥

智能微秘书接入FastGPT中的ChatGLM2-6B-int4

问题总结

• 问题：chatglm的openAPI报错

解决：参考https://github.com/THUDM/ChatGLM2-6B/issues/483
将openai_api.py文件中3处

替换为

    以上就是本篇文章【全部本地化！ChatGLM+oneapi+fastgpt+微秘+微信 部署实操】的全部内容了，欢迎阅览 ！ 文章地址：http://keair.bhha.com.cn/news/4788.html 
     文章      相关文章      动态      同类文章      热门文章      栏目首页      网站地图      返回首页 康宝晨移动站 http://keair.bhha.com.cn/mobile/ , 查看更多