推广 热搜: 公司  快速  上海  中国    未来  企业  政策  教师  系统 

全部本地化!ChatGLM+oneapi+fastgpt+微秘+微信 部署实操

   日期:2024-12-23     作者:s0nbcl    caijiyuan   评论:0    移动:http://keair.bhha.com.cn/mobile/news/4788.html
核心提示:One-API接入ChatGLM2-6B-int4的OpenAI服务接口 参考:https://doc.fastgpt.in/docs/development/one-api/ 基于docker进行
 
 

One-API接入ChatGLM2-6B-int4的OpenAI服务接口

参考:https://doc.fastgpt.in/docs/development/one-api/

基于docker进行部署即可,只需要一条命令
  • 类型:OpenAI,这个是固定的
  • 名称:chatglm2,这个随意
  • 模型:chatglm2,这个通过“输入自定义模型名称”来输入,这个名称是后面FastGPT里面会显示的名称
  • 代理:本地ChatGLM2-6B-int4的接口服务地址
点击令牌-> 添加新的令牌
 
在docker-compose.yml修改 FastGPT 的环境变量(第52行)
 
在config.json中加入ChatGLM2
 
 
启动容器
  • 测试
    在FastGPT创建的应用里面,选择外部使用 -> API访问
    新建API密钥管理,名称随意,拷贝这个密钥

    智能微秘书接入FastGPT中的ChatGLM2-6B-int4

    问题总结

    • 问题:chatglm的openAPI报错
     
    

    解决:参考https://github.com/THUDM/ChatGLM2-6B/issues/483
    将openai_api.py文件中3处

     
    

    替换为

    本文地址:http://keair.bhha.com.cn/news/4788.html    康宝晨 http://keair.bhha.com.cn/ , 查看更多

    特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。

     
     
    更多>同类最新资讯
    0相关评论

    文章列表
    相关文章
    最新动态
    推荐图文
    最新资讯
    点击排行
    网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  粤ICP备2023022329号