很多同学在学习大模型的时候会涉及到本地的服务器配置比较低,没有gpu等困难,如果在服务器上同时部署dify+大模型的话,会导致使用的时候服务器卡死,非常慢,导致体验非常差,所以本文我们来介绍下在本地部署dify集成硅基流动的免费大模型API,实现本地轻松构建大模型应用。
一、部署dify
关于dify的部署,本站之前的文中已介绍过了,大家可参考《Dify安装》。
二、配置硅基流动
整个硅基流动的配置分为多个步骤,下面分别介绍下:
1)登录硅基流动官网
这里可以登录硅基流动的官网:硅基流动官网。
2)注册登录
点击硅基流动官网的右上角登录,输入手机号码即可完成登录。
登录进来后界面如下:
3)创建API秘钥
接下来我们点击左侧的API秘钥
在这里新建一个秘钥即可
4)dify配置硅基流动
接下来需要再dify中配置硅基流动的大模型了,点击左上角的账号->设置
选择模型供应商:
搜索"siliconFlow",往下拖最后一个就是硅基流动:
备注:
1、这里使用中文硅基流动是搜索不出来这个模型的,只能使用英文搜索,后续dify可能会修改掉这个bug。
然后点击安装硅基流动
安装完之后,可以在待配置列表中看到硅基流动安装完成了,并且是待配置状态
点击右侧的设置,把刚才创建的硅基流动的api填写进去:
保存即可。
三、使用硅基流动
前面我们已经配置好了硅基流动,然后我们就可以在使用llm的时候,切换硅基流动的大模型了,如下图:
以上就是关于dify集成硅基流动大模型的示例,是不是非常方便,可以在比较低配置的服务器上做我们的大模型应用。
还没有评论,来说两句吧...