人工智能AI本地大模型系列（七）Dify知识库之使用网站内容作为语料库

上文《人工智能AI本地大模型系列（六）Dify知识库之使用nation语料库》我们介绍了使用nation自定义语料库，这里的话我们再介绍下使用第三方站点来作为语料库的输入使用大模型。下面直接开始。

一、FireCrawl创建秘钥

使用第三方网站的话，这块需要借助FireCrawl，因为第三方网站不是一份能完全适配的markdown预料信息，所以这里需要借助FireCrawl把内容抓取之后，转换成markdown的格式来使用。

首先进入到FireCrawl官网，他通用免费的和付费的，我们使用免费的即可：

直接登录进去：

看到右上方的秘钥了吗？把它复制出来。

二、Dify创建预料

进入到dify界面，点击知识库，创建知识库，选择同步自web站点

把刚才的秘钥配置进去：

这里的base url不用填写，直接保存即可。

然后退出来，配置使用Firecrawl进行抓取，这里我们用 https://www.80wz.com/qasjk/4928.html  这个地址试试：

点击运行，直接进行抓取

可以看到抓取成功了，然后直接保存即可。

三、测试语料库

接着进入dify刚才创建的聊天机器人，选择上下文，添加上刚才的站点信息，进行测试：

以上就是使用第三方站点的内容作为语料库使用的案例。