石家庄网站app制作找网站设计公司

1、本地安装Dify

参考往期博客：https://guoqingru.blog.csdn.net/article/details/144683767

2、本地安装Ollama并解决跨越问题

参考往期博文：https://guoqingru.blog.csdn.net/article/details/144708318

安装完毕后，执行指令

ollama run internlm/internlm2.5:20b-chat

我拉取的是书生浦语的20B的大模型，大约需要39G显存，结合自身情况而定。
查看如下所示：

ollama list

测试接口：
python API访问

from ollama import Client
client = Client(host='http://192.168.4.21:11434',headers={'Content-Type': 'application/json'})
response = client.chat(model='internlm/internlm2.5:20b-chat', messages=[{'role': 'user','content': '天为什么是蓝色的',},
])print(response['message']['content'])print("---------------------------------------------------------")import requests,jsonurl = 'http://192.168.4.21:11434/api/generate'headers = {"Content-Type": "application/json"
}
data = {'prompt': '做一个自我介绍吧？','model': 'internlm/internlm2.5:20b-chat','stream': False
}response = requests.post(url, headers=headers, data=json.dumps(data))
print(response.text)

3、使用Dify搭建聊天助手

在步骤1安装完毕Dify后，浏览器输入：http://localhost/install即可访问Dify页面



进项如下设置

保存完毕后，回到如下页面

依次点击工作室 →创建空白应用


按照上述设置后，聊天助手边创建完毕，如下所示：

4、使用Dify搭建本地知识库

首先拉取嵌入模型

ollama pull bge-m3

打开Dify