当前位置: 首页 > news >正文

贵州网站公司百度关键词排名联系

贵州网站公司,百度关键词排名联系,asp企业营销型网站建设,如何做自己网站云播环境: qwen DeepSeek 问题描述: 如何将本地模型服务不可用,自动切换调用线上模型? 解决方案: 将本地模型调用部分封装到 qw.py,线上模型调用部分封装到 zx.py,并且在主程序 zj.py 中优先…

环境:

qwen

DeepSeek

问题描述:

如何将本地模型服务不可用,自动切换调用线上模型?
在这里插入图片描述

解决方案:

将本地模型调用部分封装到 qw.py,线上模型调用部分封装到 zx.py,并且在主程序 zj.py 中优先调用本地模型,若本地模型不可用则自动切换调用线上模型。

下面方案:


1. qw.py — 本地模型调用模块

import requests
from loguru import logger
import time
from typing import OptionalLOCAL_MODEL_API = "http://192.168.1.9:11434/v1/chat/completions"def summarize_with_local_model(text: str) -> Optional[str]:headers = {"Content-Type": "application/json"}payload = {"model": "qwen2.5-3bnsfwny","messages": [{"role": "user", "content": text}],"max_tokens": 512,"temperature": 0.25,"stream": False}try:logger.info("调用本地大模型接口,准备发送请求")start_time = time.time()r = requests.post(LOCAL_MODEL_API, headers=headers, json=payload, timeout=10)r.raise_for_status()logger.info(f"接口响应状态码:{r.status_code},耗时:{time.time() - start_time:.2f}秒")resp_json = r.json()content = resp_json.get("choices", [{}])[0].get("message", {}).get("content")logger.info(f"模型返回内容长度:{len(content) if content else 0}")logger.info(f"模型返回具体内容:{content}")return contentexcept requests.exceptions.Timeout:logger.error("调用本地大模型失败: 请求超时")return Noneexcept Exception as e:logger.error(f"调用本地大模型失败: {e}")return None

2. zx.py — 线上模型调用模块(示例)

假设线上 DeepSeek 模型接口类似,您需要根据实际接口调整:

import os
from openai import OpenAI
from loguru import logger
from typing import Optionalclient = OpenAI(api_key="your_real_api_key",base_url="https://ark.cn-beijing.volces.com/api/v3",
)def summarize_with_online_model(text: str) -> Optional[str]:"""调用线上DeepSeek的chat completion接口,非流式调用,返回模型文本内容,异常时返回None。"""try:logger.info("调用线上DeepSeek模型接口,准备发送请求")# 构造消息列表,您可以根据实际需求调整system prompt等messages = [{"role": "system", "content": "你是人工智能助手"},{"role": "user", "content": text},]completion = client.chat.completions.create(model="ep-20250602174215-fw5hx",messages=messages,stream=False)content = completion.choices[0].message.contentlogger.info(f"线上模型返回内容长度:{len(content) if content else 0}")logger.info(f"线上模型返回内容:{content}")return contentexcept Exception as e:logger.error(f"调用线上模型失败: {e}")return None

3. zj.py — 主逻辑,自动切换调用

from loguru import logger
from typing import Optionalimport qw  # 本地模型
import zx  # 线上模型def summarize(text: str) -> Optional[str]:# 优先调用本地模型logger.info("优先尝试调用本地模型")result = qw.summarize_with_local_model(text)if result:logger.info("本地模型调用成功,返回结果")return resultelse:logger.warning("本地模型不可用,切换调用线上模型")result_online = zx.summarize_with_online_model(text)if result_online:logger.info("线上模型调用成功,返回结果")return result_onlineelse:logger.error("线上模型调用也失败,无法获取结果")return None# 下面是使用示例
if __name__ == "__main__":test_text = "请告诉我今天北京的天气。"answer = summarize(test_text)if answer:print("模型回答:", answer)else:print("未能获取模型回答,请稍后重试。")

总结

  • 本地模型调用代码放 qw.py 里,包含请求和异常处理;
  • 线上模型调用代码放 zx.py,类似结构,替换接口地址和认证信息;
  • 主程序 zj.py 负责调用本地模型,失败时自动切换调用线上模型;
  • 方便维护,且切换逻辑集中管理。

http://www.dinnco.com/news/10053.html

相关文章:

  • 番禺开发网站费用河南seo技术教程
  • 网站建设有哪些渠道疫情最新官方消息
  • abundance酷黑购物wordpress主题韩国seocaso
  • html5餐饮美食订餐微官网wap手机网站模板整站下载百度站长工具收费吗
  • 做网站需要那些编程语言北京seo软件
  • 做鸭子的网站青岛网站排名公司
  • 做网站的客户需求免费留电话的广告
  • 微网站开发用什么软件企业网站的主要类型有
  • c语言做网站后台服务企业产品营销策划推广
  • 软件网站开发平台做外贸怎么推广
  • 网站站长seo推广好看的web网页
  • 宜春做网站2022年可以打开的网址
  • 有公司可以做网站升级ipv6寻找客户的渠道和方法
  • 网站模块是指什么地方淘宝的关键词排名怎么查
  • 仿webqq织梦管理网站后台模板长春网站seo
  • 外国做的福利小视频在线观看网站公司软文代写
  • 做ktv的网站百度网盘免费下载
  • 济宁网络seo基础教程
  • 女式包包网站建设定位网站建设明细报价表
  • 门户网站建设开发怎么自己开网站
  • 两个男性做网站汕头seo优化培训
  • 新手如何做淘宝运营抖音关键词排名优化
  • reactjs 做的网站网站注册搜索引擎的目的是
  • 泉州网站建设公司首选公司哪家好搜索图片识别出处百度识图
  • 通辽做家教的网站郑州百度推广开户
  • 简单网站建设的费用网站代运营价格
  • php做视频网站有哪些软件下载谷歌优化教程
  • 织梦做的网站页面打不开找客源免费用哪个软件好
  • 企业营销策划案例seol英文啥意思
  • 建网站 需要签署协议seo专员工资一般多少