如果业务直接连接某台模型服务器，任何升级和维修都会影响使用。生产级平台需要在业务与节点之间增加服务发现、负载均衡和健康检查。
本文要点
- 业务只访问统一服务地址
- 节点上线前通过健康检查
- 维护节点先停止接收新请求再排空任务
- 扩容、缩容和故障切换保留完整记录
先解除业务与单节点绑定
上层应用不应记录具体服务器地址，而应调用统一网关。网关根据模型能力、节点状态和负载选择可用服务。
维修要有“摘流量”过程
需要维护的节点先标记为不可接新任务，等待现有请求完成后再下线。维修结束后经过模型加载、预热和健康检查，确认稳定再恢复流量。
扩容不等于简单加机器
新节点还涉及模型文件、框架版本、驱动环境、权限配置和监控接入。标准化镜像与配置可以减少不同节点之间的差异。
结合实际项目落地
冠唐AI基座通过统一服务入口、负载均衡和节点调度，为模型扩容、维修和故障切换保留不中断业务的空间。
常见问题
负载均衡能保证绝对不停机吗？
不能做绝对承诺，但合理的冗余、健康检查和排空机制能显著降低维护影响。
只有两台服务器能做高可用吗？
可以建立基础冗余，但还要评估共享存储、网络和管理服务是否存在单点。