客户想解决什么问题
客户希望在自有机房内建立可控的大模型推理能力，核心模型、调用链路和运行日志均留在企业网络中。现场环境不依赖互联网，模型权重、Python 依赖、系统安装包和容器镜像均需提前准备并完成离线迁移。
为保护客户隐私，本案例不公开企业名称、业务域名、人员信息、服务器地址和内部安全配置。本文只呈现经脱敏的架构、实施方法和测试结论。
这次实施解决了哪些难题
16张H200分布在两台推理节点，需要核验IB/RoCE链路并降低跨节点通信对推理的影响。
权重、依赖和镜像必须在外部准备，经离线介质进入客户内网，并保留完整性校验证据。
可用显存无法同时承载全部目标模型，需要设计单模型在线、按需切换和显存回收机制。
不仅要把模型跑起来，还需提供统一接口、进程守护、启动恢复和可重复验证的测试工具。
业务工具怎样连接到模型
- vLLM 直接运行在宿主机，减少额外封装对推理性能的影响。
- Ray 负责两台服务器之间的分布式调度，承载 GLM-5.2-FP8。
- LiteLLM 对上提供统一的 OpenAI 兼容入口，屏蔽底层模型切换差异。
- Hermes Agent 采用集中部署和多用户工作空间，为研发人员提供受控调用环境。
不联网怎样安装，之后怎样维护
检查设备和连接
核对GPU、驱动、PCIe拓扑及IB/RoCE链路，完成跨节点带宽检查。
检查模型文件有没有损坏
模型权重在传输前后分别计算SHA256，确保离线迁移过程未发生损坏。
开机启动与异常恢复
通过systemd实现Ray与vLLM开机自启、异常重启及标准化启停。
交付文档
沉淀部署架构、启动配置、功能测试证据及现场操作说明。
装好后，我们检查了什么
项目已执行的六项基础功能测试全部通过，未出现失败项；授权故障注入项目因默认禁用而未纳入本轮结论。
- 模型列表接口可正常返回目标模型。
- 非流式对话内容和结束状态正常。
- SSE事件完整、顺序正确并正常结束。
- 多轮上下文保持一致，独立会话未发生上下文串扰。
- 四路并发流均完整，请求标识未发生混淆。
上述数据属于已完成的基础功能验证与验收记录；性能基准、长上下文和并发调优仍应以约定的测试条件、客户业务负载和正式验收材料为准。
与律所场景的关系
本案例交付的离线部署、统一调用接口（OpenAI 兼容）和权限受控工作环境（Hermes Agent 多用户工作空间），可直接用于律所的资料检索与权限控制：模型和资料留在律所自己的网络内，每位使用者都在约定的边界内操作。
卷宗与合同入库、按案件与人员的权限映射、检索质量验收和回答可追溯性，属于在此基础之上的增量工作。集思乐尚未完成律所项目的交付验收，本案例证明的是部署与权限受控能力，不作为行业成果。
公司需要运行较大的 AI 模型？
告诉我们想让多少人使用、处理什么资料、现在有哪些设备，我们会先判断需要怎样的配置，再讨论安装和检查方法。