叢集設計重點
GPU數量不是唯一指標，網絡拓撲、模型構建、上下文和調度方式共同決定可用效能。
確認權重精度、KV快取、並發和上下文預算。
核驗IB/RoCE鏈路、拓撲和實際通訊頻寬。
選擇張量、流水線或資料並行策略。
提供鑒權、限流、路由、日誌和模型切換。
生產交付要求
把故障和恢復納入驗收，而不是只測試正常請求。
支援開機恢復、異常重啟和標準化啟停。
涵蓋GPU、網絡、程序、請求與容量趨勢。
測量首字延遲、輸出速率、並發和長上下文。
保留版本、配置、測試證據、備份與回滾。
先確認業務目標，再決定模型與算力
告訴我們目標模型、使用者規模、資料邊界和現有環境，我們將梳理容量邊界、實施路線與驗收標準。