Hello, My Enterprise Cutover
企業級系統上線:從 Infra 到壓力測試的實戰筆記
大型專案最難的,往往不是把功能做出來,而是把已經在跑的舊系統,在客戶要求不中斷服務的前提下,換成新系統。
我平常寫的是應用,不是專職 Infra。只是做事偏一條龍,待過的又多是系統整合型團隊,主機、備援、資安、壓測、上線移轉自然都會碰到。這篇把那一段經驗收成一份筆記。
無痛上線之所以難,是因為平台本來就不單純
這類管理平台通常同時要扛:
- 資料規模:資產/紀錄可到十萬筆等級;匯出、地圖或清單分析都是大資料量操作
- 業務鏈:對外入口、管理後台、預警、工單/派工、現場 APP
- 設備鏈:大量邊緣裝置的上線/失聯、排程控制、協定介接
- 驗收門檻:同時上線人數、回應時間、連線數承載、資安檢測,常寫進規格書
所以系統不只是「前後端分離」,而是 管理平台 + 資料流 + 地端機房 + 上線移轉 一起設計。
一、主機網路架構:先把服務切乾淨
新系統規劃時,我習慣先把角色拆開,再決定實體機與 VM 怎麼擺:
1 | 對外入口(NAT / Firewall) |
實務上常見「兩台實體伺服器、各自多台 VM」的第一階段測試架構,例如:
| 角色 | 內容 | 備註 |
|---|---|---|
| 前端 UI | Web 管理介面 / 對外服務 | 跨兩台實體機互備 |
| API / 設備介接 | 業務 API、協定閘道、投票節點 | 與 UI 分開,避免互相拖垮 |
| DB 備援 | 關聯式/文件型 DB cluster | 外接儲存、獨立 VIP |
重點不是機型型號,而是這三件事:
- UI 與 API 分離:查詢與畫面吃前端;設備與批次作業吃 API
- VIP + Server Load Balance:單機掛了,流量還能打到另一邊
- 測試/正式分階段:先用測試環境驗證切換流程,再指向正式主機,並保留獨立測試網域
這跟我在《Respect the Flow》寫的一樣:環境角色一旦混掉,後面的壓力測試與上線驗證都會失真。
二、備援:已經做到的,與還能加強的
地端機房常見的「已落地」能力通常包含:
- WAN Load Balance
- Server Load Balance
- Boot Disk RAID1
- External Storage RAID6(NAS / SAN)
若要再往上,規劃時我會討論:
- 遠端再備一套虛擬化管理(例如第二套 vCenter)
- 同規格實體機 + 外接儲存作為異地硬體備援
- 雲端暖備:平時維持可啟動的最小架構(有固定成本、少傳輸成本);地端災變時再把流量切過去(此時才產生 IO 成本)
備援規劃的本質不是買兩倍機器,而是先回答:
壞的是單機、機櫃、機房,還是整區網路?每一層你要多久恢復、資料能丟多少?
三、資安:要能講得出「做了什麼」
資安不能只寫「有防火牆」。企業級交付至少要對得上這些執行項:
已常見落地
- Firewall Policy
- 帳戶/權限管理
- 網路分段(管理網 / 服務網分離)
- 網路監控與定期更新
驗收與強化常被點名的缺口
- 對外服務是否全面 HTTPS(不要還停在 http)
- 敏感資料是否有金鑰加密
- 原始碼安全:SQL Injection、XSS、OWASP 常見弱點檢測
- 上線後可再安排第三方資安健診
規格書通常還會要求:密碼強度與週期、登入失敗處理、適當 log 供稽核、禁止未授權軟體與後門。對開發者來說,這不是「加分項」,而是交付清單的一部分——跟我寫 API Validation 的立場一致:對外邊界必須由後端自己守住。
四、上線規劃:目標是「無痛轉移」
新舊系統切換的大方向通常長這樣:
- 舊系統資料盤點(格式、帳號、網域、IP、功能與規格差異)
- 匯入匯出格式對齊,必要時做資料瘦身
- 平行運作:新舊同步一段過渡期(常見以數個月計)
- Domain / 機房交換:舊系統先移出騰出機房,新系統進駐
- 舊系統保留還原路徑:出問題先能退回,再談優化
流程可以濃縮成一句話:
1 | 舊系統外移 → 地端切換新系統 → 舊系統收斂為備援 → 確認穩定後下線 |
上線前驗證 checklist 我會特別盯:
- 資料移轉前後筆數比對 + 實際畫面讀取既有資料
- 系統黑箱測試
- 硬體資源觀測(RAM 高峰、磁碟、連線數)
- 回歸測試演練
- 壓力測試:先假資料,再真資料
- APP/現場流程驗證
客戶端協作也要提前列進 Todo:正式網域申請、內部 IP 策略、帳號申請流程、哪些項目要對方 IT 協助。軟體團隊若只顧開發,不管「誰申請 Domain」,上線日一定卡關。
五、壓力測試:規格數字要變成可重現的證據
壓力測試不是「感覺很快」,而是對齊規格書門檻,例如:
| 項目 | 門檻(示意) |
|---|---|
| 前台同時上線 | ≥ 200 人 |
| 後台同時上線 | ≥ 50 人 |
| 回應時間 | 多數操作 3 秒內;更嚴格條款可能要求 90% ≤ 3s、最長 ≤ 6s |
| 大量連線 | 同時約 1000 連線,多數存取於 5 秒內回應 |
我們用 k6 產出可交付的報告欄位:測試日期、成功率、錯誤數、http_req_duration、http_req_waiting(p90)等。實測經驗裡,規格門檻往往「過得了」;真正難的是業務真實場景:
1. 同時上線人數 ≠ 真實痛點
200 / 50 人同時在線,很多 API 的 p90 可能只有數十毫秒。
但 大範圍地圖查詢、數萬筆設備清單、十萬筆級匯出,才會把系統打進瓶頸。
2. 資料量場景要比「虛擬使用者數」更貼現場
實務會補測:
- 大量裝置異常/失聯事件:五萬、八萬、十六萬筆等級,看系統會不會垮、告警能否正確產生
- 工單/清單同時查詢
- 匯出改成排程非同步(先回「已加入排程」,避免同步下載把 Web 卡死)
- 批次遠端控制:多群組、多組排程同時下發
3. 報告要誠實標註限制
例如「無法模擬不同來源 IP,但同時間 N 人併發比跨地點更嚴」;或「資料更新週期無法單靠壓測完全證明,只能量測回應時間」。驗收現場比較吃這類可追溯說明,而不是只貼一張全綠的表。
六、帶走的工程結論
- 架構:先把服務切乾淨:UI / API / DB / 設備介接分開,再談 VIP 與測試/正式分階段。
- 備援:先盤點已做到與可加強:Load Balance、RAID 做到哪,下一層異地或雲端暖備還缺什麼。
- 資安:要寫成現況/缺口:已做到什麼、可加強什麼,比空泛原則有用。
- 上線:是專案,不是 deploy 指令:資料、網域、帳號、機房、還原路徑都要有 owner。
- 壓測:要分兩層:規格門檻(過門)+ 業務尖峰(過生活)。
結語
回頭看,客戶要的其實很單純:服務不要斷。
要做到這句話,不能等到要上線那天,才趕著補報告。架構怎麼切、壞了怎麼備、資安交什麼、壓測怎麼驗、出問題怎麼退——這些最好在過渡期就先談完、先跑過。
功能當然還是要寫;只是新舊系統對切的那天,決定成敗的往往不只是功能。