Hello, My Enterprise Cutover

企業級系統上線:從 Infra 到壓力測試的實戰筆記

大型專案最難的,往往不是把功能做出來,而是把已經在跑的舊系統,在客戶要求不中斷服務的前提下,換成新系統。

我平常寫的是應用,不是專職 Infra。只是做事偏一條龍,待過的又多是系統整合型團隊,主機、備援、資安、壓測、上線移轉自然都會碰到。這篇把那一段經驗收成一份筆記。


無痛上線之所以難,是因為平台本來就不單純

這類管理平台通常同時要扛:

  • 資料規模:資產/紀錄可到十萬筆等級;匯出、地圖或清單分析都是大資料量操作
  • 業務鏈:對外入口、管理後台、預警、工單/派工、現場 APP
  • 設備鏈:大量邊緣裝置的上線/失聯、排程控制、協定介接
  • 驗收門檻:同時上線人數、回應時間、連線數承載、資安檢測,常寫進規格書

所以系統不只是「前後端分離」,而是 管理平台 + 資料流 + 地端機房 + 上線移轉 一起設計。


一、主機網路架構:先把服務切乾淨

新系統規劃時,我習慣先把角色拆開,再決定實體機與 VM 怎麼擺:

1
2
3
4
5
6
7
8
9
10
對外入口(NAT / Firewall)
│
Load Balancer (VIP)
┌────┴────┐
│ │
前端 UI API / 設備介接
│ │
└────┬────┘
DB Cluster
(主備 / 投票節點)

實務上常見「兩台實體伺服器、各自多台 VM」的第一階段測試架構,例如:

角色 內容 備註
前端 UI Web 管理介面 / 對外服務 跨兩台實體機互備
API / 設備介接 業務 API、協定閘道、投票節點 與 UI 分開,避免互相拖垮
DB 備援 關聯式/文件型 DB cluster 外接儲存、獨立 VIP

重點不是機型型號,而是這三件事:

  1. UI 與 API 分離:查詢與畫面吃前端;設備與批次作業吃 API
  2. VIP + Server Load Balance:單機掛了,流量還能打到另一邊
  3. 測試/正式分階段:先用測試環境驗證切換流程,再指向正式主機,並保留獨立測試網域

這跟我在《Respect the Flow》寫的一樣:環境角色一旦混掉,後面的壓力測試與上線驗證都會失真。


二、備援:已經做到的,與還能加強的

地端機房常見的「已落地」能力通常包含:

  • WAN Load Balance
  • Server Load Balance
  • Boot Disk RAID1
  • External Storage RAID6(NAS / SAN)

若要再往上,規劃時我會討論:

  • 遠端再備一套虛擬化管理(例如第二套 vCenter)
  • 同規格實體機 + 外接儲存作為異地硬體備援
  • 雲端暖備:平時維持可啟動的最小架構(有固定成本、少傳輸成本);地端災變時再把流量切過去(此時才產生 IO 成本)

備援規劃的本質不是買兩倍機器,而是先回答:

壞的是單機、機櫃、機房,還是整區網路?每一層你要多久恢復、資料能丟多少?


三、資安:要能講得出「做了什麼」

資安不能只寫「有防火牆」。企業級交付至少要對得上這些執行項:

已常見落地

  • Firewall Policy
  • 帳戶/權限管理
  • 網路分段(管理網 / 服務網分離)
  • 網路監控與定期更新

驗收與強化常被點名的缺口

  • 對外服務是否全面 HTTPS(不要還停在 http)
  • 敏感資料是否有金鑰加密
  • 原始碼安全:SQL Injection、XSS、OWASP 常見弱點檢測
  • 上線後可再安排第三方資安健診

規格書通常還會要求:密碼強度與週期、登入失敗處理、適當 log 供稽核、禁止未授權軟體與後門。對開發者來說,這不是「加分項」,而是交付清單的一部分——跟我寫 API Validation 的立場一致:對外邊界必須由後端自己守住。


四、上線規劃:目標是「無痛轉移」

新舊系統切換的大方向通常長這樣:

  1. 舊系統資料盤點(格式、帳號、網域、IP、功能與規格差異)
  2. 匯入匯出格式對齊,必要時做資料瘦身
  3. 平行運作:新舊同步一段過渡期(常見以數個月計)
  4. Domain / 機房交換:舊系統先移出騰出機房,新系統進駐
  5. 舊系統保留還原路徑:出問題先能退回,再談優化

流程可以濃縮成一句話:

1
舊系統外移 → 地端切換新系統 → 舊系統收斂為備援 → 確認穩定後下線

上線前驗證 checklist 我會特別盯:

  • 資料移轉前後筆數比對 + 實際畫面讀取既有資料
  • 系統黑箱測試
  • 硬體資源觀測(RAM 高峰、磁碟、連線數)
  • 回歸測試演練
  • 壓力測試:先假資料,再真資料
  • APP/現場流程驗證

客戶端協作也要提前列進 Todo:正式網域申請、內部 IP 策略、帳號申請流程、哪些項目要對方 IT 協助。軟體團隊若只顧開發,不管「誰申請 Domain」,上線日一定卡關。


五、壓力測試:規格數字要變成可重現的證據

壓力測試不是「感覺很快」,而是對齊規格書門檻,例如:

項目 門檻(示意)
前台同時上線 ≥ 200 人
後台同時上線 ≥ 50 人
回應時間 多數操作 3 秒內;更嚴格條款可能要求 90% ≤ 3s、最長 ≤ 6s
大量連線 同時約 1000 連線,多數存取於 5 秒內回應

我們用 k6 產出可交付的報告欄位:測試日期、成功率、錯誤數、http_req_duration、http_req_waiting(p90)等。實測經驗裡,規格門檻往往「過得了」;真正難的是業務真實場景:

1. 同時上線人數 ≠ 真實痛點

200 / 50 人同時在線,很多 API 的 p90 可能只有數十毫秒。
但 大範圍地圖查詢、數萬筆設備清單、十萬筆級匯出,才會把系統打進瓶頸。

2. 資料量場景要比「虛擬使用者數」更貼現場

實務會補測:

  • 大量裝置異常/失聯事件:五萬、八萬、十六萬筆等級,看系統會不會垮、告警能否正確產生
  • 工單/清單同時查詢
  • 匯出改成排程非同步(先回「已加入排程」,避免同步下載把 Web 卡死)
  • 批次遠端控制:多群組、多組排程同時下發

3. 報告要誠實標註限制

例如「無法模擬不同來源 IP,但同時間 N 人併發比跨地點更嚴」;或「資料更新週期無法單靠壓測完全證明,只能量測回應時間」。驗收現場比較吃這類可追溯說明,而不是只貼一張全綠的表。


六、帶走的工程結論

  1. 架構:先把服務切乾淨:UI / API / DB / 設備介接分開,再談 VIP 與測試/正式分階段。
  2. 備援:先盤點已做到與可加強:Load Balance、RAID 做到哪,下一層異地或雲端暖備還缺什麼。
  3. 資安:要寫成現況/缺口:已做到什麼、可加強什麼,比空泛原則有用。
  4. 上線:是專案,不是 deploy 指令:資料、網域、帳號、機房、還原路徑都要有 owner。
  5. 壓測:要分兩層:規格門檻(過門)+ 業務尖峰(過生活)。

結語

回頭看,客戶要的其實很單純:服務不要斷。

要做到這句話,不能等到要上線那天,才趕著補報告。架構怎麼切、壞了怎麼備、資安交什麼、壓測怎麼驗、出問題怎麼退——這些最好在過渡期就先談完、先跑過。

功能當然還是要寫;只是新舊系統對切的那天,決定成敗的往往不只是功能。