開放資料時代的
綠色資料中心建置

NCUT IDC Experience

講師:勤益科大電算中心 朱孝國

2017-05-18 朝陽科大雲端運算課程M515教室 15:30-18:20

雲端架構的服務層次

雲端架構的服務層次

服務層次的包含關係

服務層次的包含關係

服務層次的自行管理程度

服務層次的自行管理程度

基礎架構即服務

基礎架構即服務
基礎架構即服務的實際配置

勤益科大
綠色資料中心建置緣由

  • 配合圖書資訊館之建設於98年落成
  • 規劃校園10Gbps骨幹網路
  • 機房面積約34坪,建置花費約2,800萬

圖書資訊館落成

新舊大樓對照

新舊機房對照

新舊機房對照

當年成效

  • 大專院校第一座綠色資料中心
  • 大專院校第一間導入10G光纖骨幹(CISCO VSS)
  • 13所綠色大學示範學校之中唯一公立學校
  • 本校資料中心實境導覽

資料中心指標評估

針對空調、電力、消防、網路、環控系統以及實體環境進行評估

  • 可靠性(Reliability):MTBF(Mean Time Between Failures)
  • 可服務性(Serviceability):MTTR(Mean Time to Repair)
  • 可用性(Availability):同時包括MTBF及MTTR

參考規範

  • 資料中心電信基礎設施標準(TIA-942)
  • 能源使用效率(PUE)
  • ISO-27001 ISMS資安規範
  • 政府機關及學校全面節能減碳措施

ANSI/TIA-942

  • TIA-942 規範定義了空調、電力、消防、網路以及實體環境等各個層面,分為4個層級(Rated 1 - Rated 4)
TIA-942 Rated 4

TIA-942 Rated1 - Rated4

  • Rated 1 基本的機電空調等基礎設施
  • Rated 2 機電空調需有備援機制
  • Rated 3 多迴路,無懼斷水斷電、設備維修仍可維持營運
  • Rated 4 容錯、即使設備故障,有一半無法運作,還有一半可以使用

TIA-942 Tier1 - Tier4

TIA-942 Tier1 - Tier4

能源使用效率 PUE

  • Green Grid 於 2007 年制定 PUE(Power Usage Effectiveness)為資訊機房能源使用效率評量指標
  • 藉由PUE的改善可省下每年高昂的電費
  • PUE值是一個會隨環境變化而變動的數值

PUE值的計算

PUE值的計算
  • PUE 值越大,代表耗用於冷卻空調、UPS等周邊的電力愈大,相對也就愈不節能
  • IT設備不包含UPS
PUE度量值的等級分類

ISO-27001 ISMS

ISMS (Information Security Management System)是一套有系統地分析和管理資訊安全風險的方法, 要達到 100% 的資訊安全是一種過高的期望,資訊安全管理的目標是透過控制方法,把資訊風險降低到可接受的程度內

ISO 27001 Logo

甚麼是資訊安全?

保護資訊資產的機密性、完整性與可用性

  • 機密性:資訊不可被未經授權的個人、實體或流程所取得或揭露
  • 完整性:確保資訊的準確與完整性
  • 可用性:資訊在需要時可被授權者存取及使用
ISMS Scope

ISO 27001的實體安全控制措施

  • 設定實體安全邊界
  • 進出人員管制措施
  • 設備安全管理與維護
  • 機房環境安全管理
ISMS Physical Security

設定實體安全邊界

  • 針對實體邊界的保護,必須依照週邊設施,根據其資產價值來決定保護措施的設置程度,以達到安全控管的目標
  • 設立實體隔離設施,並且加強燈光照明系統,並設置重點監視設備或保全人員巡邏

進出人員管制措施

  • 來訪人員應要求出示身份識別,並且記錄進出的日期與時間,並搭配監控錄影3個月
  • 來訪人員不應直接進入作業區域,若需進入作業管制區,須經由授權或專人陪同才能進入
  • 調職與離職人員,應取消其進入原工作區域之權限

設備安全管理與維護

  • 設備應放置在可監控的地點,並且提供足夠的電源供應,如不斷電系統與防火、水災的保護
  • 設備的維護必須由授權的維護人員來進行,若需送回廠商處維修時,也必須按照設備攜出之規定進行
  • 需要報廢與再使用之資訊設備,應進行如低階格式化的資料刪除與覆寫,以確保資料能完全清除

機房環境安全管理

  • 機房之安全設計需考慮採用如高架地板、隱藏佈線、地板承重度及排水、防火功能等
  • 機房使用之備援設備,應存放一定之安全距離,以避免災害發生時一併遭到損毀
  • 機房人員應熟悉緊急應變程序,並且實施定期演練及測試

政府機關及學校全面節能減碳措施

  • 新設或增修電腦機房,建議採用冷熱通道氣流模式,以降低冷熱空氣混合比例,減少空調用電
  • 電腦機房機櫃的入口溫度應介於20~25℃之間,相對濕度應介於40~55%之間
  • 電腦機房之不斷電系統應裝置適當容量或選用模組化設計

其他考量因素

  • IDC的投資效益評估:能耗為辦公室的100倍
  • 能耗為100kw的資料中心PUE值,如果能從2降到1.9,即使PUE值只降0.1,一年也可以節省30萬元的電費
  • 壞損及老舊設備淘汰不易、無法因負載增加而逐漸擴充、空間及線路規劃不佳而影響擴充時間
  • 效益分析能力不佳,造成的擴充不足或浪費

專案標的

  • 綠色資料中心
  • 校園骨幹網路(10Gbps)
  • 主機虛擬化(VMware 4)

綠色資料中心特色

  • 高安全性機房
  • 冷熱通道分離
  • 雙空調備援
  • 雙電力備援
  • 結構式配線
  • 隔離式控臺
  • 主機虛擬化

高安全性機房

  • 牆面內包銅箔有效阻隔電磁波干擾
  • 高架地板
  • 全方位環控(溫溼度、排水、電力、消防、門禁、氧氣濃度、能源利用效率...等)
  • 偵煙及偵熱雙迴路感知滅火設備(新海龍、三氟甲烷)

有效阻隔電磁波

牆面內包銅箔

全方位環控

環控系統

機房PUE

機房PUE

煙熱感知滅火設備

三氟甲烷

手動啟用滅火設備

手動啟用滅火設備

冷熱通道分離

  • 運用冷熱氣流分離並降低外氣交換率以達到低PUE值之高能源利用率,建置後為1.7左右
  • 舊式機房PUE值為3~4,代表新機房的電力消耗僅為舊式機房的一半

電算中心主機房

電算中心主機房

圖書館主機房

圖書館主機房

雙空調備援

  • 二台下吹水冷恆溫式空調,每台二顆壓縮機,溫度達24度開始運作,下探到22度則停止運作
  • 為避免缺水期冷卻水塔水源不足,另外安裝二座2對2分離式氣冷空調,溫度達28度時自動開啟

下吹水冷恆溫式空調
上吹氣冷式空調室外機
上吹氣冷式空調面板

雙電力備援

  • 機櫃雙電源電力配置,使用UPS與發電機並聯提供電力
  • 市電斷電先由UPS接手,60秒內改由發電機繼續供電
  • UPS採3座並聯冗餘(redundancy),使電力可靠度等級達到Tier2的水準

雙電力備援架構圖
UPS

結構式配線

  • 採高架式配線,減少氣流之阻擾,提升空調效果
  • 配線符合單一化、國際化、標準化原則,並兼顧擴充性與不同品牌間的結合性

高架式線槽

高架式線槽1
高架式線槽2

隔離式控臺

  • 管理人員透過IP KVM機制於OP室進行操作與監控伺服器,降低進出機房所造成之能源損耗
  • 視窗式監控系統及曲線圖,若數據異常自動簡訊通知

OP室

OP室

IP KVM

  • 瀏覽器相容性需注意
ipkvm

主機虛擬化

  • 導入時採用VMware 4.0,9台主機1G網路線6條(VMkernel、Console、VMnetwork各2條)
  • 目前採用VMware 6.0,4台主機10G網路線2條
  • 本校目前虛擬化比例95%

資源設定

  • 資源池、CPU、RAM的資源設定有:Limit(最多使用)、Reservation(最少保留)、Shares(權重)
  • VM 在相互競爭資源時才會使用到 Shares,在 VM 沒競爭時都可獨享所有資源
  • VM 在相互競爭資源但沒有設定 Reservation(最少保留) 時,會依照 Share 比重分配資源

虛擬化優點

  • 伺服器合併(Server Consolidation)後降低空間、網路、電力、空調與實體機器等管理與維護
  • 不因實體機器不同而與驅動程式奮戰,加速應用佈署
  • 實體機器故障時,服務自動移轉到別台 Host,提高服務可用性
  • 手動或自動將目前的服務不中斷地移轉到別台 Host,靈活調配資源

虛擬化缺點

  • 採購成本高:導入時投入的成本高,除了伺服器、儲存設備、網路與軟體的授權費用都不便宜
  • 建置困難:期初建置時,須具備相當的虛擬化專業知識
  • 人員訓練不易:相較於傳統一台實體機器就是一個服務的觀念,要管理虛擬化的機房上手不易
  • 若硬體不穩定則影響的服務較傳統大了許多

商用虛擬化的特點

Down arrow

高可用性(HA)

  • 實體機器故障時,服務自動移轉到別台 Host,會有短暫停機時間與些許的資料遺失的狀況
  • 仲裁管理軟體(vCenter)透過 Service Console 連線來偵測 Host 是否存活(Heartbeat)
    • High Availability

即時遷移(vMotion)

  • 在服務不中斷的狀況下,利用仲裁管理軟體(vCenter)手動將執行中的虛擬機從一部實體伺服器即時移轉至另一部伺服器上
  • 相同Cluster中 Host 的CPU型號、網路卡名稱與設定、儲存設備與連接的周邊裝置皆需一致
    • vMotion

動態資源管理(DRS)

  • 仲裁管理軟體(vCenter)為平衡跨資源叢集內所有 ESXi 主機的運算負載,會自動vMotion虛擬機
    • DRS

動態電源管理(DPM )

  • 讓 Host (ESXi Server)在CPU與記憶體資源皆耗用低時進入 Stand by 模式(ACPI S5),而在需要CPU與記憶體任一資源時透過網路喚醒(Wake On Lan ; WOL) 將 Host 召喚回來的一種節電技術
    • DPM Up arrow

本校資料中心後續調整參考

  • 冷卻水塔無水造成二座水冷空調失效之問題
  • 資料中心出入攝影存檔不足3個月之問題
  • 總電盤電表未能旁路連接造成維修電表時需中斷所有服務
  • 虛擬化主機當機影響服務運作之問題
  • 冷氣與UPS維修位置未能與主機房隔離之問題

結論

  • 資料中心的營運是基礎架構即服務(IaaS)的核心
  • 資料中心的生命週期長達30年
  • 資料中心的節能(電力、冷氣、主機虛擬化)須持續關注