勤益科大綠色資料中心
建置經驗分享

NCUT IDC Experience

講師:勤益科大電算中心 朱孝國

2017-05-10 Digitimes企業機房論壇101會議廳 16:30-17:00

綠色資料中心建置緣由

  • 配合圖書資訊館之建設於98年落成
  • 規劃校園10Gbps骨幹網路
  • 機房面積約34坪,建置花費約2,800萬
  • 本校資料中心實境導覽

圖書資訊館落成

新舊大樓對照

新舊機房對照

新舊機房對照

當年成效

  • 大專院校第一座綠色資料中心
  • 大專院校第一間導入10G光纖骨幹(CISCO VSS)
  • 13所綠色大學示範學校之中唯一公立學校

建置參考

  • TIA-942 機房規範的Rated-3
  • PUE 能源使用效率達2以下
  • ISO-27001 ISMS資安規範
  • 內政部推動節能減碳措施執行計畫

專案標的

  • 綠色資料中心
  • 校園骨幹網路(10Gbps)
  • 主機虛擬化(VMware 4)

綠色資料中心特色

  • 高安全性機房
  • 冷熱通道分離
  • 雙空調備援
  • 雙電力備援
  • 結構式配線
  • 隔離式控臺
  • 主機虛擬化

高安全性機房

  • 牆面內包銅箔有效阻隔電磁波干擾
  • 全方位環控(溫度、溼度、排水、電力、節能、門禁、氧氣濃度、能源利用效率...等)
  • 煙熱感知滅火設備(新海龍、三氟甲烷)

有效阻隔電磁波

牆面內包銅箔

全方位環控

機房總電力監控

煙熱感知滅火設備

三氟甲烷

手動啟用滅火設備

手動啟用滅火設備

冷熱通道分離

  • 運用冷熱氣流分離並降低外氣交換率以達到低PUE值之高能源利用率,建置後為1.7左右
  • 舊式機房PUE值為3~4,代表新機房的電力消耗僅為舊式機房的一半

電算中心主機房

電算中心主機房

圖書館主機房

圖書館主機房

能源使用效率

  • Power Usage Effectiveness =
    資料中心總用電 / IT設備總用電
  • PUE 值越低代表機房的空調能源利用率越高

雙空調備援

  • 二台下吹水冷恆溫式空調,每台二顆壓縮機,溫度達24度開始運作,下探到22度則停止運作
  • 為避免缺水期冷卻水塔水源不足,另外安裝二座2對2分離式氣冷空調,溫度達28度時自動開啟

下吹水冷恆溫式空調
上吹氣冷式空調室外機
上吹氣冷式空調面板

雙電力備援

  • 機櫃雙電源電力配置,使用UPS與發電機並聯提供電力
  • 市電斷電先由UPS接手,60秒內改由發電機繼續供電
  • UPS僅需20多分鐘蓄電量,可降低UPS蓄電量之需求,減少電池汰換所造成之環境汙染

雙電力備援架構圖
UPS

結構式配線

  • 採高架式配線,減少氣流之阻擾,提升空調效果
  • 配線符合單一化、國際化、標準化原則,並兼顧擴充性與不同品牌間的結合性

高架式線槽

高架式線槽1
高架式線槽2

隔離式控臺

  • 管理人員透過IP KVM機制於OP室進行操作與監控伺服器,降低進出機房所造成之能源損耗
  • 視窗式監控系統及曲線圖,若數據異常自動簡訊通知

OP室

OP室

IP KVM

  • 瀏覽器相容性需注意
ipkvm

主機虛擬化

  • 導入時採用VMware 4.0,9台主機1G網路線6條(VMkernel、Console、VMnetwork各2條)
  • 目前採用VMware 6.0,4台主機10G網路線2條
  • 本校目前虛擬化比例95%

資源設定

  • 資源池、CPU、RAM的資源設定有:Limit(最多使用)、Reservation(最少保留)、Shares(權重)
  • VM 在相互競爭資源時才會使用到 Shares,在 VM 沒競爭時都可獨享所有資源
  • VM 在相互競爭資源但沒有設定 Reservation(最少保留) 時,會依照 Share 比重分配資源

虛擬化優點

  • 伺服器合併(Server Consolidation)後降低空間、網路、電力、空調與實體機器等管理與維護
  • 不因實體機器不同而與驅動程式奮戰,加速應用佈署
  • 實體機器故障時,服務自動移轉到別台 Host,提高服務可用性
  • 手動或自動將目前的服務不中斷地移轉到別台 Host,靈活調配資源

虛擬化缺點

  • 採購成本高:導入時投入的成本高,除了伺服器、儲存設備、網路與軟體的授權費用都不便宜
  • 建置困難:期初建置時,須具備相當的虛擬化專業知識
  • 人員訓練不易:相較於傳統一台實體機器就是一個服務的觀念,要管理虛擬化的機房上手不易
  • 若硬體不穩定則影響的服務較傳統大了許多

商用虛擬化的特點

Down arrow

高可用性(HA)

  • 實體機器故障時,服務自動移轉到別台 Host,會有短暫停機時間與些許的資料遺失的狀況
  • 仲裁管理軟體(vCenter)透過 Service Console 連線來偵測 Host 是否存活(Heartbeat)
    • High Availability

即時遷移(vMotion)

  • 在服務不中斷的狀況下,利用仲裁管理軟體(vCenter)手動將執行中的虛擬機從一部實體伺服器即時移轉至另一部伺服器上
  • 相同Cluster中 Host 的CPU型號、網路卡名稱與設定、儲存設備與連接的周邊裝置皆需一致
    • vMotion

動態資源管理(DRS)

  • 仲裁管理軟體(vCenter)為平衡跨資源叢集內所有 ESXi 主機的運算負載,會自動vMotion虛擬機
    • DRS

動態電源管理(DPM )

  • 讓 Host (ESXi Server)在CPU與記憶體資源皆耗用低時進入 Stand by 模式(ACPI S5),而在需要CPU與記憶體任一資源時透過網路喚醒(Wake On Lan ; WOL) 將 Host 召喚回來的一種節電技術
    • DPM Up arrow

本校資料中心後續調整參考

  • 冷卻水塔無水造成二座水冷空調失效之問題
  • 資料中心出入攝影存檔不足3個月之問題
  • 總電盤電表未能旁路連接造成維修電表時需中斷所有服務
  • 虛擬化主機當機影響服務運作之問題
  • 冷氣與UPS固定維修位置未能與主機房隔離之問題

課後問題

本校資料中心的環控可監控之項目有哪些?