項目概況
項目背景
舊數據時代,存儲主要面對數據庫、文件和流媒體等傳統(tǒng)應用,整體性能訴求較低。但在新興技術驅動下,存儲需面對云、大數據、AI等大規(guī)模數據應用型場景,挑戰(zhàn)日益嚴峻。
南京大學某課題組在人工智能科研中,正面臨著模型訓練數據的日益激增,其現存儲集群容量已達上限,傳統(tǒng)架構下的帶寬和IOPS也成為瓶頸,考慮到后期數據的持續(xù)性增長,課題組需對現有存儲集群進行改造及擴容。
解決方案
為助力客戶消除傳統(tǒng)存儲架構存在的性能瓶頸,進一步滿足人工智能場景下高帶寬、高并發(fā)的海量數據存取需求,超集信息為其部署了MatrixStore分布式存儲解決方案。
MatrixStore用數據通道與元數據通道分離的形式實現,且元數據服務器與數據存儲服務器可動態(tài)進行擴容,從而加大元數據服務器檢索能力及數據傳輸的性能。并且,元數據集群和存儲集群可以在線動態(tài)擴展,在擴展過程中無需中斷存儲系統(tǒng)上應用的運行,擴展的容量即插即用;擴容后數據自動遷移實現均衡,硬盤之間利用率差距不超過3%,充分發(fā)揮硬件性能。
客戶價值
通過MatrixStore構建的分布式存儲系統(tǒng),不僅助力消除了傳統(tǒng)存儲架構存在的性能瓶頸,為客戶提供了提供全局統(tǒng)一的存儲系統(tǒng)映像和按需調配的存儲資源池,而且規(guī)避了原有集群中,數據在歸集、預處理、訓練、推理流程中的算力等待問題,提升了整體資源利用效率,有效推進了科研進程。