【文/觀察者網(wǎng) 周遠方 編輯/尹哲】

7月9日，在2021世界人工智能大會(WAIC2021)上，上海交通大學與華為公司聯(lián)合發(fā)布了“數(shù)據(jù)密集型超算示范中心”。這是雙方繼4月份聯(lián)合成立“高性能計算&存儲技術聯(lián)合創(chuàng)新中心”以來的又一重磅合作。

上海交通大學黨委常委、副校長奚立峰，上海交通大學網(wǎng)絡信息中心副主任林新華，華為數(shù)據(jù)存儲與機器視覺產(chǎn)品線總裁周躍峰博士等嘉賓出席并見證。

上海交大與華為聯(lián)合發(fā)布“數(shù)據(jù)密集型超算示范中心”

何謂“數(shù)據(jù)密集型超算”？

華為數(shù)據(jù)存儲與機器視覺產(chǎn)品線總裁周躍峰介紹，近年來，隨著新技術的應用和新興業(yè)務的快速發(fā)展，超算業(yè)務發(fā)生了重大改變，現(xiàn)在參與計算的數(shù)據(jù)越來越多，比如說一輛自動駕駛汽車，每天訓練所需數(shù)據(jù)大約60 TB，衛(wèi)星遙感遙測、天氣預報預測等等領域的超級計算需要大量的數(shù)據(jù)參與存儲計算，傳統(tǒng)的超算架構，已經(jīng)遠遠不能夠滿足現(xiàn)在新型應用的需求。這也是“數(shù)據(jù)密集型超算”這一創(chuàng)新理念的由來。

上海交通大學網(wǎng)絡信息中心副主任林新華介紹，所謂“數(shù)據(jù)密集型超算”是相對于傳統(tǒng)超算而言的。在本世紀初，配置超算時，存儲基本上是計算系統(tǒng)的附屬品，一般會花60%-70%的精力來配置CPU、網(wǎng)絡等等，最后再花10%-20%的精力配置調(diào)試數(shù)據(jù)和文件系統(tǒng)。

但是，從近10年的發(fā)展來看，數(shù)據(jù)的重要性慢慢超過了算力本身。以一個比較通俗的例子來說，如果某一天我們的手機丟了，可能最焦慮的是手機上的數(shù)據(jù)丟了，手機本身可能也會讓人心痛，但硬件是可以用錢買到的，而數(shù)據(jù)丟了可能會很麻煩。所以，以數(shù)據(jù)為中心打造算力的理念，現(xiàn)在變越來越重要。

數(shù)據(jù)密集型超算以數(shù)據(jù)為核心來打造算力，我們先配置好一個數(shù)據(jù)量在20P左右的龐大的數(shù)據(jù)池，不管是x86的算力平臺還是arm的算力平臺，都可以插入數(shù)據(jù)池中。底層的數(shù)據(jù)池是穩(wěn)定的，也可以擴容，算力可以靈活配置，這樣，不管是對用戶還是運維來說，都帶來極大的便利性。

對用戶來說，有時候有些數(shù)據(jù)需要用不同的算力計算，有時候需要用x86算完以后，再用人工智能來算，過去，這只能把大量數(shù)據(jù)從一臺超算拷貝到另一臺超算，非常麻煩，現(xiàn)在，數(shù)據(jù)池是統(tǒng)一的，算力只是上面插入的一個工具，可以隨時切換?！斑@就好比吃飯”，林新華說，“不同的算力相當于勺子、叉子、筷子，不管用什么工具，關鍵是要吃到下面的飯”。

對運維來說，過去，如果配置了一臺新的超算系統(tǒng)，就必需把老的系統(tǒng)上的數(shù)據(jù)都遷移到新的系統(tǒng)，對超算動輒數(shù)百TB，甚至PB的數(shù)據(jù)量來說，這個過程費時費力，還很有可能造成數(shù)據(jù)錯誤。數(shù)據(jù)密集型超算從理念上顛覆了這種方式，數(shù)據(jù)層不需要動，算力就像插件一樣，可以根據(jù)需要插入和調(diào)換。

對存儲提出更高要求

雖然說數(shù)據(jù)密集型超算的便利性顯而易見，但從存儲技術上，就提出了很高的要求。

林新華介紹，交大的“數(shù)據(jù)密集型超算示范中心”主要基于華為OeanStor Pacific高密專用硬件，其并發(fā)量和訪問性都相當好，目前，交大的幾個算力平臺的CPU核總共有30000多個，在同一個并行文件系統(tǒng)中都可以穩(wěn)定運行。

周躍峰介紹，存儲作為超級計算系統(tǒng)的數(shù)據(jù)底座，在傳統(tǒng)超算HPC向數(shù)據(jù)密集型超算HPDA升級的過程當中，我們需要解決幾個挑戰(zhàn)，第一，數(shù)據(jù)量越來越大，第二，數(shù)據(jù)的類型越來越多，參與計算的數(shù)據(jù)類型，從過去的二進制文件到今天的非結構化數(shù)據(jù)，類型層出不窮。第三，不同類型的數(shù)據(jù)在計算的過程當中需要進行流動，而且需要實現(xiàn)多種協(xié)議共享一份數(shù)據(jù)，避免數(shù)據(jù)耗時費力的遷移。為了解決這些挑戰(zhàn)，我們和上海交大一起共同打造了數(shù)據(jù)密集型超算示范區(qū)，希望為這些世界級的難題提供答案，提供我們商業(yè)級的解決方案。

華為方面進一步介紹，首先，解決海量數(shù)據(jù)存得下的問題，華為OeanStor Pacific高密專用硬件，基于全新的高密架構設計，提供更高的容量利用率，在有限的機房空間里存下更多數(shù)據(jù)，更好地滿足海量數(shù)據(jù)增長的需要。

第二，支撐混合負載問題，交大的超算平臺，有時并行任務高達50個，有的任務要求頻繁的小數(shù)據(jù)量的讀取，也有的任務要求大文件的快速讀取，因此需要性能更加均衡的存儲。華為OceanStor Pacific推出了新一代分布式并行文件系統(tǒng)，同時支持高帶寬和高IOPS，通過與分布式并行客戶端（DPC）的密切配合，打破單流和單客戶端的性能瓶頸，有效應對混合工作負載的挑戰(zhàn)。

第三，由于數(shù)據(jù)量的增大、數(shù)據(jù)應用的復雜化，數(shù)據(jù)在不同環(huán)節(jié)、不同系統(tǒng)間高效流動是數(shù)據(jù)密集型超算面臨的一個主要挑戰(zhàn)。華為推出多協(xié)議互通能力。多個存儲服務同時訪問一份數(shù)據(jù)，支持NFS、CIFS、HDFS和S3等協(xié)議的按需部署，通過其中一種協(xié)議寫入的數(shù)據(jù)，無需遷移即可被其他協(xié)議讀取，提高跨環(huán)節(jié)、跨系統(tǒng)的數(shù)據(jù)分析效率。

周躍峰表示，華為希望在世界中國數(shù)字化的浪潮過程當中，特別是在中國東數(shù)西存、東數(shù)西算的大背景下，通過上海交大和華為公司的合作，能夠盡快使最新研究成果產(chǎn)業(yè)化、商業(yè)化，幫助國家各個行業(yè)真正實現(xiàn)數(shù)字化，真正實現(xiàn)超級計算走向平民化，解決我們生活生產(chǎn)當中的各種問題。