直擊CPU、GPU弱項！第三類AI處理器IPU正崛起

AI沒有走向低潮，而是在催生大量的應(yīng)用。但大量的AI的應(yīng)用非常場景化，既需要成熟的CPU和GPU，也需要全新的AI處理器。IPU（IntelligenceProcessing Unit）就是一種為AI計算而生的革命性架構(gòu)，如今，IPU已經(jīng)在金融、醫(yī)療、電信、機器人、云和互聯(lián)網(wǎng)等領(lǐng)域取得成效。

隨著英國初創(chuàng)公司的Graphcore的IPU在AI應(yīng)用市場的規(guī)?；涞?，第三類AI處理器受到的關(guān)注度越來越高的同時，但I(xiàn)PU能否更好完成CPU和GPU不擅長的AI任務(wù)成為當(dāng)之無愧的革命性架構(gòu)？

IPU如何跨過芯片與AI應(yīng)用之間的鴻溝？

去年底，雷鋒網(wǎng)(公眾號：雷鋒網(wǎng))的《為AI顛覆GPU！計算機史上迎來第三個革命性架構(gòu)IPU》一文已經(jīng)解讀了GraphcoreIPU架構(gòu)的獨特之處。這里再稍作介紹，Graphcore已經(jīng)量產(chǎn)的IPU型號為GC2，處理器內(nèi)部有1216個IPU Tiles，每個Tile里面有獨立的IPU核作為計算以及In Processor Memory 即處理器之內(nèi)的內(nèi)存。整個GC2處理器總共有7296個線程，能夠支持7296個程序在并行的運行。

基于臺積電16nm工藝集成236億個晶體管的GC2在120瓦的功耗下有125TFlops的混合精度、300M的SRAM能夠把完整的模型放在片內(nèi)，另外內(nèi)存的帶寬有15TB/s、片上的交換是8TB/s，片間的IPU-Links是2.5Tbps。

也就是說，IPU通過分布式的片上存儲架構(gòu)突破了AI芯片的存儲墻瓶頸。但正如Graphcore銷售副總裁兼中國區(qū)總經(jīng)理盧濤在近日的一場媒體分享會上所言：“從一個芯片到落地中間有很多gap。包括是否有比較好的工具鏈、豐富的軟件以及豐富的軟件庫支持，還有對主流算法、框架以及操作系統(tǒng)的支持?！?/strong>

這就意味著，只有通過易用的軟件將芯片的優(yōu)勢發(fā)揮出來AI芯片才能更好地落地。對于IPU而言，由于架構(gòu)的特色，解決并行硬件的高效編程是一個非常大的課題。為此，Graphcore在GC2中采用了谷歌、Facebook、百度這些構(gòu)建大規(guī)模數(shù)據(jù)中心集群會使用的BSP（BulkSynchronous Parallel）技術(shù) ，通過硬件支持BSP協(xié)議，并通過BSP協(xié)議把整個計算邏輯分成計算、同步、交換。

盧濤說：“對軟件工程師或者開發(fā)者來說，采用了BSP后就非常易于編程，因為不用處理 locks 。對用戶來說，也不用管這里面是 1216個核心（Tile）還是 7000 多個線程、任務(wù)具體在哪個核上執(zhí)行，這是一個非常用戶友好的創(chuàng)新?！?/p>

在此基礎(chǔ)上，Graphcore推出了在機器學(xué)習(xí)框架軟件和硬件之間基于計算圖的整套工具鏈和庫的Poplar是軟件棧。據(jù)悉，Poplar目前已經(jīng)提供750個高性能計算元素的 50多種優(yōu)化功能，支持標(biāo)準(zhǔn)機器學(xué)習(xí)框架，如TensorFlow1、2，ONNX和PyTorch，很快也會支持 PaddlePaddle。

另外，可以支持容器化部署，能夠快速啟動并且運行。標(biāo)準(zhǔn)生態(tài)方面支持 Docker、Kubernetes，還有像微軟的 Hyper-v等虛擬化技術(shù)和安全技術(shù)。操作系統(tǒng)支持廣泛應(yīng)用的三個 Linux 發(fā)行版：ubuntu、RedHat Enterprise Linux、CentOS。

今年5月，Graphcore又推出了名為PopVision Graph Analyser 的分析工具，開發(fā)者、研究者在使用 IPU 進(jìn)行編程的時候，可以通過PopVision 這個可視化的圖形展示工具來分析軟件運行的情況、效率調(diào)試調(diào)優(yōu)等。同月也上線了Poplar開發(fā)者文檔和社區(qū)。

目前，基于 IPU 的一些應(yīng)用已經(jīng)覆蓋了機器學(xué)習(xí)的各個應(yīng)用領(lǐng)域，包括自然語言處理、圖像/視頻處理、時序分析、推薦/排名及概率模型。Graphcore在Github不僅提供模型移植的文章，還有豐富的應(yīng)用案例和模型。

還有一個關(guān)鍵的問題，開發(fā)者把模型遷移到IPU需要進(jìn)行代碼級修改嗎？盧濤對雷鋒網(wǎng)表示：“AI的開發(fā)者90%都使用開源框架，開發(fā)語言是Python，對于這類開發(fā)者，代碼的遷移成本非常低。就算是占開發(fā)者群體9%的，使用基于NvidiacuDNN的性能級開發(fā)者，我們也會盡量提供和cuDNN 類似的用戶體驗，這個工作量目前看來完全在接受的范圍。”

IPU吞吐量最高比GPU提升260倍

解決了芯片到應(yīng)用的軟件問題，那IPU更適合在哪些場景應(yīng)用？“我們未來推進(jìn)的策略還是訓(xùn)練和推理兩個事情并行來做。有可能是一些單獨的訓(xùn)練任務(wù)，也有可能是一些單獨的推理任務(wù)，但我們會更加聚焦在一些對精度要求更高、對時延要求更低、對吞吐量要求更高的一些場景。”盧濤進(jìn)一步表示。

“當(dāng)前廣泛應(yīng)用、主流的 CV 類的模型是以 Int8為主，但像現(xiàn)在的NLP模型，以及一些搜索引擎里用的模型或者廣告算法模型其實都是 FP16，甚至FP32為主流的數(shù)據(jù)格式，因為這樣一些模型對于精度的要求會更高。因此云端推理除了Int8，F(xiàn)P16和FP32的市場也很大?！?/p>

Graphcore中國銷售總監(jiān)朱江指出，除了稠密的數(shù)據(jù)之外，現(xiàn)在代表整個AI發(fā)展方向的大規(guī)模稀疏化的數(shù)據(jù)，在IPU上處理就會有非常明顯的優(yōu)勢。與大規(guī)模的稀疏化數(shù)據(jù)對應(yīng)的是分組卷積這樣一種新型的卷積算法，與ResNet這種目前比較傳統(tǒng)的方式相比，可以有更好的精度方表現(xiàn)和性能提升。

Graphcore給出了一個分組卷積內(nèi)核的Micro-Benchmark，將組維度（GroupDimension）分成從1到512來比較。512就是應(yīng)用得較多的“Dense卷積網(wǎng)絡(luò)”，典型的應(yīng)用如ResNet。在212的維度，IPU GC2 性能比V100 要好近一倍。隨著稠密程度降低、稀疏化程度增加，在組維度為1或為 32 時，針對 EfficientNet 或 MobileNet，IPU 對比GPU 展現(xiàn)出巨大的優(yōu)勢，做到成倍的性能提升，同時延時大大降低。

之所以在低數(shù)組維度優(yōu)勢明顯，是因為分組卷積數(shù)據(jù)不夠稠密，在 GPU上可能效果并不好，而IPU的架構(gòu)設(shè)計在分組卷積中能夠發(fā)揮優(yōu)勢，并且可以提供GPU很難甚至無法提供的低延遲和高吞吐量。

整體而言，與英偉達(dá)V100相比，Graphcore的IPU在自然語言處理方面的速度能夠提升20%-50%，圖像分類能有6倍的吞吐量提升實現(xiàn)更低的時延。這些優(yōu)勢在IPU的實際落地案例中也同明顯的性能優(yōu)勢。

在金融領(lǐng)域的風(fēng)險管理、算法交易等應(yīng)用中，會使用MarkovChain和MCMC等算法，借助IPU，采樣速率能夠比GPU提高26倍。在金融領(lǐng)域應(yīng)用廣泛的強化學(xué)習(xí)，IPU也能把強化學(xué)習(xí)時間縮短到1/13。還有，采用MLP（多層感知器）加上嵌入一些數(shù)據(jù)的方式來做銷售的預(yù)測，IPU相比GPU能有5.9倍以上的吞吐量提升。

在醫(yī)療和生命科學(xué)領(lǐng)域，包括新藥發(fā)現(xiàn)、醫(yī)學(xué)圖像、醫(yī)學(xué)研究、精準(zhǔn)醫(yī)療等，IPU也已經(jīng)體現(xiàn)出優(yōu)勢。微軟使用IPU訓(xùn)練COVID-19影像分析的算法模型CXR，能夠在 30 分鐘之內(nèi)完成在 NVIDIA GPU 上需要 5 個小時的訓(xùn)練工作量。

另外，在電信領(lǐng)域，機器智能可以幫助分析無線數(shù)據(jù)的一些變化，比如采用 LSTM 模型預(yù)測未來性能促進(jìn)網(wǎng)絡(luò)規(guī)劃。基于時間序列分析，采用IPU 能夠比GPU 有 260 倍的吞吐量提升。

在5G網(wǎng)絡(luò)切片和資源管理中需要用到的強化學(xué)習(xí)，用IPU訓(xùn)練吞吐量也能夠提升最多13倍。

在創(chuàng)新的客戶體驗的自然語言處理（NLP）方面，代表性的模型就是BERT。朱江介紹：“我們目前在 BERT 上訓(xùn)練的時間能夠比 GPU 縮短 25%以上?！?/p>

還有一個有意思的應(yīng)用是IPU在機器人領(lǐng)域的應(yīng)用，是Graphcore和倫敦帝國理工學(xué)院的合作，主要是用到一些空間的 AI以及及時定位和地圖構(gòu)建技術(shù)，幫助機器人做比較復(fù)雜的動作和更高級的功能。

對Graphcore更重要的是在IPU在云和數(shù)據(jù)中心中的應(yīng)用，這是他們早期推廣以及現(xiàn)在主要推廣的領(lǐng)域，包括微軟在Azure公有云上開放IPU的服務(wù)，以及歐洲搜索引擎公司Qwant使用IPU做搜圖識別性能達(dá)到3.5倍以上的提升。

如何搶占中國AI市場先機？

“在IPU的落地上，目前我們整個策略上還是與云服務(wù)商和服務(wù)器提供商合作，所有地區(qū)基本上是一樣的做法。”盧濤坦言，IPU在美國的落地速度比中國更快，包括Azure公有云上開放IPU的服務(wù)，以及與戴爾易安信合作推出了IPU服務(wù)器等。

他解釋，“這是因為美國的用戶可能是較為活躍的研究者社區(qū)，而中國很注重產(chǎn)品化落地。我們中國本地的一些合作伙伴、開發(fā)者可能會更加務(wù)實?？赡芮捌趯?dǎo)入會慢一點，但是后面真正開始加速了，整個開發(fā)過程速度是會非常快。”

盧濤也透露，Graphcore在和金山云在合作，即將上線一個面向中國開發(fā)者和創(chuàng)新者的免費試用的開發(fā)者云。

在本地化產(chǎn)品服務(wù)方面，“長期來講，我們很開放地希望針對中國市場的需求做產(chǎn)品的定制化演進(jìn)。從服務(wù)的角度，我們有兩支技術(shù)團(tuán)隊，工程技術(shù)團(tuán)隊承擔(dān)兩個方面的工作，一是根據(jù)中國本地的AI的應(yīng)用的特點和應(yīng)用的需求，把一些AI的算法模型用 IPU 去落地；二是根據(jù)中國本地用戶對于 AI的穩(wěn)定性學(xué)習(xí)框架平臺軟件方面的需求，做功能性的一些開發(fā)加強的工作?，F(xiàn)場應(yīng)用團(tuán)隊則是幫助客戶做一些更現(xiàn)場的技術(shù)支持的工作。”

當(dāng)然，Graphcore支持阿里巴巴為底層的架構(gòu)抽象出來的統(tǒng)一接口API ODLA（Open Deep LearningAPI）硬件標(biāo)準(zhǔn)，以及支持國內(nèi)重要的深度學(xué)習(xí)框架百度飛槳也都有助于Graphcore的IPU在國內(nèi)的落地。

從AI發(fā)展的未來趨勢看，IPU也能發(fā)揮優(yōu)勢。盧濤說：“我們看到一個大的趨勢，就是訓(xùn)練和推理有混步的需求。比如線上的推薦算法，以及預(yù)測汽車類應(yīng)用。能夠同時滿足訓(xùn)練和推理需求的IPU就能夠發(fā)揮優(yōu)勢?！?/strong>

另外，“分組卷積對算法設(shè)計者來說，最簡單的一個表現(xiàn)就是設(shè)計出參數(shù)規(guī)模更小、精度更高的一個算法模型。我們認(rèn)為這是未來一個大的趨勢?！?/strong>

雷鋒網(wǎng)小結(jié)

作為一個全新的架構(gòu)，IPU獲得了業(yè)界多位專家的高度評價。不過從創(chuàng)新的架構(gòu)到芯片再到成為革命性的產(chǎn)品，Graphcore從芯片到落地之間的距離，需要易用的軟件和豐富的工具來支持，特別是對軟件生態(tài)依賴程度比較到的云端芯片市場。從目前的情況看，Graphcore在工具鏈、部署支持方面都已經(jīng)有對應(yīng)的產(chǎn)品，并且在金融、醫(yī)療、數(shù)據(jù)中心等領(lǐng)域都有落地案例。并且，Graphcore下一代基于更先進(jìn)7nm工藝的IPU也即將推出。

接下來的問題就是標(biāo)桿客戶之后市場的接受度如何？以及Graphcore的市場策略是否和他們的產(chǎn)品一樣優(yōu)勢明顯？

不可忽視的是，全球范圍內(nèi)除了Graphcore還有其他公司也使用了IPU的理念設(shè)計出了AI芯片并且開始推廣。我們正在見證IPU時代的到來。