|
他們構(gòu)建了一個(gè)五層的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像識別，獲得了96%以上的高精度，結(jié)果顯示，基于憶阻器的卷積神經(jīng)網(wǎng)絡(luò)比目前最先進(jìn)的GPU的能效要高出兩個(gè)數(shù)量級。 傳統(tǒng)的計(jì)算機(jī)將數(shù)據(jù)儲存在內(nèi)存中，然后傳送到處理器運(yùn)算。這種來回“搬運(yùn)”數(shù)據(jù)的活動耗費(fèi)能源和時(shí)間，被認(rèn)為是馮 諾依曼計(jì)算架構(gòu)的核心瓶頸。 而人類的大腦卻并非如此，而是直接在記憶體里計(jì)算。被認(rèn)為具有“存算一體”潛力的憶阻器，因而成為類腦計(jì)算領(lǐng)域的熱門器件。 近日，清華大學(xué)微電子所、未來芯片技術(shù)高精尖創(chuàng)新中心錢鶴、吳華強(qiáng)團(tuán)隊(duì)與合作者在頂尖學(xué)術(shù)期刊、英國《自然》雜志（Nature）在線發(fā)表論文，報(bào)道了基于憶阻器陣列芯片卷積網(wǎng)絡(luò)的完整硬件實(shí)現(xiàn)。 該存算一體系統(tǒng)在處理卷積神經(jīng)網(wǎng)絡(luò)（CNN）時(shí)能效比前沿的圖形處理器芯片（GPU）高兩個(gè)數(shù)量級，可以說在一定程度上突破了“馮諾依曼瓶頸”的限制：大幅提升算力的同時(shí)，實(shí)現(xiàn)了更小的功耗和更低的硬件成本。 
基于憶阻器芯片的存算一體系統(tǒng) 來源：清華大學(xué) 什么是憶阻器？ 憶阻器，全稱記憶電阻器（Memristor），是繼電阻、電容、電感之后的第四種電路基本元件，表示磁通與電荷之間的關(guān)系，最早由加州大學(xué)伯克利分校教授蔡少棠在1971年預(yù)言存在，惠普公司在2008年研制成功。 簡單來說，這種組件的的電阻會隨著通過的電流量而改變，而且就算電流停止了，它的電阻仍然會停留在之前的值，直到接受到反向的電流它才會被推回去，等于說能“記住”之前的電流量。 這種奇妙的效果，其實(shí)和神經(jīng)元突觸有相仿之處。再加上憶阻器還具有尺寸小、操作功耗低、可大規(guī)模集成（三維集成）等優(yōu)點(diǎn)，難怪計(jì)算機(jī)科學(xué)家們在憶阻器身上看到了存算一體、低能耗類腦計(jì)算的前景。 人工神經(jīng)網(wǎng)絡(luò)近年來大放異彩，如果用憶阻器連接成陣列，作為人工神經(jīng)網(wǎng)絡(luò)的硬件，會有什么效果？ 憶阻器陣列 盡管國內(nèi)外許多企業(yè)、研究機(jī)構(gòu)給予關(guān)注，但據(jù)清華大學(xué)新聞頁面報(bào)道，當(dāng)前國際上的憶阻器研究還停留在簡單網(wǎng)絡(luò)結(jié)構(gòu)的驗(yàn)證，或者基于少量器件數(shù)據(jù)進(jìn)行的仿真。基于憶阻器陣列的完整硬件實(shí)現(xiàn)仍然有很多挑戰(zhàn)。 比如，器件方面，需要制備高一致、可靠的陣列；系統(tǒng)方面，憶阻器因工作原理而存在固有缺陷（如器件間波動，器件電導(dǎo)卡滯，電導(dǎo)狀態(tài)漂移等），會導(dǎo)致計(jì)算準(zhǔn)確率降低；架構(gòu)方面，憶阻器陣列實(shí)現(xiàn)卷積功能需要以串行滑動的方式連續(xù)采樣、計(jì)算多個(gè)輸入塊，無法匹配全連接結(jié)構(gòu)的計(jì)算效率。 通過近年來積累的一些成果，錢鶴、吳華強(qiáng)團(tuán)隊(duì)逐漸優(yōu)化材料和器件結(jié)構(gòu)，制備出了高性能的憶阻器陣列。 2017年5月，該課題組就曾在《自然通訊》報(bào)告稱，首次實(shí)現(xiàn)了基于1024個(gè)氧化物憶阻器陣列的類腦計(jì)算，將氧化物憶阻器的集成規(guī)模提高了一個(gè)數(shù)量級。這使芯片更加高效地完成人臉識別計(jì)算任務(wù)，將能耗降低到原來的千分之一以下。 憶阻器神經(jīng)網(wǎng)絡(luò) 這次，錢、吳團(tuán)隊(duì)集成了8個(gè)包括2048個(gè)憶阻器的陣列，以提高并行計(jì)算的效率。 在此基礎(chǔ)上，他們構(gòu)建了一個(gè)五層的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像識別，獲得了96%以上的高精度，結(jié)果顯示，基于憶阻器的卷積神經(jīng)網(wǎng)絡(luò)比目前最先進(jìn)的GPU的能效要高出兩個(gè)數(shù)量級。 這樣的提升是如何實(shí)現(xiàn)的？原來，為解決器件固有缺陷造成的系統(tǒng)識別準(zhǔn)確率下降問題，他們提出了一種新型的混合訓(xùn)練算法，僅需用較少的圖像樣本訓(xùn)練神經(jīng)網(wǎng)絡(luò)，并微調(diào)了最后一層網(wǎng)絡(luò)的部分權(quán)重。 與此同時(shí)，他們提出了空間并行的機(jī)制，將相同卷積核編程到多組憶阻器陣列中，各組憶阻器陣列可并行處理不同的卷積輸入塊，提高并行度來加速卷積計(jì)算。
多個(gè)憶阻器陣列并行處理 隨著摩爾定律放緩，計(jì)算界翹首以待新的架構(gòu)突破馮諾依曼瓶頸，適應(yīng)越來越復(fù)雜的AI問題。基于憶阻器的存算一體系統(tǒng)在這場角逐中穩(wěn)步前進(jìn)。 |
