|
谷歌開發(fā)定制芯片，它可以提高機(jī)器學(xué)習(xí)算法的運(yùn)算速度，這不是什么秘密。谷歌管這些處理器叫作Tensor Processing Units（簡稱TPU），2016年5月，谷歌在I/O開發(fā)者大會上首次展示了TPU，之后再也沒有提供更多細(xì)節(jié)，谷歌只是說它正在用TPU優(yōu)化TensorFlow機(jī)器學(xué)習(xí)框架。今天，谷歌公布了更多內(nèi)容。 根據(jù)谷歌自己制定的基準(zhǔn)，TPU執(zhí)行谷歌常規(guī)機(jī)器學(xué)習(xí)任務(wù)時，速度比標(biāo)準(zhǔn)GPU/CPU組合產(chǎn)品平均快了15倍至30倍。標(biāo)準(zhǔn)GPU/CPU組合產(chǎn)品將英特爾Haswell處理器與Nvidia K80 GPU安裝在一起。數(shù)據(jù)中心極為重視能耗，使用TPU后每瓦特性能（也就是TeraOps/Watt，每萬億次/瓦特）提高了30-80倍。請注意，谷歌提供的數(shù)據(jù)是在生產(chǎn)過程中使用機(jī)器學(xué)習(xí)模型時獲得的，并不是最初創(chuàng)建模型時的數(shù)據(jù)。 谷歌還表示，大多數(shù)架構(gòu)師優(yōu)化芯片是為了提高卷積神經(jīng)網(wǎng)絡(luò)的性能，不過卷積神經(jīng)網(wǎng)絡(luò)只占了數(shù)據(jù)中心負(fù)載的5%，大部分應(yīng)用使用的是多層感知器神經(jīng)網(wǎng)絡(luò)。 2006年，谷歌開始研究如何將GPU、FPGA、定制ASICS應(yīng)用于數(shù)據(jù)中心。不過當(dāng)時并沒有太多應(yīng)用因?yàn)樘厥庥布@益，許多繁重的任務(wù)可以用數(shù)據(jù)中心多余的硬件完成。 到了2013年情況開始改變，當(dāng)時谷歌認(rèn)為DNN將會變得流行起來，數(shù)據(jù)中心的計(jì)算需求將會翻倍，如果用傳統(tǒng)CPU計(jì)算成本相當(dāng)高。正因如此，谷歌啟動一個項(xiàng)目，用定制ASIC完成推算，采購現(xiàn)在GPU用于訓(xùn)練。谷歌報(bào)告稱，與GPU相比，將成本效益提高10倍就是它的目標(biāo)。 --新浪科技 |
