微電子所等在高能效浮點存內計算方面取得進展
軍工資源網 2023年03月14日近年來,存內計算架構成為人工智能加速芯片的重要研究方向。存內計算架構能夠降低數據訪問開銷,顯著提升神經網絡等智能算法的能效。目前,針對存內計算芯片的研究集中在定點存內計算領域,現有浮點存內計算的實現方案采用近存電路、指數-底數分離、浮點-定點轉換等方式,面臨較低并行度或較多浮點運算周期的挑戰,難以實現高能效和高性能。考慮到更大規模網絡模型和復雜任務的需求以及浮點運算在神經網絡訓練過程中的必要性,浮點運算功能對于未來存內計算芯片非常重要。
針對高能效浮點存內計算的挑戰,中國科學院院士、中科院微電子研究所研究員劉明團隊與清華大學教授劉勇攀團隊合作,提出了“稠密存內+稀疏數字”的新型混合存內計算架構。研究發現,神經網絡各層的數據分布具有長尾特性,且其中大部分數據的指數位密集分布在一個較小的區間內?;诖耍芯刻岢隽藢⒏吣苄Т鎯扔嬎愫诵挠糜趫绦忻芗笖滴坏臄祿\算,將高靈活度稀疏數字核心用于執行具有長尾特性的稀疏指數位的數據運算。高效的浮點-定點轉換電路、靈活編碼的稀疏數字核心以及節省高位計算的數字存內計算加法器樹電路進一步提升了該設計方案的能效。該SRAM存內計算芯片在28nm工藝下流片,在4比特定點和16比特浮點情況下,存內計算核心的稠密網絡峰值能效分別達到275TOPS/W和17.2TOPS/W,稀疏網絡峰值能效分別達到1600TOPS/W和90TOPS/W。該成果有助于推動SRAM存內計算芯片在高準確率浮點神經網絡及神經網絡訓練等方面的應用。
相關研究成果以A 28nm 16.9-300TOPS/W Computing-in-Memory Processor Supporting Floating-Point NN Inference/Training with Intensive-CIM Sparse-Digital Architecture為題,入選固態電路領域頂級會議ISSCC 2023。
圖1.“稠密定點+稀疏浮點”存算一體混合架構:運算拆分原理
圖2.28nm高能效浮點存內計算芯片