人工智能（AI）技術(shù)在行業(yè)應(yīng)用中，大多依賴(lài)海量的訓(xùn)練數(shù)據(jù)和大規(guī)模服務(wù)器的算力支持，存儲(chǔ)暴漲、數(shù)據(jù)堰塞、隱私泄露、能耗高企等問(wèn)題也隨之而來(lái)。隨著近5年來(lái)摩爾定律的逐步放緩，IT硬件的發(fā)展愈發(fā)難以滿(mǎn)足當(dāng)前AI模型動(dòng)輒萬(wàn)億級(jí)規(guī)模的存儲(chǔ)和算力需求。因此，當(dāng)前對(duì)AI設(shè)備和應(yīng)用的快速響應(yīng)、隱私保護(hù)以及節(jié)能減排的需求越發(fā)凸顯。如何將AI模型及其計(jì)算載體前端化、輕量化，成為亟待解決的問(wèn)題。

   輕量化人工智能（Tiny AI）的興起正在改變這一點(diǎn)。

Tiny AI讓AI更普惠、更主流

   剖析智能化應(yīng)用，我們可以看到，AI使能架構(gòu)是由芯片（硬件）、AI操作系統(tǒng)（深度學(xué)習(xí)框架平臺(tái)）和算法三個(gè)部分組成。而Tiny AI恰是以一系列輕量化技術(shù)為驅(qū)動(dòng)提高芯片、平臺(tái)和算法的效率，在更緊密的物理空間上實(shí)現(xiàn)低功耗的AI訓(xùn)練和應(yīng)用部署，不需要依賴(lài)與云端交互就能實(shí)現(xiàn)智能化操作。

   Tiny AI所帶來(lái)的突破是顯而易見(jiàn)的。《麻省理工科技評(píng)論》在2020年將Tiny AI列為“全球十大突破性技術(shù)”，其在評(píng)選理由中寫(xiě)到：“輕量化智能使現(xiàn)有的服務(wù)比如語(yǔ)音助手、手機(jī)拍照等變得更好更快，不必每次都需要連接云端才能運(yùn)行深度學(xué)習(xí)模型；此外，Tiny AI也將使新的應(yīng)用成為可能，比如基于移動(dòng)端的醫(yī)學(xué)檢測(cè)分析、對(duì)反應(yīng)時(shí)間要求更快的自動(dòng)駕駛汽車(chē)；最后，本地化的AI更利于隱私保護(hù)，用戶(hù)的數(shù)據(jù)不再需要離開(kāi)設(shè)備就能實(shí)現(xiàn)服務(wù)功能的進(jìn)化。”

   更重要的是，Tiny AI將AI推向更主流，它大大降低了AI系統(tǒng)的部署難度和成本，把AI從一場(chǎng)高門(mén)檻的科技巨頭競(jìng)賽變成普惠民生的智能生態(tài)。

   在AI領(lǐng)域的角逐中，以“輕量化”為賽點(diǎn)的下半場(chǎng)已經(jīng)來(lái)臨。

Tiny AI的外“減”內(nèi)“加”

   Tiny AI對(duì)外表現(xiàn)是在做減法，降低能耗、降低對(duì)硬件平臺(tái)性能指標(biāo)的要求、降低與云端的通訊需求等，而實(shí)質(zhì)上，輕量化的內(nèi)核卻是在做加法。產(chǎn)業(yè)需求決定了要完成的AI任務(wù)越來(lái)越復(fù)雜，Tiny AI必須通過(guò)加速運(yùn)算效率、提高計(jì)算密度才能實(shí)現(xiàn)極致的效率。

   在精度接近無(wú)損的前提下，將AI模型及其計(jì)算載體微型化，是一個(gè)極具挑戰(zhàn)性的任務(wù)，需要對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行輕量化設(shè)計(jì)、計(jì)算加速以及設(shè)計(jì)新的計(jì)算架構(gòu)實(shí)現(xiàn)模型的硬件化。

   這需要從軟件和硬件兩方面來(lái)著手。軟件方面，要進(jìn)行模型和算法創(chuàng)新，通過(guò)輕量化模型設(shè)計(jì)、矩陣分解、稀疏表示、量化計(jì)算來(lái)實(shí)現(xiàn)模型的微型化和計(jì)算加速。而在硬件方面，則須通過(guò)流水線設(shè)計(jì)、存儲(chǔ)模式設(shè)計(jì)等手段進(jìn)行硬件架構(gòu)的創(chuàng)新。

   雖然執(zhí)行神經(jīng)網(wǎng)絡(luò)計(jì)算的是硬件，但神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和AI平臺(tái)決定著計(jì)算量的大小和運(yùn)算方式。所以，極致的輕量化必須是軟件和硬件的協(xié)同輕量化：基于復(fù)雜的AI應(yīng)用場(chǎng)景，將芯片、平臺(tái)和算法充分結(jié)合以聯(lián)合加速。

   首先，AI芯片作為AI的硬件載體，必須達(dá)到更高的性能、更高的效率、更低的功耗和更小的體積，足夠平價(jià)高效的計(jì)算平臺(tái)才能滿(mǎn)足產(chǎn)業(yè)需求承載復(fù)雜的AI任務(wù)，并且使推理和運(yùn)算從云端遷移到終端成為可能。

   其次，輕量化的AI平臺(tái)需要以更低的功耗來(lái)訓(xùn)練和運(yùn)行AI算法，最大化的發(fā)掘硬件的能力。

   最后，應(yīng)用輕量化技術(shù)的神經(jīng)網(wǎng)絡(luò)模型應(yīng)小規(guī)模、少運(yùn)算量并保持良好的精度。

   AI三層使能架構(gòu)決定了追求單一算法、平臺(tái)或者芯片輕量化并不能最大化實(shí)現(xiàn)極致效率，而需要針對(duì)應(yīng)用場(chǎng)景中復(fù)雜的AI計(jì)算系統(tǒng)全面去考慮，將三者進(jìn)行協(xié)同輕量化。

自動(dòng)化所：Tiny AI“先行者”

   2014年，在卷積神經(jīng)網(wǎng)絡(luò)大規(guī)模邁向應(yīng)用之初，中國(guó)科學(xué)院自動(dòng)化研究所（以下簡(jiǎn)稱(chēng)自動(dòng)化所）就在國(guó)際AI頂會(huì)發(fā)表了多篇神經(jīng)網(wǎng)絡(luò)模型輕量化領(lǐng)域的重要論文，成為國(guó)際上最早開(kāi)始AI輕量化研究的機(jī)構(gòu)之一，相關(guān)成果引起包括英偉達(dá)公司創(chuàng)始人兼首席執(zhí)行官黃仁勛等在內(nèi)的諸多專(zhuān)家的廣泛關(guān)注。

   自動(dòng)化所很早就開(kāi)始了軟硬協(xié)同輕量化的技術(shù)研究，走在國(guó)際的前列。自動(dòng)化所設(shè)計(jì)開(kāi)發(fā)的輕量化AI平臺(tái)“QEngine”及輕量化算法已經(jīng)在數(shù)十萬(wàn)終端上部署。2019年，在國(guó)際神經(jīng)信息處理系統(tǒng)大會(huì)（NeurIPS）上舉行的MicroNet Challenge競(jìng)賽中，自動(dòng)化所與ARM、IBM、高通、Xilinx等國(guó)際一流芯片公司同場(chǎng)競(jìng)技，設(shè)計(jì)的輕量化神經(jīng)網(wǎng)絡(luò)架構(gòu)獲得了圖像類(lèi)雙冠軍。

   2020年，自動(dòng)化所自主研發(fā)的世界首款極低比特量化神經(jīng)處理芯片（QNPU）成功流片，解決了芯片計(jì)算領(lǐng)域備受關(guān)注的“內(nèi)存墻”難題，在芯片成本、功耗、計(jì)算結(jié)構(gòu)、邊緣計(jì)算等方面實(shí)現(xiàn)革命性變革。該芯片的面世，也標(biāo)志著自動(dòng)化所成為了全球?yàn)閿?shù)不多的擁有“AI芯片—平臺(tái)—算法”全線輕量化AI技術(shù)機(jī)構(gòu)之一。

面向行業(yè)應(yīng)用的Tiny AI

   未來(lái)，以AI驅(qū)動(dòng)的小型化設(shè)備會(huì)越來(lái)越多地出現(xiàn)在我們身邊。同時(shí)，由AI芯片、平臺(tái)和算法組成的Tiny AI智能終端將始終圍繞應(yīng)用場(chǎng)景而生。

   對(duì)此，自動(dòng)化所率先做了一些嘗試。

   MCU單片機(jī)以低價(jià)低功耗的優(yōu)勢(shì)，在各種終端上有著大規(guī)模的應(yīng)用。但是單片機(jī)的計(jì)算性能極低，一直不被看好是可以實(shí)現(xiàn)AI的硬件。自動(dòng)化所在幾元錢(qián)的STM32單片機(jī)上成功部署了四十層網(wǎng)絡(luò)的人臉檢測(cè)模型，運(yùn)行功耗僅800毫瓦，做了開(kāi)創(chuàng)性的嘗試——其背后就是基于Tiny AI技術(shù)。

   在教育行業(yè)，自動(dòng)化所的“輕量化指尖點(diǎn)讀解決方案”顛覆了教育終端的人機(jī)互動(dòng)模式，并成功突破硬件性能瓶頸，賦予低端硬件平臺(tái)高端AI算力。

   在消費(fèi)電子行業(yè)，自動(dòng)化所設(shè)計(jì)的輕量化的算法及輕量化神經(jīng)網(wǎng)絡(luò)計(jì)算架構(gòu)可有效實(shí)現(xiàn)暗光增強(qiáng)、超分辨率等，為手機(jī)終端、安防終端提供了影像增強(qiáng)效果。

   在電力行業(yè)，我國(guó)的輸電線路覆蓋廣，野外自然環(huán)境復(fù)雜，檢修維護(hù)作業(yè)危險(xiǎn)系數(shù)高難度大。自動(dòng)化所基于Tiny AI研制的自主巡檢無(wú)人機(jī)、缺陷識(shí)別分析便攜終端、通道可視化智能感知攝像頭等，具備多種智能識(shí)別、檢測(cè)和分析功能，可有效保障輸配電線路的安全和電力系統(tǒng)穩(wěn)定。■

（作者系中國(guó)科學(xué)院自動(dòng)化研究所南京人工智能芯片創(chuàng)新研究院副院長(zhǎng)，記者趙廣立整理）