政策資訊

Policy & information

全球首個AI 芯片基準測試國際標準正式發布

Dec 31, 2020

ITU于2020年8月正式發布AI芯片基準測試標準:ITU-T F.748.11 “Metrics and evaluation methods for a deep neural network processor benchmark(深度學習處理器基準測試評測指標與方法)。

 

評測標準是AI芯片產業的基礎和標尺

近年來,AI芯片發展呈現出百花齊放的態勢,然而在產業成熟度、落地應用等方面仍存在諸多問題。其中,AI芯片的選型就是當前人工智能企業面臨的一大難題,建立AI芯片測評標準已成為助力人工智能產業健康發展的一大訴求?;鶞蕼y試是一種常用的性能指標測試方式,在計算架構演進中扮演著非常重要的角色,清晰的基準測試指標,不僅可以幫助技術供給企業快速進步,還可為需求方的選型提供參考。

目前,AI芯片的評測,國際上主流的有MLPerf,蘇黎世理工的AI benchmark,國內有中國人工智能產業發展聯盟(以下簡稱“AIIA”或“聯盟”)的 AIIA DNN benchmark,小米的Mobile AI bench, 中科院計算所智能計算機研究中心的NPUBench等。這些評測多數屬于基準測試的范疇,由于這些基準測試的出發點不同,設計的思路,基準測試的內容和評估指標也都不盡相同,業界尚未有公認的基準測試標準。權威基準測試標準的缺失,一定程度上導致了人工智能應用企業、集成商、開發者無法準確評價芯片在同行業的技術水平,也無法體現國際市場中的地位。

首個AI芯片基準測試國際標準

ITU發布的首個AI基準測試評測標準,ITU-T F.748.11 “Metrics and evaluation methods for a deep neural network processor benchmark(深度學習處理器基準測試評測指標與方法),提出了AI處理器/加速器在完成以深度學習為代表的人工智能任務時的基準測試框架,涵蓋訓練任務、推理任務的基準測試評估指標(Metrics),具體的評測方法和推薦評測場景下的工作負載(Workload)?;鶞蕼y試指標包括時間、吞吐、能效比和準確率等,評測場景以視覺、語音、推薦三大類場景為主,具體包括圖像分類、目標檢測、語音識別、機器翻譯等8大類AI應用。

1.png

該項國際標準由中國信息通信研究院牽頭,于2019年7月在國際電信聯盟第十六研究組(簡稱ITU-T SG16)Q5 報告人會議上提出立項,并擔任編輯人(Editor),歷時近1年,經過多輪討論修訂,于2020年6月22日-7月3日,舉行的ITU-T SG16全體會議提交報批并通過全會審議進入公示階段,于2020年8月正式發布。

其評測方法、評測指標及場景參考并采納了聯盟評估規范、AIIA DNN benchmark項目相關研究和中國通信化標準協會行業標準的相關內容,參與單位包括華為、騰訊、Arm中國、寒武紀、阿里巴巴、百度、Intel、賽靈思、Imagination、紫光展銳、鯤云科技、地平線、南京新一代、西安交通大學、清華大學等20余家企業、高校及科研機構。

AI 芯片基準測試國際標準的正式發布,標志著我國在AI芯片領域評測能力得到了國際認可,也是我國AI芯片科研人員對國際標準化研究的重要貢獻,將為我國AI芯片技術、產品和評測走出國門開辟了道路。

關于ITU-T SG16

ITU(國際電信聯盟)為三大國際標準化組織之一,ITU-T即國際電信聯盟電信標準分局 (ITU-T for ITU Telecommunication Standardization Sector), 它是ITU管理下的專門制定電信標準的分支機構。ITU-T SG16是國際電信聯盟標準化局非?;钴S的研究組,主要研究領域為多媒體與e-Services。目前,SG16的研究范圍覆蓋了視頻與音頻處理與壓縮編碼、視頻監控、內容分發、大數據、區塊鏈、人工智能等眾多熱點標準化研究方向。

關于AIIA DNN benchmark

2017年起,中國信息通信研究院聯合20余家國內外企業、高校及科研機構,在聯盟下發起AI芯片基準測試評估項目AIIA DNN benchmark,目標是圍繞人工智能芯片研究制定客觀、可信及可復現的評估指標,為產業界提供專業評估評測服務。目前AIIA DNN benchmark已初步形成端+云全方位基準測試方案,來自華為、Arm中國、高通、賽靈思、Imagination、啟英泰倫、鯤云科技、上海海思等企業的AI芯片參與了評估評測,項目受到了國內外產業界的廣泛認可。

 2.png

(http://www.lamasacre.com/benchmark)

聯系人

中國信通院云計算與大數據研究所

張蔚敏,郵箱:[email protected] 電話:010-62302490

張哲煜,郵箱:[email protected] 電話:010-62302490


關鍵詞:

訪問人數:4122
咨詢電話
13552233274
郵箱
wanghongjing@aiiaorg.cn
返回頂部