華為人工智能模型量化相關(guān)專利公布 可減少AI模型占用的內(nèi)存觀點(diǎn)
2025-02-07 12:31
天眼查App顯示，近日，華為技術(shù)有限公司申請(qǐng)的“人工智能模型的量化方法、處理系統(tǒng)和量化單元”專利公布。
天眼查App顯示，近日，華為技術(shù)有限公司申請(qǐng)的“人工智能模型的量化方法、處理系統(tǒng)和量化單元”專利公布。
摘要顯示，量化單元可以基于運(yùn)行AI模型的計(jì)算設(shè)備的各個(gè)計(jì)算單元的處理粒度，將量化矩陣分割成多個(gè)適用于各個(gè)計(jì)算單元的處理粒度的分塊量化矩陣。量化單元可以對(duì)分塊量化矩陣進(jìn)行量化處理，以得到量化后的分塊量化矩陣，并存儲(chǔ)在存儲(chǔ)器中，可以減少AI模型占用的內(nèi)存。量化矩陣可以是權(quán)重矩陣，也可以是激活矩陣。量化單元量化過(guò)程中，是基于運(yùn)行AI模型的計(jì)算設(shè)備的各個(gè)計(jì)算單元的處理粒度進(jìn)行量化，并不需要基于張量級(jí)別進(jìn)行離群值的統(tǒng)計(jì)，實(shí)現(xiàn)AI模型對(duì)權(quán)重矩陣和激活矩陣都可以進(jìn)行實(shí)時(shí)量化。
1.TMT觀察網(wǎng)遵循行業(yè)規(guī)范，任何轉(zhuǎn)載的稿件都會(huì)明確標(biāo)注作者和來(lái)源；
2.TMT觀察網(wǎng)的原創(chuàng)文章，請(qǐng)轉(zhuǎn)載時(shí)務(wù)必注明文章作者和"來(lái)源：TMT觀察網(wǎng)"，不尊重原創(chuàng)的行為TMT觀察網(wǎng)或?qū)⒆肪控?zé)任；
3.作者投稿可能會(huì)經(jīng)TMT觀察網(wǎng)編輯修改或補(bǔ)充。
