最近，低位寬量化（如 INT8）已普遍用于深度神經網(wǎng)絡推理加速，但很少有研究人員關注低精度訓練量化技術。考慮到深度神經網(wǎng)絡訓練中的反向傳播計算量更大，并且比推理過程具有更大的能量開銷，反向傳播的量化對于超大規(guī)模神經網(wǎng)絡的訓練以及低-具有在線培訓需求的功率器件。然而，梯度分布的形狀特異性和連續(xù)可變性使得梯度量化變得困難，許多研究提出了各種復雜的梯度量化方法以減少訓練精度損失。在本文中，我們提出了兩種主要用于 INT8 量化訓練的創(chuàng)新技術，包括用于量化各種特殊梯度分布的數(shù)據(jù)感知動態(tài)分段量化方案和用于實現(xiàn)較低量化誤差的更新方向周期性搜索策略。然后，我們基于這兩種方法構建了一個分布感知的 INT8 量化訓練框架，并在各種模型和任務上進行了實驗。實驗結果表明，與不同模型（包括 ResNet、MobileNetV2、VGG、AlexNet 和 LSTM）上的全精度浮點對應方法相比，我們提出的 INT8 量化訓練方法在最終訓練精度上的損失可以忽略不計。通過用8位整數(shù)計算代替浮點計算進行網(wǎng)絡訓練，

"點擊查看英文標題和摘要"

相關知識

感統(tǒng)訓練知識百科
感統(tǒng)訓練是什么？這些訓練項目您需要知道
感統(tǒng)訓練≠體育訓練
感統(tǒng)訓練方法.pdf
吳江感統(tǒng)訓練
【產麻新譚】前置胎盤產婦產后出血人工智能神經網(wǎng)絡預測模型的建立與驗證
感統(tǒng)訓練方法介紹 感統(tǒng)訓練方法
感統(tǒng)訓練和體育訓練的區(qū)別
兒童感統(tǒng)認知訓練，加力健康智能感統(tǒng)認知訓練系統(tǒng)
感統(tǒng)訓練跟體育運動沒區(qū)別？錯??！ 感統(tǒng)訓練≠體育運動！

網(wǎng)址: 神經網(wǎng)絡的梯度分布感知 INT8 訓練,Neurocomputing http://www.u1s5d6.cn/newsview484925.html