最近AI圈可以說是被新晉“頂流”DeepSeek刷屏了，新發(fā)布的 V3/R1 系列模型，直接在全球火出圈，它的性能強勁到足以和全球頂尖模型一較高下！不過你知道嗎？雖然網(wǎng)絡(luò)版和App版已經(jīng)足夠好用，但只有把模型搬進自家地盤，進行本地部署，你才能享受到真正的“私人定制”，讓DeepSeek R1的“深度思考”完全為你所用。

不過呢，問題也來了。原版的 DeepSeek - R1 671B 全量模型，文件體積大得離譜，足足有720GB！這就好比你要搬一座大山回家，絕大部分個人和企業(yè)看到這樣龐大的部署成本，都被嚇得望而卻步。

別擔(dān)心，量化技術(shù)來救場！這項技術(shù)就像神奇的魔法，一邊穩(wěn)穩(wěn)保住 DeepSeek 模型的高精度，一邊還能把模型的計算效率和資源占用問題輕松搞定。這樣一來，模型在實際應(yīng)用中就能表現(xiàn)得更加出色，開發(fā)者和企業(yè)也能享受到更加靈活高效的部署方式。

什么是大模型量化

近年來，隨著星空人工智能的發(fā)展和Transformer等架構(gòu)的提出，使得深度學(xué)習(xí)的模型參數(shù)達上萬億規(guī)模，從而使得模型變得越來越大，計算和存儲資源的需求也急劇增加。因此，為了降低計算和存儲的開銷，我們需要一些大模型壓縮技術(shù)來降低模型部署的成本，并提升模型推理的性能。模型壓縮主要有幾種方法：量化、知識蒸餾、剪枝和低秩分解。

量化（Quantization）是通過降低模型當中的參數(shù)精度（權(quán)重或者激活值）將從較高位寬轉(zhuǎn)化為（如32為浮點數(shù)）轉(zhuǎn)化為較低位寬（如8位整數(shù)或4位整數(shù)），實現(xiàn)模型的壓縮和優(yōu)化，從而降低模型的占用顯存和算力，提高運行效率。通常會伴隨著一定量精度的損失，需要注意的是，在計算過程中我們還會將量化后的整數(shù)反量化為浮點數(shù)，得到結(jié)果。通過量化主要有以下收益：

1. 減少內(nèi)存（顯存）占用

整數(shù)數(shù)據(jù)類型（如8位整數(shù)）占用的內(nèi)存比浮點數(shù)（如32位浮點數(shù)）少得多。假設(shè)一個模型有1億個參數(shù)，使用FP32數(shù)據(jù)格式表示，需要的內(nèi)存為：內(nèi)存占用4x108字節(jié)，將字節(jié)轉(zhuǎn)換為MB（1MB=1,048,576字節(jié)）：內(nèi)存占用約381.47MB；若使用INT8表示數(shù)據(jù)參數(shù)：內(nèi)存占用=1x108字節(jié)，將字節(jié)轉(zhuǎn)換為MB（1MB=1,048,576字節(jié)）：內(nèi)存占用約95.37MB。所以bit越短，內(nèi)存占用越少，對硬件要求越低。

2. 提升計算效率

在硬件層面，整數(shù)運算更容易實現(xiàn)，許多處理器和加速器專門優(yōu)化了整數(shù)運算，提供張量運算的專用指令集，所以整數(shù)運算（加法、乘法等）通常比浮點運算更簡單和快速。

3. 能耗降低

整數(shù)運算搬運的數(shù)據(jù)量變少，減少了訪存開銷，同時計算過程中，NPU 所需的乘法器數(shù)目也減少，所以消耗的能量通常比浮點運算低。

當前模型量化主要包括后訓(xùn)練量化（Post-Training Quantization, PTQ）和量化感知訓(xùn)練（Quantization Aware Training, QAT）。PTQ可以在沒有原始的訓(xùn)練過程的情況下，就能將預(yù)訓(xùn)練的FP32模型直接轉(zhuǎn)換為定點計算的網(wǎng)絡(luò)。PTQ最大的特點就是不需要數(shù)據(jù)或者只需要很少的校準數(shù)據(jù)集，且?guī)缀醪恍枰{(diào)整超參數(shù)，使得我們可以很方便的進行模型量化，是一種在訓(xùn)練期間模擬量化操作的方法。QAT 通過在模型中插入偽量化節(jié)點（FakeQuant）來模擬量化誤差，并在訓(xùn)練過程中最小化這些誤差，最終得到一個適應(yīng)量化環(huán)境的模型。

量化在降低顯存占用和算力的同時，不可避免存在一些挑戰(zhàn)，如量化方法的精確性、低比特數(shù)帶來的精度損失，與此同時，模型大小與精度之間也存在一種權(quán)衡。一般來說，模型越小，其表達能力和容納參數(shù)的能力也越有限，所以較小模型，量化后精度損失可能更加顯著。

在進行模型量化時，要綜合考慮任務(wù)、模型大小、精度要求以及實際的應(yīng)用場景，以確定最合適的量化策略。基于以上場景，MindStudio模型壓縮工具可以支持DeepSeek系列模型的量化，并且更加高效。

MindStudio模型壓縮工具介紹

msModelSlim（MindStudio模型壓縮工具），是一個以加速為目標、壓縮為技術(shù)、昇騰為根本的親和壓縮工具。支持訓(xùn)練加速和推理加速，包括模型低秩分解、稀疏訓(xùn)練、訓(xùn)練后量化、量化感知訓(xùn)練等功能，昇騰AI模型開發(fā)用戶可以靈活調(diào)用Python API接口，對模型進行性能調(diào)優(yōu)，并支持導(dǎo)出不同格式模型，在昇騰AI處理器上運行。

當前msModelSlim根據(jù)開發(fā)者差異化需求，提供了模型蒸餾、大模型量化、大模型稀疏量化和權(quán)重壓縮、訓(xùn)練后量化等多種模型壓縮方案。

針對DeepSeek系列模型，msModelSlim提供了支持W8A8、W8A16的量化方案，同時也在開發(fā)W4A16、W4A8量化算法，滿足不同客戶需求。

同時，針對DeepSeek-V3/R1的W8A8動態(tài)量化方案，大體分為三步：

1. 調(diào)整離群值抑制：通過一致量化過程中異常值，使能后續(xù)的量化更優(yōu)。針對V3/R1版本，采用SmoothQuant優(yōu)化算法。

2. 量化參數(shù)的選擇：根據(jù)以往經(jīng)驗，選擇指定的層回退（即對精度敏感的層使用浮點數(shù)計算）；激活值量化方式選擇Min-Max方式；采用混合量化方式，即MoE層選用W8A8-Dynamic量化，MLA層選用W8A8量化。

3. 校準集調(diào)整，通過更新業(yè)務(wù)校準集進行Label-Free量化。

量化流程如下：

基于msModelSlim模型壓縮工具的量化壓縮能力，互聯(lián)網(wǎng)、運營商、金融等20+行業(yè)客戶均在本地部署上線DeepSeek-V3/R1滿血版量化模型。

結(jié)語

隨著深度學(xué)習(xí)模型變得越來越龐大和復(fù)雜，高效地將其知識遷移至小型、輕量化的模型，已經(jīng)成為AI技術(shù)走向?qū)嶋H生產(chǎn)的關(guān)鍵路徑。msModelSlim支持多種模型壓縮算法（包括量化壓縮、稀疏壓縮等），為開發(fā)者提供更加靈活、高效的模型壓縮量化方案。在保障精度的同時，以更低的資源消耗實現(xiàn)更快的推理速度，助力企業(yè)快速部署上線，為AI技術(shù)的普及和落地提供了強有力的支持。

msModelSlim工具已開源發(fā)布昇騰社區(qū)及Gitee社區(qū)，誠邀大家點擊閱讀原文下載使用。

閱讀原文：

https://gitee.com/ascend/msit/tree/master/msmodelslim/README.md

繼續(xù)閱讀：星空人工智能

星空人工智能技術(shù)網(wǎng) 倡導(dǎo)尊重與保護知識產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問題，煩請30天內(nèi)提供版權(quán)疑問、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時溝通與處理。！：首頁 > 新聞 » 昇騰MindStudio模型量化方案，助力企業(yè)輕量級部署DeepSeek