近日，阿里云機器學習PAI團隊發布一鍵端側超分工具，可實現在設備和網絡帶寬不變的情況下，將移動端視頻分辨率提升1倍，最高可增強至1440p，將大幅提升終端用戶的觀看體驗，該技術目前已在優酷、夸克、UC瀏覽器等多個APP中廣泛應用。
觀看上圖不難發現，左側畫面和右側畫面的清晰度有極大差別。事實上，兩側畫面的視頻播放源完全相同，區別在于右側畫面使用了特殊的“一鍵超分”工具，從而實現清晰度從540p到1080p的華麗轉身。
超分，即“超分辨率”，是指通過深度學習方式將低分辨率圖片或視頻的清晰度提高，獲得更高分辨率，進而達到更好的觀看體驗和識別準確率。通過特殊的卷積神經網絡（CNN）對已知的高分辨率資源進行學習，即可實現對任意低分辨率圖像和視頻資源進行超分處理的模型。
在移動互聯網普及并成為主流的今天，用戶對“上網沖浪”的體驗愈加關注，更快速、更高清也成為APP開發者們不懈的追求。在“更高清”這個方向，純軟件化的優化方案——端側超分進入開發者的視野：通過在手機、平板電腦等移動設備上運行超分算法，彌補設備硬件、網絡帶寬、原始素材等客觀條件限制，進而獲得高畫質的圖像和視頻。但是，受制于端側算力、設備兼容等問題，端側超分方案規模化落地并不像想象中簡單。
阿里云機器學習 PAI 團隊近日發布搭載 PAI-AISR 模型的一鍵端側超分工具，通過對模型進行量化剪枝等加速優化、以及對端側多設備（CPU/GPU/NPU）進行異構計算和內存I/O優化等，具備以下優勢：
· 超高畫質體驗：在移動端可將視頻分辨率增強至最高1440p，同時進行鋸齒和底噪抑制、色彩增強等提升，極大改善觀看體驗。
· 體積小，易適配：PAI-AISR 算法最低只需要 50KB，不占空間；功耗低至每小時50-100ma。
· 低延遲，高幀率：低至 20ms 以內的處理延遲，以及高達 30 fps 的幀率，適用于直播、短視頻、視頻通話、實時監控等各種場景。
· 多平臺多機型兼容：支持跨平臺使用，在 iOS 系統和安卓系統環境下均無縫連接，甚至在 IoT 設備（如攝像頭、電視機、視頻會議設備等）均可平穩支持。
· 數據格式兼容：支持所有主流圖片和視頻格式。
對移動APP開發者來說，PAI端側一鍵超分工具主要具備以下兩點價值。首先，使用端側超分可以減少數據下發過程中CDN的消耗，實現降本提效。其次，當客戶端網絡不穩定或者帶寬受限（例如處于3G狀態下，或者處于地鐵、電梯等信號不穩定的環境中），導致視頻播放卡頓時，端側超分技術可以讓終端用戶的瀏覽體驗更順滑。同時由于整個推理過程在端側進行，避免了云端推理成本高、時延長等問題的出現。
目前，PAI一鍵端側超分方案已經在優酷、夸克、UC瀏覽器等多個移動應用成功落地，在不斷提升終端用戶體驗的同時，帶來應用研發效率的提升。
星空人工智能技術網 倡導尊重與保護知識產權。如發現本站文章存在版權等問題，煩請30天內提供版權疑問、身份證明、版權證明、聯系方式等發郵件至1851688011@qq.com我們將及時溝通與處理。！：首頁 > 星空人工智能產業 > VR|虛擬現實 » 最高增強至1440p，阿里云發布端側實時超分工具，低成本實現高畫質