助力模型推理服務降本增效，適用于推理成本敏感場景，如：AIGC內容生成異步推理、批量圖像處理、批量音視頻處理等。
在AI開發(fā)及服務不斷追求效率的背景下，阿里云機器學習平臺 PAI 宣布支持搶占型實例（Spot Instance）。在模型推理環(huán)節(jié)，用戶可以通過 PAI-EAS 模型在線服務平臺靈活選擇搶占型實例來運行推理時延相對不敏感的任務，進而節(jié)省服務成本，同等機型的搶占型實例與按量付費實例相比，最高可實現(xiàn)90%的成本優(yōu)化。
1. 什么是搶占型實例
搶占型實例（Spot Instance）是計算資源的一種購買方式。與傳統(tǒng)的包年包月實例、按量付費實例不同，搶占型實例的售價跟隨市場需求與庫存的供需關系實時浮動。PAI-EAS 搶占型實例基于公共資源組內空閑的計算資源提供服務，可以為用戶提供低價資源，價格最低可至按量付費實例的10%。各類實例購買方式的單價比較為：
○ 無保護搶占型實例 < 有保護搶占型實例 < 預付費實例 < 按量付費實例
用戶在使用 PAI-EAS 搶占型實例前，首先需要設置出價上限，并選定是否設置1小時保護期。當成功部署服務時，PAI-EAS 會自動競價搶占相應資源。
● 購買搶占型實例：
○ 當實例庫存充足且用戶配置的出價上限不低于當前搶占型實例市場價，則成功搶占資源。
● 使用搶占型實例：
○ 若用戶設置1小時保護期，購買搶占型實例成功后，默認至少保障使用1小時該實例資源。在1小時保護期內，若實例市場價超出用戶設定的出價上限，仍將按照出價上限計費。超過1小時后，當出現(xiàn)實例庫存不足或出價上限低于市場價的情況，實例會立刻釋放。
○ 若用戶未設置1小時保護期，購買搶占型實例成功后，當出現(xiàn)實例庫存不足或出價上限低于市場價的情況，實例會立刻釋放。
● 多實例部署
○ 在使用搶占型實例部署服務時，若只指定單一規(guī)格的計算資源，會出現(xiàn)由于出價不高或庫存不足導致服務長時間無法拉起的情況；或者因spot價格上浮導致資源釋放，從而造成服務處于pending。針對該問題，PAI-EAS 部署環(huán)節(jié)支持多規(guī)格實例選擇，通過遍歷服務資源配置中的規(guī)格列表來拉起資源，從而極大降低因搶占型實例釋放帶來的部署風險，保證服務的穩(wěn)定運行。
通過這張圖對 PAI-EAS 搶占型實例（Spot Instance）的計價規(guī)則進行簡要示意。如圖所示，該實例按量付費實例價格為13.98元/小時，用戶的出價上限為5元/小時并設置了1小時保護期。通過搶占型實例，用戶得以以較低的價格使用計算資源。
（注：以 2023年4月23日 PAI-EAS 公共資源組搶占型實例價格進行示例，機型為8vCPU+30GB+1*A10）
2. PAI-EAS 搶占型實例適用場景
PAI-EAS 搶占型實例（Spot Instance）適用于對價格非常敏感、但對推理服務實時性及穩(wěn)定性相對不敏感的場景，如：
● AIGC內容生成的異步推理場景
● 圖像識別、OCR等批量后處理的圖像分析
● 視頻分割、視頻分類等批量后處理的視頻分析
● 語音分割、語音轉文字等異步推理或批量推理的的語音分析
● Stable Diffusion等AI繪畫的異步批量處理場景
當用戶不需要實時拿到推理返回的結果，而是可以接受一段時間（例如1小時內）的延遲，這些情況就適合采用搶占型實例優(yōu)化服務成本。
在實際業(yè)務場景中，您可以先購買一定量的預付費資源作為保底資源，保障服務可以順利運行；而對于彈性部分，可以根據(jù)業(yè)務場景搭配使用不同機型的搶占型實例，并通過 PAI-EAS 提供的自動彈性伸縮功能來自動擴縮搶占型實例，當因價格原因無法通過搶占型實例擴容時，PAI-EAS 也提供多規(guī)格實例選擇讓用戶使用普通按量付費實例進行擴容，從而以較低的組合成本保障服務穩(wěn)定運行。
3. 如何配置使用 PAI-EAS 搶占型實例
(1) 進入 PAI-EAS 控制臺，點擊“部署服務”，進入詳細配置界面；
(2) 在 “資源部署信息”區(qū)塊，“資源組種類”勾選“公共資源組”，“資源配置方法”切換至“高級資源配置”，即可配置模型服務部署的搶占型實例資源（spot instance）；
(3) 選擇搶占型實例的保留時長：
○ 設置1小時保護期：部署成功后，默認至少可以使用1小時，即搶占成功后有1小時的保護期，保護期內可以保障您可以使用資源。超過1小時的保護期后，如搶占式資源實例庫存充足，且您之前設置出價上限不低于當前搶占式實例市場價，您也可以繼續(xù)使用搶占式實例。
○ 無確定保護期：不保證有固定時長的保護期來保障資源使用。如搶占式資源實例庫存充足，且您設置出價上限不低于當前搶占式實例市場價，您也可以繼續(xù)使用搶占式實例。價格上也會比有1小時保護器的更便宜。
（4）選擇機器型號。可以看到當前該機型搶占型的價格和原價的對比，從而進行出價。當搶占型資源的價格低于出價且?guī)齑娉渥銜r，您可以一直保有該機型的使用。
○ 點擊“＋”新增實例規(guī)格，服務上線后 PAI-EAS 會通過遍歷服務資源配置中的規(guī)格列表來拉起資源，降低因搶占型實例釋放帶來的風險。
(5) 完成其他配置后，點擊“部署”按鈕即可上線服務。
4. 參考文檔
EAS 搶占型實例 Spot Instance 概述：
https://help.aliyun.com/document_detail/52088.htm?spm=a2c4g.602227.0.0.2d1cf0b4phMgWj
高級配置：多規(guī)格實例選擇：
https://help.aliyun.com/document_detail/602247.html?spm=a2c4g.110981.0.0.6d1b3733Uu8Zfc
星空人工智能技術網(wǎng) 倡導尊重與保護知識產權。如發(fā)現(xiàn)本站文章存在版權等問題，煩請30天內提供版權疑問、身份證明、版權證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時溝通與處理。！：首頁 > 新聞 » 機器學習平臺PAI支持搶占型實例，模型服務最高降本90%