Akamai AI推理可降低60%推理時延，李昇：高度分布式架構帶來的優勢快訊
Akamai AI推理服務幫助企業提供了高達3倍的推理吞吐能力，結合自身全球分布式的邊緣云平臺幫助企業的AI模型利用實時的數據去加速AI推理服務，Akamai和VastData的合作幫助客戶可以大大提升其交付低時延AI的能力。
【TechWeb】5月12日消息，近幾年，在連續完成收購Linode等后，Akamai已經成功轉型為一家云服務（公有云）、安全服務和CDN服務三位一體的全球最分布式的計算平臺。
截至目前，Akamai在全球130個國家擁有1200多個運營商網絡、有超過4000個邊緣節點、26個核心云計算節點和10個分布式節點。
隨著生成式AI應用數量的爆發式增長，近期，Akamai也推出了AI推理解決方案，旨在加速人工智能推理工作負載，優化效率和成本。
Akamai副總裁暨大中華區總經理李昇表示：“隨著AI應用被廣泛使用，未來在推理方面的計算需求可能是訓練方面需求的十倍、甚至更多，同時，大量推理需求將在邊緣發生，這些AI推理需求當中更需要分布式的、低延時的、靈活部署的基礎架構。Akamai高度分布的架構設計極具優勢，在這一波新的浪潮當中更加適應，也更能夠幫助客戶快速地在就近于他們用戶的地方部署生成式AI模型。”
Akamai副總裁暨大中華區總經理 李昇
Akamai亞太區云計算專家團隊負責人李文濤介紹：“Akamai AI推理服務幫助企業提供了高達3倍的推理吞吐能力，降低了高達60%的推理時延，并且相比于同等的傳統云計算廠商的基礎設施可以幫助客戶降低使用成本高達86%之多。”
Akamai亞太區云計算專家團隊負責人 李文濤
據介紹，Akamai AI推理解決方案包括四個部分：
一、經典的計算產品線，包括CPU的虛機、GPU的虛機、專屬芯片的VPU虛擬機，從不同的層面、不同的維度，幫助客戶提供了AI推理的選擇。與英偉達、支持英偉達AI的生態系統合作，包括提供對TensorRT這樣推理運行環境的支持，以及對豐富的AI模型的支持。
二、數據管理，AI無論是訓練還是推理都離不開實時的數據處理能力。Akamai和業界領先的分布式數據平臺VastData合作，結合自身全球分布式的邊緣云平臺幫助企業的AI模型利用實時的數據去加速AI推理服務。包括實時優化AI模型，RAG（Retrieval-Augmented Generation）技術都需要AI模型可以實時獲取到相關推理數據，Akamai和VastData的合作幫助客戶可以大大提升其交付低時延AI的能力，并且能夠提升優化模型的效率。
三、容器化服務。Akamai的LKE企業版，采用托管式的K8s服務，可幫助客戶運行在容器化的環境來支持其推理服務。
四、邊緣云計算和網絡能力。由于Akamai的云平臺和骨干網是集成的，所以可以大大降低面向最終用戶推理的時延、數據傳輸時延、提高吞吐效率，并且Akamai在邊緣云計算還有一個合作伙伴Fermyon，它提供了WebAssembly（WASM）的支持，這樣可以幫助客戶在邊緣構建無服務器應用來支持其AI推理。
李文濤強調：“因為Akamai邊緣的時延基本上是處于互聯網的最后一跳，也就是說Akamai離最終用戶只有一個網絡跳，只有10毫秒到數10毫秒的時延，Akamai可以很好的幫助AI企業解決‘最后一公里”時延的問題’。”
此外，李昇還透露，除了幫助用戶在邊緣側快速部署AI模型之外，Akamai也在持續研發和提升這些AI模型的安全能力。Akamai在今年5月的“RSA Conference”上正式發布了Akamai基于AI的防火墻，幫助用戶保護其AI模型、防止其AI模型遭到惡意的攻擊，包括資源消耗型的攻擊、以及惡意的Token注入攻擊等。
李昇總結道：“Akamai在中國的業務主要是幫助中國企業‘出海’。在助力客戶有效執行和部署他們的AI戰略方面，Akamai將在幫助用戶有效地部署AI模型的同時確保模型的安全性。”
1.TMT觀察網遵循行業規范，任何轉載的稿件都會明確標注作者和來源；
2.TMT觀察網的原創文章，請轉載時務必注明文章作者和"來源：TMT觀察網"，不尊重原創的行為TMT觀察網或將追究責任；
3.作者投稿可能會經TMT觀察網編輯修改或補充。
