隨著邊緣計算與大模型技術的不斷成熟,二者可以很好地融合在一起為行業應用中碰撞出新的“火花”。
近日,在2023英特爾網絡與邊緣產業高層峰會上,英特爾公司高級副總裁兼網絡與邊緣事業部總經理Sachin Katti和英特爾中國區網絡與邊緣事業部首席技術官、英特爾高級首席AI工程師張宇博士接受了通信世界全媒體記者的采訪,分享了英特爾在邊緣計算和大模型方面的戰略和產品,以及如何推動邊緣智能和大模型在行業中的落地。
如今邊緣計算市場已經在快速增長過程當中,這對英特爾以及對整個英特爾生態系統,以及整個中國市場來說都提供了巨大的機遇。
“英特爾的邊緣計算策略是提供大量的硬件選擇,比如說CPU、加速器、GPU等,達到一流的性能。同時在軟件方面,英特爾希望在應用的時候可以降低復雜性。”Sachin Katti表示:“我們要幫助客戶,為他們提供一些選擇,同時通過我們的軟件解決方案可以使他們的運營更加簡化、更加精簡,而且我們要跟整個的生態系統的合作伙伴一起合作。”
隨著大模型在云端訓練的成熟,AI就會快速向邊緣進行遷移。Sachin Katti說:“我們看到AI正在快速地遷移到云端,在這當中邊緣也會發揮更加重要的作用來推動AI的部署。英特爾有很多邊緣設備都是在行業落地的。所以我們要做的是通過所提供的選擇,讓用戶可以更好的使用AI,把AI成果運用在日常運營當中。”
英特爾認為大模型是AI未來的關鍵,它可以幫助解決一些人類面臨的重大挑戰,比如醫療、教育、環境等。“我們相信大模型可以讓AI更加通用,更加普及,更加有價值。我們也相信大模型需要和行業結合起來,要在行業里去做跟這個行業相關的,有針對性的大模型去解決行業里有針對性的一些問題。”Sachin Katti表示。
為了支持大模型的訓練和推理,英特爾提供了一系列的硬件和軟件解決方案。在硬件方面,英特爾發布了專門面向大模型訓練的加速器Gaudi 2,它在第三方公開的運用GPT 3這樣一個大模型的評測當中表現出了非常好的性能。同時,英特爾也提供了通用的CPU處理器以及專用的獨立顯卡等加速器來滿足人工智能模型推理對算力的要求。
在軟件方面,英特爾推出了OpenVINO的軟件工具,可以實現模型在不同平臺上的遷移和部署。在最新的OpenVINO版本里,英特爾增加了對大模型的支持,比如說Stable Diffusion這樣一個文生圖的模型,已經開始在一些行業里進行使用了。
除了硬件和軟件之外,英特爾還提供了開放標準的網絡連接技術,來把大量的GPU和加速器連接起來,讓大模型的訓練更加方便。英特爾還推出了IPU(Infrastructure Processing Unit),它能夠給用戶提供一個可靠、高速、低延遲的數據傳輸服務。
“我們要做到在中國為中國,在本地客戶需求上做一些行業需要的相應解決方案,利用總部所提供的軟件基礎來做這個方案,從工具、解決方案、生態等方面,來為本地行業客戶賦能。”張宇博士表示。英特爾希望通過軟硬件結合、開放標準、生態構建等方式,為客戶提供整體解決方案,讓AI更加通用、普及、有價值。