狂砸10萬片H100 GPU訓練!紮克伯格劇透Llama 4,隔空對戰馬斯克
智東西
編譯 | 汪越
編輯 | 漠影
智東西11月1日消息,據外媒Wired報道,在周三的Meta第三季度财報電話會議上,Meta首席執行官馬克·紮克伯格(Mark Zuckerberg)透露,Llama 4模型正在一個由10萬片H100 GPU組成的集群上進行訓練,并預計在明年首次推出。
為了支持AI計劃,Meta預計本年度資本支出将高達400億美元,比去年增加了超過42%。紮克伯格在财報電話會議中強調,明年公司将進一步加大對AI基礎設施的投資。
2024年第三季度,Meta收入同比增長19%至406億美元,高于華爾街預測的403億美元。淨利潤增長了35%至157億美元,遠高于市場預期的136億美元。Meta應用系列的日活躍用戶增長了5%,達到33億。
▲Meta 2023年Q1~2024年Q3的營收及增長情況
财報公布後,Meta股價盤後一度跌逾3%,後收窄至3%以内。截至撰稿,Meta股價為567.58美元,較昨日收盤下降4.09%,市值1.44萬億美元。
▲Meta股價(圖源:富途牛牛)
一、Meta斥資400億建10萬片GPU集群
自2023年7月以來,Meta已陸續推出了多個版本的Llama模型,最新的Llama 3.2已于今年9月發布。與主要競争對手提供的封閉API服務不同,Llama作為開放源代碼項目,受到了衆多希望完全掌控自身模型、數據處理流程以及成本控制的企業和個人研究者的青睐。
針對即将推出的Llama 4模型,紮克伯格透露,該模型正在由10萬片H100 GPU組成的集群上進行訓練,并暗示新版本将引入“新的模态”、“更強的推理能力”以及“更快的性能”。
開發更為強大的AI模型需要更多的計算資源和數據。擁有如此規模的GPU集群似乎讓Meta處于行業前沿,但實際上,多家大型科技公司都在競相構建包含超過十萬片先進芯片的計算設施。
今年3月,Meta與英偉達聯合公布了用于Llama 3模型訓練的2.5萬片H100 GPU集群的具體信息。随後,在7月,特斯拉首席執行官埃隆·馬斯克(Elon Musk)宣稱其旗下的大模型獨角獸xAI聯合社交平台X及英偉達建立了擁有10萬片H100 GPU的集群,并稱這是當時全球最強大的AI訓練系統之一。
▲特斯拉首席執行官埃隆·馬斯克(Elon Musk)推出xAI(圖源:Getty Images)
與此同時,OpenAI也在持續投入大量資金開發新的AI模型。OpenAI前首席技術官米拉·穆拉蒂(Mira Murati)曾透露,下一代模型GPT-5不僅規模将超過前代,還将具備更強大的推理能力,但她沒有透露用于訓練該模型的具體計算資源細節。周二,谷歌首席執行官桑達爾·皮查伊(Sundar Pichai)也宣布了最新一代Gemini系列生成式AI模型正處于研發階段。
運營這樣龐大的GPU集群來訓練Llama 4模型将消耗大量的能源。在财報電話會議上,面對有關美國部分地區可能面臨的電力供應限制的提問時,Meta管理層未給出直接回應。
據研究機構Semi Analysis估計,一個包含10萬片H100 GPU的集群理論上需要約150兆瓦的電能支持。相比之下,美國最大的國家實驗室超級計算機El Capitan僅需約30兆瓦的功率。為滿足數據中心及其他基礎設施的需求,Meta預計本年度資本支出将達到高達400億美元,比去年增加了超過42%,并且預測未來一年内相關開支還将繼續上升。
二、AI支出加速,Reality Labs部門虧損44億美元
從财報角度看,第三季度,公司收入同比增長19%至406億美元,高于華爾街預測的403億美元。淨利潤增長了35%至157億美元,遠高于市場預期的136億美元。Meta應用系列的日活躍用戶增長了5%,達到33億。
今年Meta的總運營成本增長了約9%,但總體銷售額(主要來自廣告)飙升了22%以上。這意味着,即使公司在Llama項目上投入了數十億美元,其财務表現依然非常強勁。
▲Meta 2023年Q1~2024年Q3的淨利潤及增長情況
在财報電話會議上,紮克伯格提到,還有許多機會可以利用AI技術來加速公司的核心業務。他認為這些投資将在未來幾年帶來高回報,因此應繼續加強投資。今年以來,Meta平台上的AI驅動信息流和視頻推薦功能已經将Facebook和Instagram的用戶使用時長分别提高了8%和6%。
▲Meta希望使用Facebook的舊數據來訓練其AI模型(圖源:Getty Images)
紮克伯格已向AI領域投入大量資金,以改善Meta的廣告産品和内容推薦,并開始将生成式AI工具集成到平台中。他面臨着通過AI計劃實現盈利的壓力,因為運行服務器和數據中心的成本非常高,而且谷歌等競争對手的競争也非常激烈。
此外,紮克伯格認為VR頭顯和AR眼鏡是“下一個計算平台”。Meta已經與雷朋合作推出了一款名為Ray-Ban Meta的智能眼鏡,這款眼鏡價格親民但不具備AR功能。上個月,在Meta Connect 2024大會上,Meta展示了名為Orion的AR智能眼鏡原型。
▲Orion眼鏡原型(圖源:Meta)
本周三,Meta宣布負責VR、AR及元宇宙技術研發的Reality Labs部門第三季度收入為2700萬美元,營業虧損為44億美元。自2020年以來,Reality Labs部門的累計營運虧損已超過580億美元。該公司還預計,Reality Labs全年的運營虧損将同比大幅增加。
▲Meta 2024年Q3各業務營收情況占比(億美元)
本月早些時候,據英國《金融時報》報道,Meta正在重組WhatsApp、Instagram和Reality Labs的某些團隊,包括裁員和人員調動。
結語:廣告收入支撐AI投資,紮克伯格持續押注
從第三季度财報來看,Meta繼續保持增長勢頭,廣告收入豐厚。通過AI優化,Meta已經提高了其應用系列的用戶使用時長和日活躍用戶數量。随着Meta AI未來可能内置廣告功能,這将為公司開辟新的創收渠道,進一步增強其盈利能力。
紮克伯格持續為Meta的AI戰略注入資金,支持GPU集群、數據中心等關鍵基礎設施的建設。随着Llama 4模型的推出,Meta AI聊天機器人和其他AI功能将進一步優化,從而提升用戶體驗并推動平台的發展。
但是,目前Meta在AI領域的投資仍然處于燒錢階段,Meta AI尚未實現盈利。同樣,AR和VR的研發也耗費了大量資金,尤其是Reality Labs部門在第三季度錄得44億美元的營業虧損。盡管如此,紮克伯格依然堅信這些投資将在未來帶來巨大的回報,并繼續堅定地支持這些項目。
Meta首席财務官Susan Li提到,明年公司将優先考慮進一步投資Reality Labs、商業化策略、基礎設施建設和生成式AI技術,并将簡化公司在其他領域的運營。
來源:Wired、英國《金融時報》
我來說兩句