狂砸10萬片H100 GPU訓練!紮克伯格劇透Llama 4,隔空對戰馬斯克

天天見聞 天天見聞 2024-11-01 科技 閱讀: 39
摘要: 智東西 編譯 | 汪越 編輯 | 漠影 智東西11月1日消息,據外媒Wired報道,在周三的Meta第三季度财報電話會議上,Meta首席執行官馬克·紮克伯格(Mark Zuckerberg)透露,Llama 4模型正在一個由10萬片H100 GPU組成的集群上進行訓練,并預計在明年首次推出。

狂砸10萬片H100 GPU訓練!紮克伯格劇透Llama 4,隔空對戰馬斯克

智東西

編譯 | 汪越

編輯 | 漠影

智東西11月1日消息,據外媒Wired報道,在周三的Meta第三季度财報電話會議上,Meta首席執行官馬克·紮克伯格(Mark Zuckerberg)透露,Llama 4模型正在一個由10萬片H100 GPU組成的集群上進行訓練,并預計在明年首次推出。

為了支持AI計劃,Meta預計本年度資本支出将高達400億美元,比去年增加了超過42%。紮克伯格在财報電話會議中強調,明年公司将進一步加大對AI基礎設施的投資。

2024年第三季度,Meta收入同比增長19%至406億美元,高于華爾街預測的403億美元。淨利潤增長了35%至157億美元,遠高于市場預期的136億美元。Meta應用系列的日活躍用戶增長了5%,達到33億。

狂砸10萬片H100 GPU訓練!紮克伯格劇透Llama 4,隔空對戰馬斯克

▲Meta 2023年Q1~2024年Q3的營收及增長情況

财報公布後,Meta股價盤後一度跌逾3%,後收窄至3%以内。截至撰稿,Meta股價為567.58美元,較昨日收盤下降4.09%,市值1.44萬億美元。

狂砸10萬片H100 GPU訓練!紮克伯格劇透Llama 4,隔空對戰馬斯克

▲Meta股價(圖源:富途牛牛)

一、Meta斥資400億建10萬片GPU集群

自2023年7月以來,Meta已陸續推出了多個版本的Llama模型,最新的Llama 3.2已于今年9月發布。與主要競争對手提供的封閉API服務不同,Llama作為開放源代碼項目,受到了衆多希望完全掌控自身模型、數據處理流程以及成本控制的企業和個人研究者的青睐。

針對即将推出的Llama 4模型,紮克伯格透露,該模型正在由10萬片H100 GPU組成的集群上進行訓練,并暗示新版本将引入“新的模态”、“更強的推理能力”以及“更快的性能”。

開發更為強大的AI模型需要更多的計算資源和數據。擁有如此規模的GPU集群似乎讓Meta處于行業前沿,但實際上,多家大型科技公司都在競相構建包含超過十萬片先進芯片的計算設施。

今年3月,Meta與英偉達聯合公布了用于Llama 3模型訓練的2.5萬片H100 GPU集群的具體信息。随後,在7月,特斯拉首席執行官埃隆·馬斯克(Elon Musk)宣稱其旗下的大模型獨角獸xAI聯合社交平台X及英偉達建立了擁有10萬片H100 GPU的集群,并稱這是當時全球最強大的AI訓練系統之一。

狂砸10萬片H100 GPU訓練!紮克伯格劇透Llama 4,隔空對戰馬斯克

▲特斯拉首席執行官埃隆·馬斯克(Elon Musk)推出xAI(圖源:Getty Images)

與此同時,OpenAI也在持續投入大量資金開發新的AI模型。OpenAI前首席技術官米拉·穆拉蒂(Mira Murati)曾透露,下一代模型GPT-5不僅規模将超過前代,還将具備更強大的推理能力,但她沒有透露用于訓練該模型的具體計算資源細節。周二,谷歌首席執行官桑達爾·皮查伊(Sundar Pichai)也宣布了最新一代Gemini系列生成式AI模型正處于研發階段。

運營這樣龐大的GPU集群來訓練Llama 4模型将消耗大量的能源。在财報電話會議上,面對有關美國部分地區可能面臨的電力供應限制的提問時,Meta管理層未給出直接回應。

據研究機構Semi Analysis估計,一個包含10萬片H100 GPU的集群理論上需要約150兆瓦的電能支持。相比之下,美國最大的國家實驗室超級計算機El Capitan僅需約30兆瓦的功率。為滿足數據中心及其他基礎設施的需求,Meta預計本年度資本支出将達到高達400億美元,比去年增加了超過42%,并且預測未來一年内相關開支還将繼續上升。

二、AI支出加速,Reality Labs部門虧損44億美元

從财報角度看,第三季度,公司收入同比增長19%至406億美元,高于華爾街預測的403億美元。淨利潤增長了35%至157億美元,遠高于市場預期的136億美元。Meta應用系列的日活躍用戶增長了5%,達到33億。

今年Meta的總運營成本增長了約9%,但總體銷售額(主要來自廣告)飙升了22%以上。這意味着,即使公司在Llama項目上投入了數十億美元,其财務表現依然非常強勁。

狂砸10萬片H100 GPU訓練!紮克伯格劇透Llama 4,隔空對戰馬斯克

▲Meta 2023年Q1~2024年Q3的淨利潤及增長情況

在财報電話會議上,紮克伯格提到,還有許多機會可以利用AI技術來加速公司的核心業務。他認為這些投資将在未來幾年帶來高回報,因此應繼續加強投資。今年以來,Meta平台上的AI驅動信息流和視頻推薦功能已經将Facebook和Instagram的用戶使用時長分别提高了8%和6%。

狂砸10萬片H100 GPU訓練!紮克伯格劇透Llama 4,隔空對戰馬斯克

▲Meta希望使用Facebook的舊數據來訓練其AI模型(圖源:Getty Images)

紮克伯格已向AI領域投入大量資金,以改善Meta的廣告産品和内容推薦,并開始将生成式AI工具集成到平台中。他面臨着通過AI計劃實現盈利的壓力,因為運行服務器和數據中心的成本非常高,而且谷歌等競争對手的競争也非常激烈。

此外,紮克伯格認為VR頭顯和AR眼鏡是“下一個計算平台”。Meta已經與雷朋合作推出了一款名為Ray-Ban Meta的智能眼鏡,這款眼鏡價格親民但不具備AR功能。上個月,在Meta Connect 2024大會上,Meta展示了名為Orion的AR智能眼鏡原型。

狂砸10萬片H100 GPU訓練!紮克伯格劇透Llama 4,隔空對戰馬斯克

▲Orion眼鏡原型(圖源:Meta)

本周三,Meta宣布負責VR、AR及元宇宙技術研發的Reality Labs部門第三季度收入為2700萬美元,營業虧損為44億美元。自2020年以來,Reality Labs部門的累計營運虧損已超過580億美元。該公司還預計,Reality Labs全年的運營虧損将同比大幅增加。

狂砸10萬片H100 GPU訓練!紮克伯格劇透Llama 4,隔空對戰馬斯克

▲Meta 2024年Q3各業務營收情況占比(億美元)

本月早些時候,據英國《金融時報》報道,Meta正在重組WhatsApp、Instagram和Reality Labs的某些團隊,包括裁員和人員調動。

結語:廣告收入支撐AI投資,紮克伯格持續押注

從第三季度财報來看,Meta繼續保持增長勢頭,廣告收入豐厚。通過AI優化,Meta已經提高了其應用系列的用戶使用時長和日活躍用戶數量。随着Meta AI未來可能内置廣告功能,這将為公司開辟新的創收渠道,進一步增強其盈利能力。

紮克伯格持續為Meta的AI戰略注入資金,支持GPU集群、數據中心等關鍵基礎設施的建設。随着Llama 4模型的推出,Meta AI聊天機器人和其他AI功能将進一步優化,從而提升用戶體驗并推動平台的發展。

但是,目前Meta在AI領域的投資仍然處于燒錢階段,Meta AI尚未實現盈利。同樣,AR和VR的研發也耗費了大量資金,尤其是Reality Labs部門在第三季度錄得44億美元的營業虧損。盡管如此,紮克伯格依然堅信這些投資将在未來帶來巨大的回報,并繼續堅定地支持這些項目。

Meta首席财務官Susan Li提到,明年公司将優先考慮進一步投資Reality Labs、商業化策略、基礎設施建設和生成式AI技術,并将簡化公司在其他領域的運營。

來源:Wired、英國《金融時報》

你可能想看:

其他相關
安卓版Edge 浏覽器現安卓V3擴展!

安卓版Edge 浏覽器現安卓V3擴展!

作者: 天天見聞 時間:2024-11-19 閱讀: 35
2024-10-24 12:40:28 作者:姚立偉 根據最新的報道,微軟正在測試其安卓版Edge浏覽器的擴展功能。據悉,這些功能包括支持Cat和Violentmonkey等腳本擴展程序。...
Meta AI的這些新技術,讓機器人擁有“觸覺”

Meta AI的這些新技術,讓機器人擁有“觸覺”

作者: 天天見聞 時間:2024-11-12 閱讀: 51
Meta AI新技術:讓機器人擁有“觸覺”觸覺傳感器Digit 360的開發Meta AI與GelSight合作,成功開發出一款名為Digit 360的觸覺傳感器。這款傳感器能夠精确捕獲觸覺數據,極大地提升了機器人的靈巧性和交互能力。通過這種創新的技術,機器人可以更加細緻地感知物體的表面特征,從而在執行複雜任務時表現得更加出色。...
“台積電答應美方要求,急于向特朗普證明…”

“台積電答應美方要求,急于向特朗普證明…”

作者: 天天見聞 時間:2024-11-12 閱讀: 51
台積電将遵照美國要求停止向大陸供應先進AI芯片美國加強對華芯片限制近期,美國在芯片半導體領域對中國的打壓不斷升級。據路透社報道,美國已要求台積電從11月11日起停止向中國大陸客戶供應用于人工智能(AI)領域的先進芯片。美國商務部通過一封“知會函”對台積電實施了這一出口限制,涉及7納米或更先進設計的精密芯片,這些芯片主要用于驅動AI加速器和圖形處理器(GPU)。...
Meta AR 眼鏡前主管加入 OpenAI,曾負責蘋果 MacBook 設計

Meta AR 眼鏡前主管加入 OpenAI,曾負責蘋果 MacBook 設計

作者: 天天見聞 時間:2024-11-12 閱讀: 44
OpenAI 加速布局 AI 硬件領域招攬硬件高管,強化機器人技術近日,OpenAI 在 AI 硬件領域的動作頻頻。繼宣布将自主開發芯片後,OpenAI 又從 Meta 挖角了前硬件主管凱特琳·卡利諾夫斯基(Caitlin Kalinowski),任命她為機器人技術和消費硬件的負責人。...
泰鬥微電子科技取得幹線放大電路和幹線放大設備專利,擴大适用範圍

泰鬥微電子科技取得幹線放大電路和幹線放大設備專利,擴大适用範圍

作者: 天天見聞 時間:2024-11-12 閱讀: 27
金融界 2024 年 8 月 20 日消息,天眼查知識産權信息顯示,泰鬥微電子科技有限公司取得一項名為“一種幹線放大電路和幹線放大設備“,授權公告号 CN221575314U,申請日期為 2024 年 1 月。 專利摘要顯示,本申請适用于幹線放大技術領域,提供了一種幹線放大電路和幹線放大設備。幹線放大電路包括信号接收器、信号轉換器、信号分路模塊以及若幹個信号輸出器;信号接收器的輸出端與信号轉換器的輸入端連接,信号轉換器的輸出端與信号分路模塊的輸入端連接,信号分路模塊的輸出端與各個信号輸出器的輸入端連接。通過本申請的幹線放大電路能夠對輸入的信号進行信号轉換處理後再進行分路處理,不僅具有分路功能,還具有信号轉換功能,擴大了幹線放大設備的适用範圍。...
谷歌Gemini 2.0 或将在不久後發布,具備更快響應速度

谷歌Gemini 2.0 或将在不久後發布,具備更快響應速度

作者: 天天見聞 時間:2024-11-10 閱讀: 32
谷歌 Gemini 2.0 即将發布,響應速度顯著提升新版本初現端倪據報道,谷歌計劃推出其大語言模型 Gemini 的 2.0 版本。已有用戶在 AI 模型選擇界面中發現了标記為 Gemini 2.0 的新模型,并進行了初步測試。這表明新版本的研發已經進入後期階段。...
我來說兩句

年度爆文