狂砸10萬片H100 GPU訓練!紮克伯格劇透Llama 4,隔空對戰馬斯克

天天見聞 天天見聞 2024-11-01 科技 閱讀: 9
摘要: 智東西 編譯 | 汪越 編輯 | 漠影 智東西11月1日消息,據外媒Wired報道,在周三的Meta第三季度财報電話會議上,Meta首席執行官馬克·紮克伯格(Mark Zuckerberg)透露,Llama 4模型正在一個由10萬片H100 GPU組成的集群上進行訓練,并預計在明年首次推出。

狂砸10萬片H100 GPU訓練!紮克伯格劇透Llama 4,隔空對戰馬斯克

智東西

編譯 | 汪越

編輯 | 漠影

智東西11月1日消息,據外媒Wired報道,在周三的Meta第三季度财報電話會議上,Meta首席執行官馬克·紮克伯格(Mark Zuckerberg)透露,Llama 4模型正在一個由10萬片H100 GPU組成的集群上進行訓練,并預計在明年首次推出。

為了支持AI計劃,Meta預計本年度資本支出将高達400億美元,比去年增加了超過42%。紮克伯格在财報電話會議中強調,明年公司将進一步加大對AI基礎設施的投資。

2024年第三季度,Meta收入同比增長19%至406億美元,高于華爾街預測的403億美元。淨利潤增長了35%至157億美元,遠高于市場預期的136億美元。Meta應用系列的日活躍用戶增長了5%,達到33億。

狂砸10萬片H100 GPU訓練!紮克伯格劇透Llama 4,隔空對戰馬斯克

▲Meta 2023年Q1~2024年Q3的營收及增長情況

财報公布後,Meta股價盤後一度跌逾3%,後收窄至3%以内。截至撰稿,Meta股價為567.58美元,較昨日收盤下降4.09%,市值1.44萬億美元。

狂砸10萬片H100 GPU訓練!紮克伯格劇透Llama 4,隔空對戰馬斯克

▲Meta股價(圖源:富途牛牛)

一、Meta斥資400億建10萬片GPU集群

自2023年7月以來,Meta已陸續推出了多個版本的Llama模型,最新的Llama 3.2已于今年9月發布。與主要競争對手提供的封閉API服務不同,Llama作為開放源代碼項目,受到了衆多希望完全掌控自身模型、數據處理流程以及成本控制的企業和個人研究者的青睐。

針對即将推出的Llama 4模型,紮克伯格透露,該模型正在由10萬片H100 GPU組成的集群上進行訓練,并暗示新版本将引入“新的模态”、“更強的推理能力”以及“更快的性能”。

開發更為強大的AI模型需要更多的計算資源和數據。擁有如此規模的GPU集群似乎讓Meta處于行業前沿,但實際上,多家大型科技公司都在競相構建包含超過十萬片先進芯片的計算設施。

今年3月,Meta與英偉達聯合公布了用于Llama 3模型訓練的2.5萬片H100 GPU集群的具體信息。随後,在7月,特斯拉首席執行官埃隆·馬斯克(Elon Musk)宣稱其旗下的大模型獨角獸xAI聯合社交平台X及英偉達建立了擁有10萬片H100 GPU的集群,并稱這是當時全球最強大的AI訓練系統之一。

狂砸10萬片H100 GPU訓練!紮克伯格劇透Llama 4,隔空對戰馬斯克

▲特斯拉首席執行官埃隆·馬斯克(Elon Musk)推出xAI(圖源:Getty Images)

與此同時,OpenAI也在持續投入大量資金開發新的AI模型。OpenAI前首席技術官米拉·穆拉蒂(Mira Murati)曾透露,下一代模型GPT-5不僅規模将超過前代,還将具備更強大的推理能力,但她沒有透露用于訓練該模型的具體計算資源細節。周二,谷歌首席執行官桑達爾·皮查伊(Sundar Pichai)也宣布了最新一代Gemini系列生成式AI模型正處于研發階段。

運營這樣龐大的GPU集群來訓練Llama 4模型将消耗大量的能源。在财報電話會議上,面對有關美國部分地區可能面臨的電力供應限制的提問時,Meta管理層未給出直接回應。

據研究機構Semi Analysis估計,一個包含10萬片H100 GPU的集群理論上需要約150兆瓦的電能支持。相比之下,美國最大的國家實驗室超級計算機El Capitan僅需約30兆瓦的功率。為滿足數據中心及其他基礎設施的需求,Meta預計本年度資本支出将達到高達400億美元,比去年增加了超過42%,并且預測未來一年内相關開支還将繼續上升。

二、AI支出加速,Reality Labs部門虧損44億美元

從财報角度看,第三季度,公司收入同比增長19%至406億美元,高于華爾街預測的403億美元。淨利潤增長了35%至157億美元,遠高于市場預期的136億美元。Meta應用系列的日活躍用戶增長了5%,達到33億。

今年Meta的總運營成本增長了約9%,但總體銷售額(主要來自廣告)飙升了22%以上。這意味着,即使公司在Llama項目上投入了數十億美元,其财務表現依然非常強勁。

狂砸10萬片H100 GPU訓練!紮克伯格劇透Llama 4,隔空對戰馬斯克

▲Meta 2023年Q1~2024年Q3的淨利潤及增長情況

在财報電話會議上,紮克伯格提到,還有許多機會可以利用AI技術來加速公司的核心業務。他認為這些投資将在未來幾年帶來高回報,因此應繼續加強投資。今年以來,Meta平台上的AI驅動信息流和視頻推薦功能已經将Facebook和Instagram的用戶使用時長分别提高了8%和6%。

狂砸10萬片H100 GPU訓練!紮克伯格劇透Llama 4,隔空對戰馬斯克

▲Meta希望使用Facebook的舊數據來訓練其AI模型(圖源:Getty Images)

紮克伯格已向AI領域投入大量資金,以改善Meta的廣告産品和内容推薦,并開始将生成式AI工具集成到平台中。他面臨着通過AI計劃實現盈利的壓力,因為運行服務器和數據中心的成本非常高,而且谷歌等競争對手的競争也非常激烈。

此外,紮克伯格認為VR頭顯和AR眼鏡是“下一個計算平台”。Meta已經與雷朋合作推出了一款名為Ray-Ban Meta的智能眼鏡,這款眼鏡價格親民但不具備AR功能。上個月,在Meta Connect 2024大會上,Meta展示了名為Orion的AR智能眼鏡原型。

狂砸10萬片H100 GPU訓練!紮克伯格劇透Llama 4,隔空對戰馬斯克

▲Orion眼鏡原型(圖源:Meta)

本周三,Meta宣布負責VR、AR及元宇宙技術研發的Reality Labs部門第三季度收入為2700萬美元,營業虧損為44億美元。自2020年以來,Reality Labs部門的累計營運虧損已超過580億美元。該公司還預計,Reality Labs全年的運營虧損将同比大幅增加。

狂砸10萬片H100 GPU訓練!紮克伯格劇透Llama 4,隔空對戰馬斯克

▲Meta 2024年Q3各業務營收情況占比(億美元)

本月早些時候,據英國《金融時報》報道,Meta正在重組WhatsApp、Instagram和Reality Labs的某些團隊,包括裁員和人員調動。

結語:廣告收入支撐AI投資,紮克伯格持續押注

從第三季度财報來看,Meta繼續保持增長勢頭,廣告收入豐厚。通過AI優化,Meta已經提高了其應用系列的用戶使用時長和日活躍用戶數量。随着Meta AI未來可能内置廣告功能,這将為公司開辟新的創收渠道,進一步增強其盈利能力。

紮克伯格持續為Meta的AI戰略注入資金,支持GPU集群、數據中心等關鍵基礎設施的建設。随着Llama 4模型的推出,Meta AI聊天機器人和其他AI功能将進一步優化,從而提升用戶體驗并推動平台的發展。

但是,目前Meta在AI領域的投資仍然處于燒錢階段,Meta AI尚未實現盈利。同樣,AR和VR的研發也耗費了大量資金,尤其是Reality Labs部門在第三季度錄得44億美元的營業虧損。盡管如此,紮克伯格依然堅信這些投資将在未來帶來巨大的回報,并繼續堅定地支持這些項目。

Meta首席财務官Susan Li提到,明年公司将優先考慮進一步投資Reality Labs、商業化策略、基礎設施建設和生成式AI技術,并将簡化公司在其他領域的運營。

來源:Wired、英國《金融時報》

你可能想看:
其他相關

公衆号終于清淨了!微信嚴整低俗引流廣告

作者: 天天見聞 時間:2024-11-01 閱讀: 6
快科技10月31日消息,微信是國民級社交App,其中公衆号、視頻号也是很多人獲取信息的重要來源,但是多年來被各種廣告充斥,混亂不堪。 這些廣告不僅給造成很多使用上的困擾,還可能導緻一些用戶上當受騙等。 現在微信要出手整治了,嚴查、嚴懲! ...
新質生産力支撐 新一代類腦人工智能公共算力平台上線

新質生産力支撐 新一代類腦人工智能公共算力平台上線

作者: 天天見聞 時間:2024-10-31 閱讀: 11
據報道,由國家科技部批複、依托廣東省智能科學與技術研究院建設的“新一代類腦人工智能公共算力開放創新平台”正式上線運行。作為目前國内首個且唯一的類腦算力開放平台,國家類腦智能創新平台圍繞類腦智能算力構建了“環節齊全、功能齊備”的完整創新鍊,重點圍繞類腦芯片設計創新、類腦應用生态創新和腦科學重大應用創新,建設高水平類腦算力科技創新隊伍和軟硬件系統,将為我國智能技術産業赢得全球科技競争主動權、發展智能時代的“新質生産力”提供堅實支撐。 類腦智能算力具備更像人腦的“低能耗、并行處理、學習能力強、容錯性高”等計算特征,将在生物腦與數字腦聯動應用、腦啟發認知智能和感知智能應用等領域發揮強大的算力優勢,可以廣泛應用在腦疾病機理研究和藥物開發、社交網絡分析、金融大數據分析、藥物分子篩選、仿真機器人、無人機、自動駕駛等智能技術産業中。...
職場“懸浮”人來了,HR别再沉默

職場“懸浮”人來了,HR别再沉默

作者: 天天見聞 時間:2024-10-31 閱讀: 13
職場“懸浮”人來襲,HR該如何應對?審視企業管理問題當企業發展放緩,裁員消息頻傳時,部分員工逐漸脫離常規工作軌道,成為所謂的“職場懸浮人”。這些員工的目标簡單直接:在老闆眼皮底下“摸魚”,直至獲得裁員補償。這一現象的出現,反映出企業在組織和文化方面可能存在一些問題。對于過去處于快速發展階段的企業而言,管理滞後于業務發展是常見現象。然而,當企業發展降速,業績下滑時,這些問題便浮出水面,不僅影響外部業務,還可能威脅到企業的生存。...
微信公衆平台:9月共封禁349個賬号

微信公衆平台:9月共封禁349個賬号

作者: 天天見聞 時間:2024-10-30 閱讀: 18
鞭牛士 10月15日消息,微信公衆平台今日公示涉及侵權、濫用原創及抄襲洗稿等違規行為得治理情況。 公示顯示,今年9月,平台共計治理違規使用原創标識内容28119篇,删除涉及抄襲、洗稿内容1490篇,删除侵害名譽權371篇,遮蓋侵害隐私權内容481篇,封禁349個涉及侵犯知識産權的賬号。 ...
揚州宇安電子科技取得基于複用模塊的 N 點 FFT 快速實現方法、裝置及 FPGA 芯片專利,實現 N 點 FFT 計算,減少乘法計算,适用于更多使用情況

揚州宇安電子科技取得基于複用模塊的 N 點 FFT 快速實現方法、裝置及 FPGA 芯片專利,實現 N 點 FFT 計算,減少乘法計算,适用于更多使用情況

作者: 天天見聞 時間:2024-10-30 閱讀: 12
金融界 2024 年 9 月 4 日消息,天眼查知識産權信息顯示,揚州宇安電子科技股份有限公司取得一項名為“基于複用模塊的 N 點 FFT 快速實現方法、裝置及 FPGA 芯片“,授權公告号 CN116467554B ,申請日期為 2023 年 4 月。 專利摘要顯示,本發明提出一種基于複用模塊的 N 點 FFT 快速實現方法、裝置及 FPGA 芯片,方法包括步驟:獲取離散序列;對離散序列進行第一次排序;并行輸入第一次排序後的數據,并對每次輸入的數據進行第一預設級數的多級基 2‑FFT 運算;對完成多級基 2‑FFT 運算得到的數據進行第二次排序;并行輸入第二次排序後的數據,并對每次輸入的數據進行第二預設級數的多級基 4‑FFT 運算;輸出結果等。本發明采用複用資源,以及基 2、基 4 的混合基形式,實現 N 點 FFT 計算,減少乘法計算的同時,能夠适用于更多的使用情況。...

雷軍回應小米15漲價幅度:肯定讓大家覺得“貴得有理由”

作者: 天天見聞 時間:2024-10-28 閱讀: 17
10月27日晚,雷軍在社交平台答網友問。其中,在回答“小米15系列漲價幅度大嗎“這一問題時,雷軍表示:“去年我跟大家說過,小米14肯定是最後一次定價3999元。今年3nm工藝升級,同時供應鍊RAM和ROM成本漲幅很大,我們在研發上投入也非常大,小米15确實需要漲價。我可以保證,即便漲價,小米15依舊物超所值!相比往代同内存版本的漲價幅度,也肯定讓大家覺得“貴得有理由”,謝謝大家理解!” ...
我來說兩句

年度爆文