精品人妻无码一区二区三区GIF,男人扒开女人荫蒂添的我高潮了,《第一次的人妻》

Meta旨在打造世界上最快的人工智能超級計算機

軍工資源網(wǎng) 2022年02月09日

來源：ScienceAI

編輯：蘿卜皮

Facebook 的母公司 Meta 表示，它已經(jīng)建造了一臺世界上最快的研究超級計算機。Meta 研究人員 Kevin Lee 和 Shubho Sengupta 在今天的博客文章中寫道，到今年年中，系統(tǒng)的擴展完成后，速度將是最快的。他們寫道，人工智能研究超級集群（RSC）有一天將與具有數(shù)萬億參數(shù)的神經(jīng)網(wǎng)絡(luò)一起工作。神經(jīng)網(wǎng)絡(luò)模型中的參數(shù)數(shù)量一直在迅速增長。例如，自然語言處理器 GPT-3 有 1750 億個參數(shù)，這樣復(fù)雜的 AI 預(yù)計只會增長。

RSC 旨在解決這種增長的關(guān)鍵限制，即訓(xùn)練神經(jīng)網(wǎng)絡(luò)所需的時間。通常，訓(xùn)練涉及針對大型數(shù)據(jù)集測試神經(jīng)網(wǎng)絡(luò)，測量它與準(zhǔn)確完成工作的距離，使用該錯誤信號來調(diào)整網(wǎng)絡(luò)的參數(shù)，并重復(fù)循環(huán)直到神經(jīng)網(wǎng)絡(luò)達到所需的準(zhǔn)確度水平。大型網(wǎng)絡(luò)可能需要數(shù)周的計算時間，這限制了在給定年份可以試用的新網(wǎng)絡(luò)數(shù)量。一些資金雄厚的初創(chuàng)公司，如 Cerebras 和 SambaNova，部分是為了解決培訓(xùn)時間問題。

研究人員寫道，除其他外，Meta 希望 RSC 能夠幫助它建立新的神經(jīng)網(wǎng)絡(luò)，可以對一大群人進行實時語音翻譯，每個人都說不同的語言。「最終，RSC 所做的工作將為構(gòu)建下一個主要計算平臺的技術(shù)鋪平道路——Meta，人工智能驅(qū)動的應(yīng)用程序和產(chǎn)品將在其中發(fā)揮重要作用。」

「我們?yōu)樵钪鏄?gòu)建的體驗需要巨大的計算能力（每秒千億次操作！），RSC 將啟用新的人工智能模型，可以從數(shù)萬億個示例中學(xué)習(xí)，理解數(shù)百種語言等等。」Meta 首席執(zhí)行官 Mark Zuckerberg 在一份聲明中說。

舊系統(tǒng)：22,000 個 Nvidia V100 GPU
今天：6,080 個 Nvidia A100 GPU
2022 年年中：16,000 個 Nvidia A100 GPU

與 Meta 目前使用的 AI 研究集群（設(shè)計于 2017 年）相比，RSC 是所涉及的 GPU 數(shù)量、它們的通信方式以及附加到它們的存儲的變化。

「2020 年初，我們決定加速進展的最佳方式是從頭開始設(shè)計新的計算基礎(chǔ)架構(gòu)，以利用新的 GPU 和網(wǎng)絡(luò)結(jié)構(gòu)技術(shù)。我們希望這個基礎(chǔ)設(shè)施能夠在 1 艾字節(jié)大的數(shù)據(jù)集上訓(xùn)練具有超過一萬億個參數(shù)的模型——從規(guī)模上看，這相當(dāng)于 36,000 年的高質(zhì)量視頻。」

舊系統(tǒng)連接了 22,000 個 Nvidia V100 Tensor Core GPU。新的內(nèi)核切換到 Nvidia 的最新內(nèi)核 A100，該內(nèi)核在最近的 AI 系統(tǒng)基準(zhǔn)測試中占據(jù)主導(dǎo)地位。目前新系統(tǒng)是由 760 臺 Nvidia DGX A100 計算機組成的集群，共有 6,080 個 GPU。計算機集群使用 Nvidia 200-gigabit-per-second Infiniband 網(wǎng)絡(luò)綁定在一起。該存儲包括 46 PB（4600 億字節(jié)）的緩存存儲和 175 PB 的大容量閃存存儲。

加速：
計算機視覺：20 倍
大規(guī)模自然語言處理：3x

與舊的基于 V100 的系統(tǒng)相比，RSC 在計算機視覺任務(wù)上的速度提高了 20 倍，在處理大型自然語言處理方面提高了 3 倍。

當(dāng)該系統(tǒng)在今年年中完成時，它將連接 16,000 個 GPU，Lee 和 Sengupta 寫道，這使其成為同類中最大的之一。屆時，其緩存和存儲容量將達到 1 艾字節(jié)（10 億字節(jié)），能夠為系統(tǒng)提供每秒 16 TB 的數(shù)據(jù)。新系統(tǒng)還將專注于可靠性。這很重要，因為非常大的網(wǎng)絡(luò)可能需要數(shù)周的訓(xùn)練時間，而且您不希望在任務(wù)中途失敗，這意味著必須重新開始。

作為參考，在最新一輪 MLPerf 神經(jīng)網(wǎng)絡(luò)訓(xùn)練基準(zhǔn)測試中測試的最大的生產(chǎn)就緒系統(tǒng)是 Nvidia 部署的 4,320-GPU 系統(tǒng)。該系統(tǒng)可以在不到一分鐘的時間內(nèi)訓(xùn)練自然語言處理器 BERT。然而，與 Meta 想要使用的數(shù)萬億個參數(shù)相比，BERT 只有 1.1 億個參數(shù)。

RSC 的推出還伴隨著 Meta 使用數(shù)據(jù)進行研究的方式發(fā)生了變化：「與我們之前僅利用開源和其他公開可用數(shù)據(jù)集的 AI 研究基礎(chǔ)設(shè)施不同，RSC 還通過允許我們在模型訓(xùn)練中包含來自 Meta 生產(chǎn)系統(tǒng)的真實示例，幫助我們確保我們的研究有效地轉(zhuǎn)化為實踐。」

研究人員寫道，RSC 將采取額外的預(yù)防措施來加密和匿名這些數(shù)據(jù)，以防止泄漏。這些步驟包括 RSC 與更大的互聯(lián)網(wǎng)隔離——既沒有入站連接也沒有出站連接。RSC 的流量只能從 Meta 的生產(chǎn)數(shù)據(jù)中心流入。此外，存儲和 GPU 之間的數(shù)據(jù)路徑是端到端加密的，數(shù)據(jù)是匿名的，并經(jīng)過審查過程以確認(rèn)匿名化。

相關(guān)報道：https://spectrum.ieee.org/meta-ai-supercomputer

欧美又大粗又爽又黄大片视频,捆绑调教,校园春色小说,他将头埋进双腿间吮小核日本

Meta旨在打造世界上最快的人工智能超級計算機

網(wǎng)站已關(guān)閉

欧美又大粗又爽又黄大片视频,捆绑调教,校园春色 小说,他将头埋进双腿间吮小核日本

Meta旨在打造世界上最快的人工智能超級計算機

網(wǎng)站已關(guān)閉

欧美又大粗又爽又黄大片视频,捆绑调教,校园春色小说,他将头埋进双腿间吮小核日本