谷歌的DeepMind研究團隊宣布了一種全新的人工智能（AI）訓練方法，顯著減少了所需的計算資源和時間。這一突破性技術不僅能加速AI開發，還能降低成本，對環境保護也大有裨益。

在最近發表的研究論文中，研究人員介紹了一種名為“跨模式對比學習與聯合示例選擇（JEST）”的新方法。研究表明，這種方法比現有最先進的模型效率高出許多，迭代次數減少了13倍，計算量降低了10倍。

AI行業以其高能耗聞名。像ChatGPT這樣的大型AI系統需要大量計算能力，這不僅耗電，還需要大量水資源來冷卻系統。例如，微軟的水消耗量因AI計算需求的增加，從2021年到2022年增長了34%。據報道，ChatGPT每5至50次查詢就會消耗近半升水。

國際能源署（IEA）預測，數據中心的電力消耗將在2022年至2026年間翻一番，這種增長與被批評為高能耗的加密貨幣采礦相似。

JEST方法有望成為解決這一問題的關鍵。谷歌表示，通過優化AI訓練中的數據選擇，JEST可以顯著減少迭代次數和所需計算能力，從而降低總能耗。這種方法旨在提高AI技術的效率，并減少其對環境的影響。

如果JEST技術在大規模應用中被證明有效，AI訓練者將只需一小部分資源即可訓練他們的模型。這意味著他們可以利用現有資源開發更強大的AI工具，或在開發新模型時消耗更少的資源。

JEST通過選擇互補批次的數據來最大化AI模型的學習能力，而不是像傳統方法那樣選擇單個示例。該算法考慮了數據群體的整體構成，從而提高了訓練效率。

例如，學習多種語言時，將漢語，韓語和日語一起學習，而不是單獨學習，可以利用它們之間的相似性加速學習進程。谷歌采用了類似的方法，并取得了成功。

研究指出，選擇共同批次的數據比選擇獨立的示例更有效。JEST過程識別數據點之間的依賴關系，提高了AI訓練的速度和效率，同時需要更少的計算能力。

谷歌研究人員使用“多模式對比學習”來指導數據選擇過程，使模型能夠專注于高質量，精心策劃的數據集，進一步優化訓練效率。

研究表明，多個基準測試的性能都有顯著提高。例如，使用JEST對常見的WebLI數據集進行訓練顯示出學習速度和資源效率的顯著提升。

研究人員還發現，該算法能快速識別具有高學習潛力的數據子集，通過關注特定數據來加快訓練過程。這種“數據質量引導”技術強調質量而非數量，適用于AI訓練。

研究指出，在小型精心策劃的數據集上訓練的參考模型可以有效指導更大數據集的策劃，從而在許多任務上訓練出優于參考模型的高質量模型。

熱點：幣圈訓練營 比特幣谷歌 谷歌nft 谷歌百度 谷歌瀏覽器