觀察員
-
馬斯克開源Grok-1，3140億參數迄今最大
當地時間3月17日，特斯拉首席執(zhí)行官（CEO）馬斯克的AI創(chuàng)企xAI正式發(fā)布3140億參數的混合專家模型Grok-1。xAI官方網站稱，其遵照Apache 2.0協議開放模型權重和架構。
xAI官方網站截圖
據第一財經報道，Grok-1參數量遠超OpenAI GPT-3.5的1750億，是迄今參數量最大的開源大語言模型。
17日，馬斯克還在社交平臺上發(fā)文對OpenAI進行了嘲諷：“告訴我們更多關于OpenAI開放部分的信息?！?
2023年11月，xAI官網發(fā)布文章，公布了Grok的詳細進展。
文章稱，Grok是一款仿照《銀河系漫游指南》設計的AI，幾乎可以回答任何問題，它甚至可以建議要問什么問題。“Grok回答問題時略帶機智和叛逆，所以如果你討厭幽默，請不要使用它”。
xAI官方網站截圖
文章介紹說，Grok的一個獨特且基本的優(yōu)勢是，它可以通過X平臺實時了解世界。它還將回答被其它大多數AI系統拒絕的尖銳問題。
文章指出，Grok仍然是一個非常早期的測試版產品，是“我們在2個月的訓練中所能做到的最好產品，期望在您的幫助下每周都能快速改進”。
文章表示，Grok-1的研發(fā)經歷了四個月。期間，Grok-1經歷了多次迭代?！靶紕?chuàng)立xAI后，我們訓練了一個330億參數的LLM原型（Grok-0）。這個早期模型在標準LM測試基準上接近LLaMA 2（70B）的能力，但只使用了一半的訓練資源。在過去兩個月里，我們在模型的推理和編碼能力方面取得了顯著進步，Grok-1終于誕生?！?
文章稱，這是一款功能更為強大的SOTA語言模型，在HumanEval編碼任務中達到了63.2%，在MMLU中達到了73%。
為了了解對Grok-1所做的性能改進，xAI使用了一些旨在衡量數學和推理能力的標準機器學習基準，對其進行一系列評估。
在這些基準測試中，Grok-1顯示出了強勁的性能，超過了其計算類別中的所有其它模型，包括ChatGPT-3.5和Inflection-1。只有使用大量訓練數據和計算資源訓練的模型，例如GPT-4，才能超越它。“這展示了我們在高效訓練LLM方面取得的快速進展”。
同時，文章也指出，由于這些基準可以在網上找到，并且他們不能排除模型無意中進行了相應的訓練。因此，他們在收集完數據集之后，根據去年5月底公布的2023年匈牙利全國高中數學期末考試題，對他們的模型（以及Claude-2和GPT-4模型）進行了人工評分。結果，Grok以C級（59%）通過考試，Claude-2也取得了類似的成績（55%），而GPT-4則以68%的成績獲得了B級。文章稱，他們沒有為應對這個考試而特別準備或調整模型。
本文系觀察者網獨家稿件，未經授權，不得轉載。
- 責任編輯: 房佶宜
-
臺灣長榮客機一外籍乘客試圖在廁所輕生
2024-03-18 10:37 -
“美國都動用國家力量對付特朗普了，那能叫民主？”
2024-03-18 10:04 俄羅斯之聲 -
普京首度回應納瓦利內之死：美國監(jiān)獄沒死過人嗎？
2024-03-18 09:37 俄羅斯之聲 -
中企承建，孟加拉國這個石油大工程全面運營
2024-03-18 09:09 一帶一路 -
以總理：以軍或在幾周后進攻加沙南部城市拉法
2024-03-18 07:28 巴以恩仇錄 -
俄總統選舉選票已統計60.01%，普京得票率為87.26%
2024-03-18 07:07 俄羅斯之聲 -
“波音遇到大麻煩了，但怎么解決，仍毫無頭緒”
2024-03-17 22:56 航空安全 -
馬克龍稱將要求俄“奧運?；稹?，扎哈羅娃：建議向中東沖突各方提出
2024-03-17 20:46 俄羅斯之聲 -
岸田文雄向日本國民道歉
2024-03-17 19:56 日本 -
斯里蘭卡逮捕21名印度漁民
2024-03-17 19:23 -
“幾乎沒男人了，人們像狗一樣當街被抓去當兵”
2024-03-17 19:10 烏克蘭之殤 -
拜登：兩個候選人，有一個太老了...
2024-03-17 17:33 美國政治 -
特朗普談移民：在我看來，某些情況下他們不是人
2024-03-17 16:37 特朗普 -
首次！朝中社這樣稱呼金正恩女兒
2024-03-17 16:30 朝鮮現狀 -
威爾士工黨選出新任黨魁，“歐洲將產生首位黑人領導人”
2024-03-17 16:04 不列顛 -
他再放話：將對中企在墨西哥生產汽車征收100%關稅
2024-03-17 14:58 美國大選 -
馬克龍再提派兵，她附和上了
2024-03-17 14:45 烏克蘭之殤 -
“美國警告歐盟：若重啟對美訴訟，別怪我…”
2024-03-17 14:34 歐洲亂局 -
“我從小就被教育要討厭中國”
2024-03-17 11:40 -
特朗普：若我敗選，對美國是場“大屠殺”
2024-03-17 10:11 美國政治
相關推薦 -
-
“中國在非洲真正贏得了民心，就連斯威士蘭…” 評論 94
“日企抱團是絕望之舉，中國工廠效率質量都是第一” 評論 144最新聞 Hot-
“沙特曾多次警告德國提防嫌疑人”
-
特朗普最新任命！這次包括火箭隊老板、真人秀制作人
-
巴勒斯坦三個政治派別發(fā)表聯合聲明
-
“中國在非洲真正贏得了民心，就連斯威士蘭…”
-
“日企抱團是絕望之舉，中國工廠效率質量都是第一”
-
“中國有能力讓夢想照進現實，將贏得史詩般競爭”
-
被災民暴罵到當場破防，馬克龍發(fā)飆：你該慶幸你在法國！
-
美高校敦促國際學生抓緊回來：萬一把中印拉黑名單呢
-
美國政府“逃過一劫”
-
“澤連斯基要求歐盟新外長：對華批評要降調”
-
澳大利亞來了，中國就得走人？澳總理這么回應
-
美媒感慨：基建狂魔發(fā)力，我們又要被超越了
-
英國剛公布新任大使，特朗普顧問就痛罵：傻X
-
“來自中國的老大哥能確保我們…”
-
俄羅斯的報復來了
-
澤連斯基罵普京“傻子”，俄方怒斥
-
Copyright ? 2014-2024 觀察者 All rights reserved。
滬ICP備10213822號-2 互聯網新聞信息服務許可證：31220170001
網登網視備（滬）02020000041-1號 互聯網宗教信息服務許可證：滬（2024）0000009
廣播電視節(jié)目制作經營許可證：（滬）字第03952號
增值電信業(yè)務經營許可證：滬B2-20210968 違法及不良信息舉報電話：021-62376571
滬公網安備 31010502000027號
中國互聯網舉報中心
上海市互聯網違法與不良信息舉報中心
