當?shù)貢r間3月17日，特斯拉首席執(zhí)行官（CEO）馬斯克的AI創(chuàng)企xAI正式發(fā)布3140億參數(shù)的混合專家模型Grok-1。xAI官方網(wǎng)站稱，其遵照Apache 2.0協(xié)議開放模型權(quán)重和架構(gòu)。

xAI官方網(wǎng)站截圖

據(jù)第一財經(jīng)報道，Grok-1參數(shù)量遠超OpenAI GPT-3.5的1750億，是迄今參數(shù)量最大的開源大語言模型。

17日，馬斯克還在社交平臺上發(fā)文對OpenAI進行了嘲諷：“告訴我們更多關(guān)于OpenAI開放部分的信息?！?

2023年11月，xAI官網(wǎng)發(fā)布文章，公布了Grok的詳細進展。

文章稱，Grok是一款仿照《銀河系漫游指南》設(shè)計的AI，幾乎可以回答任何問題，它甚至可以建議要問什么問題?！癎rok回答問題時略帶機智和叛逆，所以如果你討厭幽默，請不要使用它”。

xAI官方網(wǎng)站截圖

文章介紹說，Grok的一個獨特且基本的優(yōu)勢是，它可以通過X平臺實時了解世界。它還將回答被其它大多數(shù)AI系統(tǒng)拒絕的尖銳問題。

文章指出，Grok仍然是一個非常早期的測試版產(chǎn)品，是“我們在2個月的訓(xùn)練中所能做到的最好產(chǎn)品，期望在您的幫助下每周都能快速改進”。

文章表示，Grok-1的研發(fā)經(jīng)歷了四個月。期間，Grok-1經(jīng)歷了多次迭代?！靶紕?chuàng)立xAI后，我們訓(xùn)練了一個330億參數(shù)的LLM原型（Grok-0）。這個早期模型在標準LM測試基準上接近LLaMA 2（70B）的能力，但只使用了一半的訓(xùn)練資源。在過去兩個月里，我們在模型的推理和編碼能力方面取得了顯著進步，Grok-1終于誕生?！?

文章稱，這是一款功能更為強大的SOTA語言模型，在HumanEval編碼任務(wù)中達到了63.2%，在MMLU中達到了73%。

為了了解對Grok-1所做的性能改進，xAI使用了一些旨在衡量數(shù)學(xué)和推理能力的標準機器學(xué)習(xí)基準，對其進行一系列評估。

在這些基準測試中，Grok-1顯示出了強勁的性能，超過了其計算類別中的所有其它模型，包括ChatGPT-3.5和Inflection-1。只有使用大量訓(xùn)練數(shù)據(jù)和計算資源訓(xùn)練的模型，例如GPT-4，才能超越它。“這展示了我們在高效訓(xùn)練LLM方面取得的快速進展”。

同時，文章也指出，由于這些基準可以在網(wǎng)上找到，并且他們不能排除模型無意中進行了相應(yīng)的訓(xùn)練。因此，他們在收集完數(shù)據(jù)集之后，根據(jù)去年5月底公布的2023年匈牙利全國高中數(shù)學(xué)期末考試題，對他們的模型（以及Claude-2和GPT-4模型）進行了人工評分。結(jié)果，Grok以C級（59%）通過考試，Claude-2也取得了類似的成績（55%），而GPT-4則以68%的成績獲得了B級。文章稱，他們沒有為應(yīng)對這個考試而特別準備或調(diào)整模型。

本文系觀察者網(wǎng)獨家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。