免费观看黄色视频wwww,日本午夜成人电影免费观看,欧美一级a在线作爱免费观看,黄色视频免费在线观看,亚洲美女av免费观看,日韩毛片在线3p,亚洲黄色在线免费观看

綜合

谷歌殺回來了!新版Gemini跑分超o1登頂第一

字號+ 作者:下愚不移網 來源:熱點 2024-12-23 04:38:07 我要評論(0)

鯊瘋了!谷歌新版Gemini超越o1,強勢登頂競技場總榜第一!在經6000+網友匿名投票后,不僅數學成績和學霸o1相當,還拿下其它5個單項第一。新模型名為GeminiExp 1114),成績一公布,連

鯊瘋了!谷歌谷歌新版Gemini超越o1,新版強勢登頂競技場總榜第一!跑分

在經6000+網友匿名投票后,登頂第不僅數學成績和學霸o1相當,谷歌還拿下其它5個單項第一。新版

谷歌殺回來了!新版Gemini跑分超o1登頂第一

新模型名為Gemini(Exp 1114),跑分成績一公布,登頂第連CEO皮猜也親自飛奔來站臺。谷歌

而競技場官方也在第一時間公布喜訊,新版并祝賀谷歌:

恭喜達到這一非凡里程碑!跑分

這下尷尬了!登頂第說好的谷歌谷歌正在遭遇瓶頸呢?沒想到人家反手就是一個王炸。

怕了怕了,新版或許,跑分只有OpenAI立即發(fā)布滿血版o1才能與之一戰(zhàn)了?

目前新模型可在谷歌AI Studio體驗,官方后續(xù)也計劃提供API。

網友們也紛紛猜測,難道這就是傳說中的Gemini 2——

拿下7項第一,數學也和o1不分伯仲

一夜之間,競技場Imsys排名再被刷新:

從總榜來看,谷歌新模型Gemini(Exp 1114)分數直漲40+,擠下了之前一直霸榜的OpenAI模型(包括o1-preview、GPT-4o)。

而且假如正面1v1遇敵,新Gemini貌似都有一半及以上概率取勝。

整體勝率熱圖顯示,Gemini(Exp 1114)對戰(zhàn)4o-latest勝率為50%,對戰(zhàn)o1-preview勝率為56%,對戰(zhàn)Claude-3.5-Sonnet勝率為62%。

同時,Gemini(Exp 1114)在單項上也很能打,一舉拿下6個第一,包括:

-復雜提示(Hard Prompts):模型處理復雜或困難提示的能力;

-數學;

-創(chuàng)意寫作;

-指令遵循:評估模型遵循給定指令的能力;

-長查詢處理(Longer Query):衡量模型處理較長查詢的能力;

-多輪對話(Multi-Turn):模型在多輪對話中保持上下文連貫性的能力;

要說最大看點,還是Gemini(Exp 1114)竟能與o1模型在數學能力上不分伯仲。

要知道,據OpenAI官方說法,o1不需要專門訓練,就能直接拿下數學奧賽金牌,甚至可以在博士級別的科學問答環(huán)節(jié)上超越人類專家。

不過比較遺憾的是,對于寫代碼這項重磅功能,Gemini(Exp 1114)雖說相較于谷歌上一版本有所改進,但仍然未能擠進前三。(o1-mini/preview仍處于領先地位)

另外,在風格控制下,Gemini-Exp-1114也和前三無緣,甚至不及自家的Gemini-1.5-pro。(排在o1、4o-latest和Sonnet之后)

解釋一下,風格控制(Style Control)是競技場今年新推出的功能,確保分數反映模型真正解決問題的能力,而不是用漂亮的格式、增加回答長度。

不過也有意外之喜,Gemini-Exp-1114這一次在視覺能力上拿下第一,超越了GPT-4o。

整體看下來,對于谷歌這次的反超,大家也感到十分意外。

目前,Gemini-Exp-1114已經可以在谷歌AI Studio體驗,且官方計劃后續(xù)提供API。

這不,有很多網友已經上手測試了,但好像爭議蠻多——

網友反應不一

先總結一下,通過網友測試,目前可知Gemini-Exp-1114的以下信息:

擁有32k上下文窗口

模型回答知識截止日期為2023年4月,但回答結果會不一樣

加上了思維鏈

其中,32k上下文被大家狠狠吐槽。有人直言相比200萬上下文窗口的Gemini 1.5,擱這兒不升反降呢!

興許是感受到大家的怨懟了,谷歌AI Studio負責人趕緊出來打圓場:馬上更!馬上更!

安撫好眾人情緒后,大家終于樂顛顛曬起了使用反饋。

透過其中一位小哥的觀察,Gemini-Exp-1114這次也是用上了思維鏈,在回答時也能像人類一樣一步步思考了。

而且,在數學能力上確實不錯?

Gemini-Exp-1114正確回答了2024美國數學奧林匹克預選賽II 1-8題。

甚至相對弱項的編碼,也有人第一次嘗試就成功了。

然而,翻車總是難免的。

有人問了基準測試中的物理問題,結果Gemini-Exp-1114雖然有思維鏈加持,卻仍然回答錯誤。

甚至老生常談的數字比大小和數草莓中的“r”,竟還是失敗。

更搞笑的是,有人問Gemini-Exp-1114“你叫什么?”

結果回答了claude(doge)。

實際上,大家一直在猜測Gemini-Exp-1114會不會是傳說中谷歌計劃更新的Gemini 2。

但根據實測,相當一部分網友出來表示否定。

畢竟,它好像連舊版1.5 Pro會的問題也無法解決。

更有人聲稱,這是谷歌推遲發(fā)布更大模型(即Gemini 2)的策略,先弄一個殘血版讓大家玩玩,這樣就別急著催更了。

結合CEO皮猜順勢放煙霧彈的做法,好像又有點道理(doge)!

AI Studio體驗地址:https://aistudio.google.com/prompts/new_chat

競技場完整榜單:https://lmarena.ai/?leaderboard

參考鏈接:

[1]https://x.com/lmarena_ai/status/1857110672565494098

[2]https://x.com/imxiaohu/status/1857183367365894487

[3]https://x.com/OfficialLoganK/status/1857106089063362768

[4]https://x.com/sundarpichai/status/1857114106928718329

1.本站遵循行業(yè)規(guī)范,任何轉載的稿件都會明確標注作者和來源;2.本站的原創(chuàng)文章,請轉載時務必注明文章作者和來源,不尊重原創(chuàng)的行為我們將追究責任;3.作者投稿可能會經我們編輯修改或補充。

相關文章
  • 阿隆索執(zhí)教德國杯前9場全勝,21世紀至今僅次于范加爾和瓜迪奧拉

    阿隆索執(zhí)教德國杯前9場全勝,21世紀至今僅次于范加爾和瓜迪奧拉

    2024-12-23 04:30

  • 落差!奧斯卡年薪2600萬歐合同年底到期,若續(xù)約需降薪至300萬刀

    落差!奧斯卡年薪2600萬歐合同年底到期,若續(xù)約需降薪至300萬刀

    2024-12-23 03:02

  • 替補登場傳射建功,德容:我必須對發(fā)生的一切保持耐心

    替補登場傳射建功,德容:我必須對發(fā)生的一切保持耐心

    2024-12-23 02:31

  • 薩內:總的來說我們踢得不錯,可以為自己展現的韌性感到驕傲

    薩內:總的來說我們踢得不錯,可以為自己展現的韌性感到驕傲

    2024-12-23 02:26

網友點評