番茄系統(tǒng)家園 - 免費(fèi)重裝系統(tǒng)！簡(jiǎn)單裝系統(tǒng)，人人都是裝機(jī)大師！
當(dāng)前位置：首頁(yè)>系統(tǒng)資訊 > 4o-mini只有8B o1也才300B！微軟論文意外曝光GPT核心機(jī)密

4o-mini只有8B o1也才300B！微軟論文意外曝光GPT核心機(jī)密

來(lái)源：番茄系統(tǒng)家園瀏覽：時(shí)間：2025-01-02 11:55:00

听说微软又把OpenAI的秘密给泄露了？？论文里明晃晃地写着：

o1-preview约300B参数，GPT-4o约200B，GPT-4o-mini约8B……?

4o-mini只有8B o1也才300B！微软论文意外曝光GPT核心机密

英伟达2024年初发布B200时，就摊牌了GPT-4是1.8T MoE也就是1800B，这里微软的数字更精确，为1.76T。

4o-mini只有8B o1也才300B！微软论文意外曝光GPT核心机密

除此之外，论文中给OpenAI的mini系列，Claude3.5 Sonnet也都附上了参数，总结如下：

- o1-preview约300B；o1-mini约100B

- GPT-4o约200B；GPT-4o-mini约8B

- Claude 3.5 Sonnet 2024-10-22版本约175B

- 微软自己的Phi-3-7B，这个不用约了就是7B

虽然论文中后面也有免责声明：

确切数据尚未公开，这里大部分数字是估计的。

4o-mini只有8B o1也才300B！微软论文意外曝光GPT核心机密

但还是有不少人觉得事情没这么简单。

比如为什么唯独没有放谷歌Gemini模型的参数估计？或许他们对放出来的数字还是有信心的。

4o-mini只有8B o1也才300B！微软论文意外曝光GPT核心机密

也有人认为，大多数模型都是在英伟达GPU上运行的，所以可以通过token生成速度来估计。

只有谷歌模型是在TPU上运行的，所以不好估计。

4o-mini只有8B o1也才300B！微软论文意外曝光GPT核心机密

而且微软也不是第一次干这事了。

23年10月，微软就在一篇论文里“意外”曝出GPT-3.5-Turbo模型的20B参数，在后续论文版本中又删除了这一信息。

4o-mini只有8B o1也才300B！微软论文意外曝光GPT核心机密

就说你是故意的还是不小心的？

4o-mini只有8B o1也才300B！微软论文意外曝光GPT核心机密

微软这篇论文说了什么

实际上，原论文介绍了一项与医学相关的benchmark——MEDEC。

12月26日就已经发布，不过是比较垂直领域的论文，可能非相关方向的人都不会看，年后才被列文虎克网友们发现。

4o-mini只有8B o1也才300B！微软论文意外曝光GPT核心机密

研究起因是，据美国医疗机构调查显示，有1/5的患者在阅读临床笔记时报告发现了错误，而40%的患者认为这些错误可能影响他们的治疗。

而且另一方面，LLMs(大语言模型）被越来越多的用于医学文档任务（如生成诊疗方法）。

因此，MEDEC此番有两个任务。一是识别并发现临床笔记中的错误；二是还能予以改正。

为了进行研究，MEDEC数据集包含3848份临床文本，其中包括来自三个美国医院系统的488份临床笔记，这些笔记之前未被任何LLM见过。

它涵盖五种类型的错误（诊断、管理、治疗、药物治疗和致病因子），这些错误类型是通过分析医学委员会考试中最常见的问题类型选择的，并由8位医疗人员参与错误标注。

4o-mini只有8B o1也才300B！微软论文意外曝光GPT核心机密

而参数泄露即发生在实验环节。

按照实验设计，研究者将选取近期主流的大模型和小模型来参与笔记识别和纠错。

而就在介绍最终选定的模型时，模型参数、发布时间一下子都被公开了。

4o-mini只有8B o1也才300B！微软论文意外曝光GPT核心机密

对了，省去中间过程，这项研究得出的结论是：Claude 3.5 Sonnet在错误标志检测方面优于其他LLM方法，得分为70.16，第二名是o1-mini。

4o-mini只有8B o1也才300B！微软论文意外曝光GPT核心机密

网友：按价格算合理

每一次，ChatGPT相关模型架构和参数泄露，都会引起轩然大波，这次也不例外。

23年10月，微软论文声称GPT-3.5-Turbo只有20B参数的时候，就有人感叹：难怪OpenAI对开源模型这么紧张。

24年3月，英伟达确认GPT-4是1.8T MoE，而2000张B200可以在90天内完成训练的时候，大家觉得MoE已经且仍将是大模型架构趋势。

4o-mini只有8B o1也才300B！微软论文意外曝光GPT核心机密

这一次，基于微软估计的数据，网友们主要有几个关注点：

如果Claude 3.5 Sonnet真的比GPT-4o还小， 那Anthropic团队就拥有技术优势。

4o-mini只有8B o1也才300B！微软论文意外曝光GPT核心机密

以及不相信GPT-4o-mini只有8B这么小。

4o-mini只有8B o1也才300B！微软论文意外曝光GPT核心机密

不过此前也有人根据推理成本来算，4o-mini的价格是3.5-turbo的40%，如果3.5-turbo的20B数字准确，那么4o-mini刚好是8B左右。

不过这里的8B也是指MoE模型的激活参数。

4o-mini只有8B o1也才300B！微软论文意外曝光GPT核心机密

总之，OpenAI大概是不会公布确切数字了。

此前奥特曼征集2024年新年愿望，最后公布的清单中还有“开源”。2025年的最新版本里，开源已经被去掉了。

4o-mini只有8B o1也才300B！微软论文意外曝光GPT核心机密

论文地址：https://arxiv.org/pdf/2412.19260

责任编辑：随心

文章内容举报

推薦系統(tǒng)

  • 雨林木風(fēng) winxp下載 純凈版 永久激活 winxp ghost系統(tǒng) sp3 系統(tǒng)下載

    雨林木風(fēng) winxp下載 純凈版 永久激活 winxp ghost系統(tǒng) sp3 系統(tǒng)下載64位
    系統(tǒng)大小：0MB系統(tǒng)類型：WinXP

    雨林木風(fēng)在系統(tǒng)方面技術(shù)積累雄厚深耕多年，打造了國(guó)內(nèi)重裝系統(tǒng)行業(yè)知名品牌，雨林木風(fēng)WindowsXP其系統(tǒng)口碑得到許多人認(rèn)可，積累了廣大的用戶群體，是一款穩(wěn)定流暢的系統(tǒng)，雨林木風(fēng) winxp下載 純凈版 永久激活 winxp ghost系統(tǒng) sp3 系統(tǒng)下載，有需要的朋友速度下載吧。

    系統(tǒng)等級(jí)：
    進(jìn)入下載 >

  • 蘿卜家園win7純凈版 ghost系統(tǒng)下載 x64 聯(lián)想電腦專用

    蘿卜家園win7純凈版 ghost系統(tǒng)下載 x64 聯(lián)想電腦專用64位
    系統(tǒng)大?。?/em>0MB系統(tǒng)類型：Win7

    蘿卜家園win7純凈版是款非常純凈的win7系統(tǒng)，此版本優(yōu)化更新了大量的驅(qū)動(dòng)，幫助用戶們進(jìn)行舒適的使用，更加的適合家庭辦公的使用，方便用戶，有需要的用戶們快來(lái)下載安裝吧。

    系統(tǒng)等級(jí)：
    進(jìn)入下載 >

  • 雨林木風(fēng)xp系統(tǒng) xp系統(tǒng)純凈版 winXP ghost xp sp3 純凈版系統(tǒng)下載

    雨林木風(fēng)xp系統(tǒng) xp系統(tǒng)純凈版 winXP ghost xp sp3 純凈版系統(tǒng)下載64位
    系統(tǒng)大?。?/em>1.01GB系統(tǒng)類型：WinXP

    雨林木風(fēng)xp系統(tǒng) xp系統(tǒng)純凈版 winXP ghost xp sp3 純凈版系統(tǒng)下載，雨林木風(fēng)WinXP系統(tǒng)技術(shù)積累雄厚深耕多年，采用了新的系統(tǒng)功能和硬件驅(qū)動(dòng)，可以更好的發(fā)揮系統(tǒng)的性能，優(yōu)化了系統(tǒng)、驅(qū)動(dòng)對(duì)硬件的加速，加固了系統(tǒng)安全策略，運(yùn)行環(huán)境安全可靠穩(wěn)定。

    系統(tǒng)等級(jí)：
    進(jìn)入下載 >

  • 蘿卜家園win10企業(yè)版 免激活密鑰 激活工具 V2023 X64位系統(tǒng)下載

    蘿卜家園win10企業(yè)版 免激活密鑰 激活工具 V2023 X64位系統(tǒng)下載64位
    系統(tǒng)大?。?/em>0MB系統(tǒng)類型：Win10

    蘿卜家園在系統(tǒng)方面技術(shù)積累雄厚深耕多年，打造了國(guó)內(nèi)重裝系統(tǒng)行業(yè)的蘿卜家園品牌，(win10企業(yè)版,win10 ghost,win10鏡像),蘿卜家園win10企業(yè)版 免激活密鑰 激活工具 ghost鏡像 X64位系統(tǒng)下載,其系統(tǒng)口碑得到許多人認(rèn)可，積累了廣大的用戶群體，蘿卜家園win10純凈版是一款穩(wěn)定流暢的系統(tǒng),一直以來(lái)都以用戶為中心，是由蘿卜家園win10團(tuán)隊(duì)推出的蘿卜家園

    系統(tǒng)等級(jí)：
    進(jìn)入下載 >

  • 蘿卜家園windows10游戲版 win10游戲?qū)I(yè)版 V2023 X64位系統(tǒng)下載

    蘿卜家園windows10游戲版 win10游戲?qū)I(yè)版 V2023 X64位系統(tǒng)下載64位
    系統(tǒng)大?。?/em>0MB系統(tǒng)類型：Win10

    蘿卜家園windows10游戲版 win10游戲?qū)I(yè)版 ghost X64位 系統(tǒng)下載，蘿卜家園在系統(tǒng)方面技術(shù)積累雄厚深耕多年，打造了國(guó)內(nèi)重裝系統(tǒng)行業(yè)的蘿卜家園品牌，其系統(tǒng)口碑得到許多人認(rèn)可，積累了廣大的用戶群體，蘿卜家園win10純凈版是一款穩(wěn)定流暢的系統(tǒng),一直以來(lái)都以用戶為中心，是由蘿卜家園win10團(tuán)隊(duì)推出的蘿卜家園win10國(guó)內(nèi)鏡像版，基于國(guó)內(nèi)用戶的習(xí)慣，做

    系統(tǒng)等級(jí)：
    進(jìn)入下載 >

  • windows11下載 蘿卜家園win11專業(yè)版 X64位 V2023官網(wǎng)下載

    windows11下載 蘿卜家園win11專業(yè)版 X64位 V2023官網(wǎng)下載64位
    系統(tǒng)大?。?/em>0MB系統(tǒng)類型：Win11

    蘿卜家園在系統(tǒng)方面技術(shù)積累雄厚深耕多年，windows11下載 蘿卜家園win11專業(yè)版 X64位 官網(wǎng)正式版可以更好的發(fā)揮系統(tǒng)的性能，優(yōu)化了系統(tǒng)、驅(qū)動(dòng)對(duì)硬件的加速，使得軟件在WINDOWS11系統(tǒng)中運(yùn)行得更加流暢，加固了系統(tǒng)安全策略，WINDOWS11系統(tǒng)在家用辦公上跑分表現(xiàn)都是非常優(yōu)秀，完美的兼容各種硬件和軟件，運(yùn)行環(huán)境安全可靠穩(wěn)定。

    系統(tǒng)等級(jí)：
    進(jìn)入下載 >

熱門系統(tǒng)