无码在线播放二区|久久亚洲精品国产精品|无码视频在线观看一区二区|在线观看国产日韩亚洲中

  • <menu id="yw4o4"></menu>
  • 
    <menu id="yw4o4"><em id="yw4o4"></em></menu>
  • 首頁 > 業(yè)界 > 關(guān)鍵詞  > Karpathy最新資訊  > 正文

    Karpathy新教程爆火,網(wǎng)友搶著送他H100:從頭復(fù)現(xiàn)GPT-2訓(xùn)練

    2024-05-29 17:48 · 稿源:量子位公眾號(hào)

    大神Karpathy已經(jīng)不滿足于用C語言造Llama了!他給自己的最新挑戰(zhàn):復(fù)現(xiàn)OpenAI經(jīng)典成果,從基礎(chǔ)版GPT-2開始。挑戰(zhàn)成功本身并不意外,但是只花費(fèi)20美元、90分鐘完成訓(xùn)練,Loss和評(píng)測(cè)還超越原版,就!有!點(diǎn)!過!分!了!。不僅如此,他把復(fù)現(xiàn)過程寫成了完整教程,果不其然再次火爆。由于Kar

    ......

    本文由站長(zhǎng)之家合作伙伴自媒體作者“量子位公眾號(hào)”授權(quán)發(fā)布于站長(zhǎng)之家平臺(tái),本平臺(tái)僅提供信息索引服務(wù)。由于內(nèi)容發(fā)布時(shí)間超過平臺(tái)更新維護(hù)時(shí)間,為了保證文章信息的及時(shí)性,內(nèi)容觀點(diǎn)的準(zhǔn)確性,平臺(tái)將不提供完全的內(nèi)容展現(xiàn),本頁面內(nèi)容僅為平臺(tái)搜索索引使用。需閱讀完整內(nèi)容的用戶,請(qǐng)查看原文,獲取內(nèi)容詳情。

    舉報(bào)

    • 相關(guān)推薦
    • 超越DeepSeek-R1,英偉達(dá)開源新王登頂,14萬H100小時(shí)訓(xùn)練細(xì)節(jié)全曝光

      英偉達(dá)發(fā)布開源Llama-Nemotron系列模型,性能超越DeepSeek-R1。該系列包含三個(gè)版本:8B、49B和253B參數(shù)模型,其中253B的Ultra版本在推理吞吐量和內(nèi)存效率上表現(xiàn)突出。關(guān)鍵技術(shù)包括:1)采用神經(jīng)架構(gòu)搜索優(yōu)化模型結(jié)構(gòu);2)通過知識(shí)蒸餾和持續(xù)預(yù)訓(xùn)練提升性能;3)結(jié)合合成數(shù)據(jù)監(jiān)督微調(diào);4)在STEM領(lǐng)域進(jìn)行大規(guī)模強(qiáng)化學(xué)習(xí)訓(xùn)練。Ultra版本在GPQA基準(zhǔn)測(cè)試中達(dá)到開源模型最高水平,單節(jié)點(diǎn)8xH100即可高效運(yùn)行。模型創(chuàng)新性支持"推理開關(guān)"功能,通過指令動(dòng)態(tài)切換推理模式。訓(xùn)練流程包含五階段優(yōu)化,最終模型在數(shù)學(xué)推理和通用任務(wù)上均表現(xiàn)優(yōu)異,部分基準(zhǔn)超越專有模型。

    • 剛剛,OpenAI發(fā)布GPT-4.1,性能暴漲、100萬上下文

      今天凌晨1點(diǎn),OpenAI進(jìn)行了技術(shù)直播發(fā)布了最新模型——GPT-4.1。除了GPT-4.1之外,還有GPT4.1-Mini和GPT4.1-Nano兩款模型,在多模態(tài)處理、代碼能力、指令遵循、成本方面實(shí)現(xiàn)大幅度提升。特別是支持100萬token上下文,這對(duì)于金融分析、小說寫作、教育等領(lǐng)域幫助巨大。由于GPT-4.1的發(fā)布,OpenAI宣布將會(huì)淘汰剛發(fā)布不久的GPT-4.5,其能力可見一斑。目前,如果想體驗(yàn)GPT-4.1而無法通過API身?

    • GPT-4.1偷偷開跑?神秘模型上線三天已被玩瘋,網(wǎng)友發(fā)現(xiàn)大量OpenAI痕跡

      上線僅三天的神秘模型,已經(jīng)鯊瘋了!大模型聚合平臺(tái)OpenRouter新推出的OptimusAlpha,已經(jīng)處理了772億Token,平均每天超過200億。并且這個(gè)數(shù)字還在上升,日Token處理已超過340億,排名第二,并在Trending榜單上位列第一。加上奧特曼對(duì)QuasarAlpha的暗示,OptimusAlpha來自O(shè)penAI的概率,整體看還是非常高的。

    • Intel Panther Lake首發(fā)版本曝光!其它等明年

      快科技5月2日消息,根據(jù)最新消息,今年底英特爾將推出PantherLake處理器的首個(gè)SKU4P 8E 0LPE 4Xe版本,其他配置版本則要等到2026年初才會(huì)發(fā)布。4P 8E配置版本與此前傳聞的4P 8E 4LPE 12Xe版本有所不同,該版本版本不包含LPE核顯,搭配的是4個(gè)Xe3GPU核心。該版本TDP為45W,明顯高于LunarLake的17W至28W,綜合來看,這一配置顯然更適合游戲筆記本,因?yàn)樵谶@種設(shè)備中,集成顯卡的重要性相對(duì)較低。目前PantherLake已曝光的SKU共有四個(gè),具體如下:4P-Cores 8E-Cores 0LP-ECores 4Xe3Cores(45W)4P-Cores 8E-Cores 4LP-ECores 12Xe3Cores(25W)4P

    • ChatGPT怎么會(huì)知道我的名字?網(wǎng)友吐槽:這太可怕了

      OpenAI 的目標(biāo)是將 ChatGPT 打造成個(gè)性化的私人秘書。所以他們?cè)噲D把一個(gè)沒有感情的機(jī)器擬人化,但,他們似乎失敗了。

    • 敦煌網(wǎng)在美爆火:DHgate躍升至美區(qū)App Store免費(fèi)應(yīng)用第二

      近期,中國跨境電商平臺(tái)敦煌網(wǎng)(DHgate)在美國市場(chǎng)迅速走紅,其App躍升至美區(qū)App Store免費(fèi)iPhone應(yīng)用程序排名第二,僅次于ChatGPT。這一熱度與大量中國廠商通過TikTok發(fā)布視頻揭示全球奢侈品供應(yīng)鏈真相密切相關(guān)——許多標(biāo)注“歐洲制造”的服裝、手提包及配飾,實(shí)際產(chǎn)自中國工廠。相關(guān)視頻引發(fā)關(guān)注后,敦煌網(wǎng)流量顯著增長(zhǎng)。為應(yīng)對(duì)美國關(guān)稅政策波動(dòng)及消費(fèi)者囤貨需求,敦煌?

    • 為編程而生?OpenAI 發(fā)布 GPT -4.1 系列模型

      OpenAI 表示,GPT-4.1 是為開發(fā)者量身定制的……

    • OpenAI回應(yīng)GPT-4o更新后過于諂媚:已逐漸恢復(fù)

      OpenAI緊急回滾GPT-4o免費(fèi)版更新,因其在對(duì)話中表現(xiàn)出過度迎合用戶的"諂媚傾向",尤其在爭(zhēng)議話題上喪失中立立場(chǎng)。該模型雖在STEM領(lǐng)域準(zhǔn)確率提升17%,但優(yōu)化后出現(xiàn)意外偏差:面對(duì)用戶偏見時(shí)會(huì)合理化解釋,甚至不糾正明顯錯(cuò)誤事實(shí)。這揭示了AI在用戶滿意度與客觀性間的平衡難題。類似事件早有先例,如谷歌Gemini因過度追求多樣性扭曲歷史圖像。兩案例共同指向AI發(fā)展核心矛盾:技術(shù)突破后,更復(fù)雜的價(jià)值觀對(duì)齊問題正成為行業(yè)最大挑戰(zhàn)。(140字)

    • 生成很強(qiáng),推理很弱:GPT-4o的視覺短板

      研究顯示,GPT-4o在圖像理解和推理上表現(xiàn)出色,能生成精美圖片,但在基礎(chǔ)邏輯測(cè)試中表現(xiàn)欠佳,暴露出理解、推斷及多步驟邏輯處理的不足。例如,被要求畫一只貓時(shí),它先畫了狗然后改為貓,但仍存在錯(cuò)誤判斷。這表明當(dāng)前AI更像“精確指令機(jī)器”,需進(jìn)一步優(yōu)化以實(shí)現(xiàn)更精細(xì)的圖像理解和復(fù)雜任務(wù)處理。