Share:

Video summary

Jack Clark 估計 2028 年底前 AI 自主研發有六成機率,SWE-bench 與長任務測試顯示能力快速躍升。

Anthropic 共同創辦人、政策負責人 Jack Clark 預測,2028 年底前 AI 自主研發下一代 AI 的機率為 60%。他引用 SWE-bench 數據:Claude 2 在 2023 年解題率僅 2%,未發布的 Claude Mythos 達 93.9%;METR 長任務測試則從 GPT-3.5 的 36 秒,進步到 Opus 4.6 的 12 小時,研究者預估年底可能出現可執行 100 小時任務的模型。研究能力也快速成長,Opus 在 Core-Bench 最難任務的分數從 GPT-4o 的 21.5% 升至 95.5%;Anthropic 內部測試中,Mythos 將小型語言模型程式碼優化 52 倍。討論同時指出,AI 仍可能缺乏創意,且有對齊、假裝完成與錯誤複利等風險;能否可靠監督超越人類能力的模型仍是未解問題。

Chapters

  1. 0:00開頭:Jack Clark 預測 2028 年底前 AI 有 60% 機率自動化研發
  2. 2:15Jack Clark 是誰?Anthropic 政策負責人以研究估計 2028 年 AI 自主研發機率 60%
  3. 4:28第一個理由:Claude 2 的 SWE-bench 2% 升至 Claude Mythos 93.9%
  4. 6:16從 36 秒到 12 小時:METR 指標顯示 Opus 4.6 長任務能力躍升
  5. 8:13外插一下:從年底 100 小時推估 2027 年 40 天、再後一年 400 天
  6. 9:15第二個理由:Core-Bench 從 21.5% 升至 95.5%,Mythos 優化程式碼 52 倍
  7. 11:38AI 研究像組樂高?Transformer 自 2017 年以 scaling law 持續延伸
  8. 12:47AlphaGo 第 37 手:人類落子機率不到萬分之一,並引出 AI 對齊風險
  9. 15:31複利錯誤:99.9% 準確度迭代 500 代後降至 60%,Anthropic 測試 AI 對齊
  10. 16:39當 AI 比人聰明:十萬行程式碼難審,模型也可能假裝通過對齊測試
  11. 18:11預測對錯不重要:從 Jack Clark 的數據推導學習,持續更新 AI 核心技能

This is a Tier 1 public summary

Whether the chapter key points, section summaries and mind map are public is up to the person who shared it. Want the full analysis?Submit one yourself.

More from this channel

Related analyses