ARC Prize財団、「ARC-AGI-3」公開…最新AI正解率0.26%、人間は100%

팀

팀제이커브

Mar 31, 20263m ago

カテゴリー

Empty

ARC Prize財団が出した新しいベンチマークは挑発的な数字を持って出た。人間は100％を緩めたが、GPT-5.4、Claude opus 4.6、Gemini 3.1 pro previwなど、現存する最高レベルのAIシステムは0.26％にとどまった。 ARC-AGI-3は、このギャップを正確に測定するために設計された新しい種類のAI評価ツールです。

ARC-AGI-3は、数百のターンベースの環境で構成されています。各環境は人間ゲームデザイナーが直接制作した独創的なパズルであり、規則もなく指示もなく目標も明示されない。 AIエージェントは環境に飛び込んで、自分で探索し、どのように機能するかを把握し、勝利条件が何であるかを発見しなければなりません。前の問題で学んだことがますます困難になる次のステップに適用できるはずです。

ARC-AGI-1とARC-AGI-2が固定形式でパターンを認識する能力を測定した場合、ARC-AGI-3は「指示なしに自分で目標を設定し行動する能力」を測定する。これが重要な車だ。現在AIがうまくやっているのは、指示に正確に従うことだ。一方、人間はルールを知らせなくてもゲームをしてみながらすぐに把握する。 ARC-AGI-3はまさにこのギャップを明らかにする。

ARC Prize財団は2026年大会を共に発表した。総賞金規模は200万ドル（約29億6千万ウォン）であり、ARC-AGI-3エージェント大会とARC-AGI-2オープンソースグランドプライズで構成される。 ARC-AGI-2グランドプライズは、2026年の最高のオープンソースソリューションに必ず授与されると明示した。発表イベントは3月25日、サンフランシスコY Combinator本社で行われ、ARC-AGI創始者フランソワ・ショーレとOpenAI CEOサム・アルトマンが「AGI測定」をテーマに大胆を交わした。

このベンチマークが重要な理由は、AI業界の「性能誇張」問題に正面から対応するためだ。 GPT、Claude、Geminiなどが、MMLU、HumanEval、GSM8Kなど既存のベンチマークで人間レベル以上を達成したという報道が続いているが、ARC-AGI-3は、これらすべてのモデルが0.26%を超えないという事実を示す。ショレーは「コーディングと数学で優れたモデルでも見知らぬ環境で自ら探索して適応する能力は依然として人間と比較できないレベル」と話した。 AI技術発展の次の課題がどこにあるのかを最も明確に示すデータがARC-AGI-3だ。

ソース: ArXiv — ARC-AGI-3: A New Challenge for Frontier Agentic Intelligence