人間には簡単だろうけどAIには難しいテスト「ARC」を用いたコンテスト「ARC Prize 2024」が開催中みたいです。
このコンテストでは総額110万ドル(約1億7780万円、1ドル=161円換算)以上の賞金が用意されているそうです。
私には無縁か…?笑
記事の説明
人工知能(AI)の分野では、汎用人工知能(AGI: Artificial General Intelligence)の進歩が停滞しているという認識が広がっています。
現在のAI研究は、大規模言語モデル(LLM)を用いた訓練に重点を置いていますが、これらのモデルは単純な問題への適応や新しい発明を行うことができず、真の意味での知能とは言えない状況にあります。
この問題に対処するために、「Zapier」の共同創設者マイク・クヌープ氏と「Keras」の開発者であるフランソワ・ショレ氏が提案する「ARC」(Abstraction and Reasoning Corpus)というベンチマークテストが注目されています。
ARCは、人間には簡単だがAIには難しいテストで、これまでの競争では人間が平均84%の正解率を示す一方で、AIの最高スコアは30%程度にとどまっています。
テスト内容は、カラフルなタイルが表現されたグリッド図形からパターンを見つけ、問題用のグリッド図形にそのパターンに基づいたカラフルなタイルを表現するというものです。
具体的なテスト例としては、3×3や4×4、5×5、7×7、9×9などのグリッド図形が用いられます。
現在、「ARC Prize 2024」というコンテストが開催されており、賞金総額110万ドル(約1億7780万円)が用意されています。 グランプリの50万ドル(約8081万円)は、ARC-AGIの非公開評価セットで85%以上のスコアを達成した最大5チームに授与されます。
また、トップスコア賞と論文賞も用意されており、参加者は提出物のコードと手法をパブリックドメインのオープンソースライセンスの下で公開する必要があります。
コンテストは2024年6月11日に開始し、11月10日に提出締切、12月3日に賞の発表が予定されています。
ARCの歴史は2019年に始まり、2020年のKaggleでの最初の競争、2021年の米ニューヨーク大学の研究、2022~2023年に開催したコンテスト「ARCathon」を経て、現在の「ARC Prize 2024」に至っています。
高村の考え
このARCの取り組みは、一見難しいことをしているように見えますが、根本的には人間の知能にどれだけ近づけるかという挑戦に他なりません。
現在のAIは膨大なデータを用いて訓練されていますが、単純な問題への適応力や創造力においてはまだまだ人間には及びません。
そのため、AGIの進歩は停滞していると感じるのも無理はありませんね。
しかし、このARCのテストはその停滞を打破するための重要な一歩かもしれません。
人間にとって簡単な問題でも、AIにとっては非常に難しいというギャップを埋めることで、真の汎用人工知能に近づくことができるでしょう。
特に、ARC Prize 2024のようなコンテストは、世界中の研究者が新しいアイデアを提案し、共有する場として非常に価値があります。
私たちが目指すべきは、AIが人間のように柔軟に考え、問題を解決できるレベルに達することです。
そのためには、現行の大規模言語モデルを超える新しいアプローチや、より人間の思考に近いアルゴリズムの開発が不可欠です。
ARCを通じて、そうした新しい可能性が広がることを期待しています。