在近日的一次訪談中，Andrej Karpathy深入探討了AGI、智能體與AI未來十年的走向。他認為當前的「智能體」仍處早期階段，強化學習雖不完美，卻是目前的最優解。他預測未來10年的AI架構仍然可能是類似Transformer的巨大神經網絡。

在最新一期的《Dwarkesh Podcast》里，Andrej Karpathy，這位OpenAI的創始元老、前特斯拉AI團隊負責人、深度學習的大佬，與主持人Dwarkesh Patel進行了兩個多小時的對話。

Karpathy暢談了他對AGI時間線、智能體、大模型認知、強化學習等AI圈核心問題的看法。

Andrej Karpathy（左）與主持人Dwarkesh Patel（右）

AGI還有十年之遙

談話從當前火熱的「智能體」切入。

對于業內普遍鼓吹的「智能體元年」Karpathy顯得非常冷靜。

他認為行業里存在一些過度預測。更準確地說，應該稱為「智能體的十年」。

「雖然我每天都在用一些非常出色的智能體，比如Claude和Codex，但它們仍是一些非常初期的智能體，還有大量工作要做，這也是我們在未來十年內要持續研究的東西」。

Karpathy所說的「智能體的十年」，是指這些智能體還需要經過大約十年的持續研究工作，才能讓它們真正能用。

Karpathy列舉了當前智能體的主要問題：智能不足、多模態能力弱、無法自主操作電腦等。

在他看來，這主要是由于智能體在認知上存在缺陷，也沒有持續學習能力。這些基礎性問題的解決，大約需要十年。

談到大家熱議的AGI何時到來的問題，Karpathy的答案是10年。

這是Karpathy基于他的個人直覺以及在AI行業大約15年的經驗所做出的判斷。

在這15年中，Karpathy親自經歷了AI行業的幾次重要變革，并從中看到一些規律性。

他看到人們曾幾次過早地試圖一步到位追求完整的智能體，而忽略了一些前期必須要完成的基礎工作：

「現在的智能體能力強多了，但我們可能仍然缺少這個技術棧的某些部分。」

Patel問到10年后，AI的核心架構是否還會類似Transformer的架構。

Karpathy預測未來十年AI的核心架構仍可能基于Transformer，但形態會有所演化。

他從「時間平移不變性」的角度來看待技術進步。

10年前我們主要用卷積網絡，如今換成Transformer，核心機制仍是前向傳播與梯度下降。

「可以打賭的是，根據平移等變性，10 年后我們仍然會用前向后向傳播和梯度下降來訓練巨大的神經網絡，但也許它看起來會有點不同，而且所有東西都會變得更大。」