Jiajun Wu 如何用神經符號概念讓具身 Agent 學會可組合推理？

Jiajun Wu 如何用神經符號概念讓具身 Agent 學會可組合推理？

搜尋「Jiajun Wu 神經符號概念」的讀者，通常不是只想知道他的職稱，而是想理解：一個 agent 如何把看見的物件、語言中的關係與實際可執行的動作組合起來，並在新任務中保留可檢查的推理結構？本輪鎖定一個搜索意圖：理解 Jiajun Wu 的 Neuro-Symbolic Concept Learner 與概念中心 agent，如何把概念落地到感知、推理、規劃與行動，再把這套表示方式轉譯成今日 LLM agent 可以採用的工程邊界。這不是把視覺或機器人研究誇大成一個通用聊天模型，也不把研究原型直接當成已完成的產品。

先確認 Jiajun Wu 的研究入口與問題意識

Jiajun Wu 官方研究頁將他的研究主題放在 physical scene understanding、multi-modal perception、visual reasoning、visual generation、robotics and embodied AI。Stanford Profiles則核對他是電腦科學助理教授，並兼任心理學職務，研究橫跨電腦視覺、機器學習、機器人與計算認知科學。這些來源支持人物和研究範圍；本文的核心仍放在「概念如何成為 agent 的可組合介面」，而非羅列完整履歷。

他的問題意識與單純追求端到端分數不同：機器是否能從多種經驗形成可重用的概念，將概念放回真實或模擬世界，再用它們回答新問題、訂出計畫並採取動作？如果每個任務都需要一套新的資料與模型，agent 就很難成為能跨環境工作的系統；如果概念能被拆開、組合、更新與驗證，模型才有機會在新任務上重用已學到的結構。

Neuro-Symbolic Concept Learner 解決的讀者問題

Neuro-Symbolic Concept Learner把場景理解拆成幾個相互連接的問題：如何從影像與語言中學到物件概念，如何表示物件之間的關係，如何把自然語言問題解析成可執行的程序，以及如何讓程序回到感知資料中取得答案。這種分解讓「圖片中有什麼」與「某個物件是否在另一個物件左邊」不必被壓縮成一個無法檢查的答案分數。

以視覺問答為例，系統可以先辨識物件，再判定顏色、形狀或空間關係，最後依照問題組合查詢。NS-VQA 專案入口代表這類神經感知、語意解析與符號執行器的組合方式。神經網路負責從影像取得柔性的表徵，符號程序則把問題轉成可逐步執行的結構；當答案錯了，研究者至少能追問是物件辨識、關係判斷、程式解析，還是執行器出錯。

這裡的重點不是所有任務都必須使用固定 DSL，而是把高風險推理拆成可審查的中間契約。LLM 可以產生候選程序或工具計畫，但外部執行器仍應檢查型別、參數、前置條件與結果。這個分工能保留生成模型的泛化能力，同時把權限、資產、空間位置與不可逆操作交給更嚴格的驗證層。

概念不是標籤，而是可以落地的表示

在Building Intelligent Agents with Neuro-Symbolic Concepts中，Wu、Jiayuan Mao 與 Joshua B. Tenenbaum 將概念中心 agent 描述為一種能在多個領域學習與推理的框架。概念可以代表物件、關係與動作，並以神經網路表示和符號程序共同承載。對「橘色圓柱在瓶子左邊」這種複合指令，系統不是把整句當成一個新的不可分解類別，而是把橘色、圓柱、瓶子、左側與移動動作組合起來。

這種表示讓概念具有兩個重要屬性。第一是 grounding：概念要能對應到影像、影片、三維場景或機器人動作中的實體，而不是只存在語言空間。第二是 compositionality：已學會的簡單概念可以依照結構組合成新問題或新行動。當「紅色」「蘋果」「盤子」「放上去」被分開表示時，新增一種顏色或換一個容器，不必為每種組合重新蒐集完整的端到端示範。

對 LLM agent，這提供一個比「把所有東西放進上下文」更具體的設計方向。模型可把自然語言解析成物件、關係、目標與限制，再由狀態估計器確認它們是否存在，最後由規劃器產生行動。每一個中間結果都應保留來源與置信度；如果「左側」來自視覺估計、「可移動」來自工具回傳，兩者不能被同一種無來源的文字記憶取代。

從概念組合到可泛化的 agent

概念組合的價值不只是讓程式看起來更漂亮，而是降低新任務的學習成本。當系統已經懂得物件屬性、空間關係與動作前後條件，就可以把這些單元放到未見過的場景與指令中。這種 compositional generalization 必須用刻意設計的組合外測試驗證：訓練時看過紅球與藍方塊，不代表它真的懂得把未見過的顏色、形狀與關係組合在一起。

可泛化也不能只看最後答案。研究者要檢查 agent 是否選對了物件、是否理解關係方向、是否遵守動作的前置條件，以及執行後的狀態是否符合預期。若 agent 偶然猜對答案卻使用錯誤的中間狀態，換一個視角或干擾物就可能失效。這也是概念式系統對 LLM 的價值：它把「答案正確」和「狀態、程序、行動都一致」分開評估。

Shape Programs 與 CLEVRER：把視覺推理推向結構與因果

Shape Programs 專案把三維形狀與可組合的程式結構連在一起，說明場景表示可以不只是一張像素圖或一個整體向量。當物體由部件、幾何關係與可操作結構描述時，模型才有機會回答「改變哪個部件會影響結果」這類需要結構的問題。對具身 agent，這個差異很實際：能生成看似合理的影像，不等於能提供可供抓取、碰撞檢查與路徑規劃使用的世界狀態。

CLEVRER 專案則把影片中的事件、關係與因果推理放進可測量的資料環境。agent 不只要描述畫面發生了什麼，還要判斷哪個物體的運動造成後續事件，以及如果移除某個事件，結果是否會改變。這種反事實問題對 LLM agent 很有啟發：在執行高風險工具前，不能只生成一個最可能的計畫，也應該模擬替代條件、檢查前置狀態與預測可能的副作用。

不過，視覺場景中的因果推理不能直接等同於語言模型的推理。可以移植的是問題結構——物件、事件、原因、干預與結果——而不是把影像模型的分數當作 LLM 的證據。每個新模態都要重新建立資料契約、狀態表示與反事實測試，這也是將研究原型轉成基礎設施時不可省略的工作。

多模態感知如何連到實際行動

Jiajun Wu 官方研究頁也列出ObjectFolder與其他從視覺、聲音、觸覺到物體互動的研究入口。多模態的挑戰不是把更多資料餵進同一個模型，而是讓不同感測訊號對同一個物件與狀態保持一致。圖片告訴系統物件在哪裡，觸覺可能告訴系統它是否真的被抓住，聲音則可能提供碰撞或接觸的時間線；這些訊號若互相矛盾，agent 必須保留不確定性，而不是選一個最流暢的敘述。

把這個原則轉進 LLM agent，可以建立一個狀態層：每個物件有穩定身份，每個關係有來源與時間，每個動作有前置條件和預期結果。語言模型可以負責將人類指令轉成候選目標，但狀態層要驗證目標是否可達；工具執行後，回傳結果必須更新狀態並保存差異。這樣的閉環能讓團隊在錯誤發生時追問是哪個感測器、哪個解析步驟或哪個動作控制器造成偏差。

持續學習：新增概念不能破壞既有安全邊界

概念中心架構常被期待能持續吸收新物件、新詞彙與新偏好，但持續學習也會帶來污染風險。對產品 agent 而言，新的概念可分成三層：可以由資料自動更新的描述、需要測試後才啟用的行動規則，以及只能由受控流程變更的安全與權限約束。三者不能都交給同一個向量資料庫或同一個模型微調步驟處理。

每次概念更新都應帶有來源、版本、範例、衝突檢查與撤回方式。若新概念和既有關係矛盾，系統要顯示衝突並停止高風險動作；若只是使用者偏好改變，則可在明確範圍內更新。這種治理讓「會學習」不等於「任意覆寫」，也讓人類審查者知道一個動作計畫依賴哪一版概念與哪一批資料。

把神經符號概念轉成 LLM agent 的最小工作流

第一步是定義任務世界，而不是先選模型。列出可觀測物件、關係、目標、可用工具與不可逆操作，並指定哪些狀態必須由外部來源核對。第二步是建立概念與狀態 schema，要求每個概念能回到輸入片段、影像區域、資料紀錄或工具事件。第三步讓 LLM 產生候選解析與計畫，但交由型別、前置條件與權限檢查器判定是否可執行。

第四步在執行前做反事實與失敗預演，例如移除一個物件、改變關係、讓工具回傳錯誤或讓資料過期，觀察計畫是否仍然安全。第五步在執行後把實際結果回寫到狀態層，保存預期與現實的差異。這個差異比一段事後生成的解釋更重要，因為它能直接告訴團隊模型錯在感知、概念組合、規劃還是控制。

這個流程不會把 LLM 變成完美的符號系統，也不要求所有語言都能被完整形式化。它只是把生成模型放在適合它的位置：用來提出候選概念、解析與計畫；把高風險狀態、型別、權限、動作結果與反例交給可重跑的外部檢查。這種分工比讓單一模型同時負責理解、記憶、決策與自我保證更容易驗證。

評估要看組合泛化與行動結果，不只看回答相似度

Jiajun Wu 的研究跨越視覺問答、場景理解、影片推理與機器人，提醒我們 benchmark 必須反映 agent 的完整鏈路。對概念式 LLM agent，至少要分開測量：物件與關係辨識、語言到程序的解析、未見組合的泛化、前置條件檢查、工具失敗後的回復，以及執行後狀態是否正確。只看最後文字是否和標準答案相近，無法發現 agent 使用了錯誤物件或繞過安全檢查。

測試集也要刻意加入反例：交換左右關係、改變物件顏色、加入遮擋、讓工具狀態過期、提供互相矛盾的感測結果，並要求 agent 說明它應該停在哪一步。對研究原型而言，這些失敗案例有助於判斷概念表示的邊界；對產品而言，它們可以直接變成 release gate。評估不是最後才做的報表，而是概念、程序與工具介面共同定義的一部分。

不要過度延伸：研究原型和通用 LLM 不是同一件事

Jiajun Wu 的公開來源支持他在物理場景理解、神經符號概念、視覺推理、多模態與具身 AI 的研究角色；它不支持把這些工作寫成已完成的通用 LLM agent，也不支持推斷他對所有現代產品的決策。Neuro-Symbolic Concept Learner 展示的是一種研究框架與能力方向，真正部署仍會遇到感測噪聲、長程記憶、工具權限、資料漂移與成本限制。

同樣地，概念程序的可讀性也不代表它一定正確。符號層可能建立在錯誤感知上，程序可能忠實執行錯誤目標，世界狀態也可能在執行中改變。因此，神經層與符號層都要被測試，兩者之間的轉譯也要有可觀測紀錄。保留這些限制，反而能讓讀者更清楚知道哪些是已驗證研究，哪些是可借鑑的 agent 設計。

結論：讓 agent 的概念、計畫與行動可以被拆開檢查

Jiajun Wu 這一輪值得聚焦的不是「他做過多少視覺與機器人專案」，而是他把 agent 的能力拆成可落地的問題：概念如何從感知中形成，如何以語言與世界對齊，如何和其他概念組合，如何在新任務中泛化，以及如何轉成帶有前置條件與結果檢查的行動。Neuro-Symbolic Concept Learner 與概念中心 agent 提供了一個清楚的研究鏡頭，讓讀者看到端到端模型之外的另一種基礎設施取捨。

對 LLM agent，最可移植的做法是把 LLM 放在候選生成與語言介面的位置，讓概念、狀態、型別、權限、工具與反事實測試形成外部可驗證閉環。這樣做不保證每次推理都正確，卻能讓錯誤被定位、計畫被拒絕、行動被回滾，並讓跨任務泛化成為可測量的工程目標，而不是一句關於「更像人」的宣傳。

官方資料來源

• Jiajun Wu 官方研究頁：核對人物、研究主題與專案入口。
• Stanford Profiles：核對學術職務與研究領域。
• Building Intelligent Agents with Neuro-Symbolic Concepts：核對概念中心 agent 框架。
• Neuro-Symbolic Concept Learner：核對神經感知、語意解析與符號執行。
• NS-VQA：核對神經符號視覺問答專案。
• Shape Programs：核對結構化形狀與程式表示。
• CLEVRER：核對影片事件與因果推理資料。
• ObjectFolder：延伸多模態物體感知與互動研究。
• BEHAVIOR：延伸具身環境與行動任務研究。