Andrew Zisserman 如何把多視角幾何、VGGNet 與視覺資料工程接到可靠 AI？從電腦視覺到多模態 LLM

Andrew Zisserman 如何把多視角幾何、VGGNet 與視覺資料工程接到可靠 AI？從電腦視覺到多模態 LLM

Andrew Zisserman 的研究把幾何、影像與大規模視覺學習連成一條清晰的工程路線。他是牛津大學工程科學系的 Professor、Royal Society Research Professor，也是 Visual Geometry Group 的 Principal Researcher。牛津工程科學系的官方人物頁記錄了他的職務與研究身份；他的牛津個人頁則整理多視角幾何、電腦視覺與研究出版物。這些資料提供一個重要背景：今天談多模態 LLM，不能只把影像當成一張附加圖片，而要問模型如何建立可檢查、可重用、能與文字推理對接的視覺表示。

Zisserman 長期在 Visual Geometry Group 工作，研究從相機幾何、影像配對、物件辨識到大規模視覺檢索。VGG 官方人物頁列出他在研究群組中的角色與合作網絡。這個脈絡對 LLM 團隊很有啟發：一個可靠的模型不是把資料丟進黑箱就結束，而是要把資料來源、特徵、座標、標籤、評估樣本和下游任務串起來，讓每次預測都能追問「模型看到了什麼、忽略了什麼、為何得到這個答案」。

多視角幾何：讓模型知道視覺訊息從哪裡來

多視角幾何處理的是一個很基本、卻常被生成模型掩蓋的問題：同一個世界在不同相機、不同時間與不同視角下，影像如何互相對應。當系統要從多張照片估計結構、找出相機關係或判斷某個點是否真的屬於同一個物體，單一像素相似度往往不夠。幾何約束提供了一種可驗證的中間層，讓系統可以檢查哪些對應合理、哪些深度估計不穩定、哪些結論缺少足夠觀測。

這種思維可以直接延伸到多模態 LLM。當模型回答「桌上有三個杯子」時，應該能把物體位置、遮擋關係、視角變化和原始影像區域保留下來，而不是只留下不可追溯的文字向量。當多張影像描述一個工廠設備或醫療影像時，系統也要知道哪些畫面是同一個事件、哪些只是相似外觀。把幾何一致性作為檢查條件，可以減少模型把不同時間或不同物體拼成一個流暢故事。

在資料管線上，幾何資訊可以變成帶版本的中間產物。每筆影像要記錄拍攝時間、相機或掃描設備、影像尺寸、座標轉換與品質旗標；每次配對要保存演算法版本、閾值、匹配數量和失敗原因。這些欄位不必全部送進文字模型，卻應能在模型產生答案後被檢索出來。如此一來，當使用者質疑一個空間判斷，工程師可以回到實際對應與測量，而不是只重新抽樣一次生成結果。

從 Multiple View Geometry 到視覺推理的介面

Zisserman 與 Richard Hartley 合著的 Multiple View Geometry in Computer Vision相關工作，對電腦視覺的影響不只在公式本身，也在於它建立了清楚的問題分解。相機模型、投影、基礎矩陣、單應性、三角化和姿態估計各自有假設與可測量的誤差。當假設不成立時，系統應該回報不確定性，而不是把數值硬塞進下一個模組。

多模態 LLM 也需要這種「可拆解介面」。影像編碼器負責視覺特徵，區域定位模組負責對應，文字模型負責語言推理，工具層負責查詢或計算；每一層都要定義輸入格式、輸出範圍和失敗狀態。若影像定位只有模糊的相似度，文字模型就不應把它寫成精確座標；若 OCR 的字元置信度不足，生成層就應要求補拍或指出不確定，而不是用語境猜出一串看似合理的數字。

這樣的介面讓評估更接近真實工作。測試不只問最後答案對不對，也問模型是否選對影像區域、是否把不同視角正確合併、是否在資訊不足時停止推論。對一個文件問答系統，可以同時檢查頁面定位、表格欄位、跨頁引用和最後摘要；對一個機器人系統，則要檢查物件追蹤、障礙物距離、動作前後的狀態差異。每個中間錯誤都能被定位，修復不必依賴大規模盲目微調。

VGGNet：深度與表示學習如何變成可複製的基線

Andrew Zisserman 與 Karen Simonyan 的 Very Deep Convolutional Networks for Large-Scale Image Recognition展示了更深的卷積網路如何在大規模影像辨識上形成具影響力的基線。這項工作常被簡稱為 VGGNet，但真正值得借鑑的是它對網路深度、卷積堆疊、訓練資料與評估方式的清楚描述。研究者可以依照公開的架構與設定重建實驗，再比較自己的變更究竟改善了哪一個部分。

對多模態 LLM 而言，VGGNet 的教訓不是照搬卷積層，而是保留可比較性。視覺編碼器若每輪都換掉輸入裁切、解析度、正規化和 token 化方法，最後的文字分數就很難解釋。團隊應固定一個可重現的基線，再逐項改動資料增強、視覺 token、跨模態投影或解碼策略。每個實驗都要同時報告整體分數、細分類別、長尾樣本、遮擋案例與計算成本，避免把一次偶然提升誤認成普遍能力。

深度表示也會放大資料品質的差異。若訓練影像含有重複、錯誤標籤、近乎相同的測試圖或未授權內容，模型可能在離線測試看起來很好，換到真實資料卻失效。資料集應保存來源、授權、去重雜湊、標註者、版本與拆分規則；測試集的樣本不能因為調參方便而反覆流入訓練。這種資料治理與模型架構同樣重要，因為多模態模型的幻覺有時源於錯誤影像配對，而不是語言解碼器本身。

視覺檢索：把「看過」與「找到證據」分開

VGG 的研究也涵蓋影像檢索與視覺辨識。檢索系統首先要從大量候選中找出相似或相關樣本，再用更精細的模型確認它們是否支持目前任務。這兩步不能混為一談：相似的建築不代表同一個地點，相似的商品包裝不代表同一個批次，相似的病灶影像也不代表同一種診斷。把候選排序分數直接當成事實，是視覺系統接上生成模型時常見的風險。

可靠的多模態檢索應把證據分層保存。第一層是影像或文件的身份與來源；第二層是局部區域、文字 OCR、表格欄位或幾何關係；第三層才是任務相關的推論。模型回答時要能指出引用的是哪個來源、哪個頁面或哪個影像區域，並把「未找到」與「找到但不確定」分開。當檢索系統沒有足夠證據，語言模型應該提出澄清問題或交給人工，而不是用訓練語料補上一個漂亮的敘事。

這個分層同樣適用於企業知識庫。產品照片、維修手冊、現場影片和感測資料可能描述同一設備，但它們的時間、權限與可信度不同。檢索索引要保存文件版本、有效期限、部門權限與資料新鮮度；跨模態合併前要先確認是否真的屬於同一資產或事件。如此一來，LLM 可以用更少的上下文找到更精準的證據，也能在文件過期或權限不足時明確拒答。

從視覺辨識到多模態 LLM 的資料閉環

把影像模型接到文字模型後，資料閉環會多出幾個新的失敗點。圖片可能被縮放到文字消失，區域 token 可能超過上下文限制，OCR 可能把表格欄位錯位，文字模型可能把一個低置信度標籤寫成肯定句。每一個轉換都要留下輸入與輸出摘要、版本和品質旗標。當答案錯誤時，團隊才能知道要重做影像前處理、改進定位器、補充資料，還是調整生成政策。

評估資料應包含有意義的困難案例，而不是只堆疊容易圖片。要測試不同光線、遮擋、視角、解析度、字體、語言與背景；也要測試多張圖片是否被錯誤混合，以及模型是否能理解「沒有足夠資訊」。對每個樣本保存可視化框、文字轉錄、參考答案與允許的答案範圍。若答案本來就有多種合理描述，評估就應檢查證據是否正確，而不是只用字串完全相等。

模型服務的監控也要跨越視覺與文字。除了延遲、錯誤率、token 數和成本，還要觀察影像尺寸分布、視覺 token 截斷率、OCR 置信度、檢索命中率、引用缺失率以及人工覆核比例。當某個來源的影像突然改版或相機設備更換，這些指標可以先提醒團隊資料漂移，再由人工抽查確認影響範圍。這比等到使用者大量回報模型胡說更可控。

讓幾何與深度網路互相校驗

幾何方法與深度網路並不是二選一。神經模型擅長從大量例子學到外觀與語意，幾何約束則擅長檢查空間一致性和測量誤差。把兩者放在同一個管線，模型可以先提出候選，再由幾何驗證是否與多張影像的觀測相容；若不相容，系統便回到候選搜尋或要求新的視角。這種互相校驗能降低模型把語意先驗當成實際觀測的機率。

在機器人、工業檢查和擴增實境中，這個方法尤其實用。系統可以把「看起來像某個零件」和「位於預期平面、尺寸在容許範圍、與前一幀運動連續」分開打分。LLM 負責把結果轉成操作人員看得懂的說明，但不應覆寫底層測量。若深度估計與語意判斷衝突，介面要顯示衝突並要求確認，而不是選一個最像人話的答案。

研究可重現性：從論文設定到產品版本

Zisserman 的研究脈絡也提醒 LLM 團隊重視版本控制。論文中的資料、程式、權重、訓練設定和評估腳本，若沒有清楚標記，其他人就無法知道結果差異來自架構還是環境。產品系統更複雜，還要加上向量索引、提示模板、工具版本、權限規則與回退策略。每次發布都應產生一份可讀的版本卡，列出使用的資料範圍、已知限制、不能處理的輸入、監控指標與回滾方式。

實驗追蹤不必把所有資訊暴露給使用者，但必須讓負責人可以重建一次結果。資料雜湊、模型檔案、程式提交、隨機種子和硬體配置應放在受控的紀錄中；引用與影像區域則要能在匿名化後供審查。當模型分數提升時，團隊要能回答它是否只對某個資料來源有效、是否增加了推理成本、是否犧牲了少數類別、是否引入新的隱私風險。這種問題清單比單一 leaderboard 更接近可靠部署。

給多模態 LLM 團隊的實作檢查表

1. 每個影像、文件與影片是否有來源、授權、版本、雜湊與保留期限？
2. 視覺編碼器、區域定位、OCR、檢索與文字解碼是否有清楚的輸入輸出契約？
3. 多視角或多張圖片是否有時間、相機、座標與事件身份，避免錯誤拼接？
4. 影像相似度、幾何一致性、文字證據與權限檢查是否分開評估？
5. 測試集是否涵蓋遮擋、低解析度、長尾物件、表格、不同語言與空證據案例？
6. 模型能否顯示引用來源、影像區域、置信度與不確定性，而不是只給結論？
7. 每次模型、索引、提示或工具更新是否可重現、可觀測、可回退？
8. 高風險操作是否設有人工覆核、停止條件與權限邊界？

Andrew Zisserman 的研究給多模態 AI 一個穩固的提醒：視覺能力不只是把圖片轉成一串 token，而是要在幾何、證據、資料與任務之間建立可檢查的關係。從多視角幾何的誤差與假設，到 VGGNet 對深度表示和可比較基線的實踐，再到 VGG 在檢索與辨識上的系統思維，這些工作都指向同一個方向：模型可以很強，但每個強項都要有邊界和測量方式。當這些中間證據被保留下來，LLM 才能在看圖、讀文件、理解空間與呼叫工具時，維持可追溯、可修正、可被人信任的行為。

對 AI 基礎設施而言，最終成果不是一個漂亮的示範，而是一條能長期運作的閉環。資料進來時知道來源，表示生成時知道版本，檢索時知道權限，幾何或語意衝突時知道如何停下來，輸出之後知道如何被覆核與回饋。這種閉環讓研究成果可以逐步進入產品，也讓產品中的失敗能回到可重現的研究問題。多模態 LLM 若沿著這條路線建構，才有機會把視覺理解從短暫的生成效果，變成真正可用的知識與工具介面。

延伸閱讀：Oxford Engineering Andrew Zisserman 人物頁、Andrew Zisserman 牛津個人頁、Visual Geometry Group 官方人物頁、VGGNet 原始研究頁。