Felix Gers 如何把 LSTM、持續學習與語音對話帶進 LLM 時代？從 CoDi 到可驗證的 AI 記憶

Felix Gers 如何把 LSTM、持續學習與語音對話帶進 LLM 時代？從 CoDi 到可驗證的 AI 記憶

Felix Gers 的研究故事，連起了幾個經常被分開討論的 AI 問題：模型怎樣保存序列中的重要訊號、怎樣在資料變動時繼續學習，以及語音、文字和互動系統怎樣組成一個可以實際使用的產品。Berliner Hochschule für Technik（BHT）的官方人物頁記載，他在 EPFL 完成博士研究，並與 IDSIA、Jürgen Schmidhuber 的實驗室合作，研究以 Long Short-Term Memory（LSTM）為核心的遞迴神經網路；目前的研究範圍包括人工智慧、深度學習、RNN、LSTM、自然語言處理與多媒體程式設計。這條履歷對理解今天的 LLM 很有幫助，因為大型語言模型雖以 Transformer 為主，仍然必須面對記憶、遺忘、順序、持續更新與跨模態互動等同一組基本問題。

先把人物位置說清楚：從物理到 AI 系統

研究者的技術影響，不能只用一個流行關鍵字概括。BHT 官方履歷說明，Gers 早年在漢諾威萊布尼茲大學取得物理學學位，畢業論文研究玻璃光纖中的受激布里淵散射；之後在洛桑聯邦理工學院完成博士，研究方向轉向 AI 系統與遞迴神經網路。這種跨領域路徑並不表示物理背景會自動帶來更好的模型，而是說他把對動態系統、訊號與時間演化的訓練，帶進了需要處理序列和狀態的機器學習問題。

這個背景也提醒 LLM 團隊，模型工程不只是挑一個架構名稱。每個任務都有自己的輸入訊號、時間尺度、標註品質和失敗成本。語音辨識需要處理連續波形，文字模型要面對可變長度的離散 token，醫療篩選則需要清楚追蹤樣本、特徵和人工覆核。把不同任務都稱為「生成式 AI」，容易掩蓋真正要設計的狀態介面與驗證方法。

LSTM 的核心：學會何時保留，何時放下

遞迴神經網路每讀入一個時間點，就把狀態傳到下一個時間點。理論上，狀態可以保存很久以前的資訊；實際訓練時，梯度在長鏈路上可能逐步變小或變大，使模型難以學會長期依賴。LSTM 透過輸入閘門、遺忘閘門與輸出閘門，把寫入、保留和讀出拆成可學習的控制。這不是把記憶變成無限容量，而是讓模型有機會根據資料決定哪一部分訊號值得繼續傳遞。

Gers 在 EPFL、IDSIA 合作的研究脈絡，正位於這個問題的關鍵位置。早期的 LSTM 研究通常用可控制的序列任務測試模型能否跨越長時間間隔，並觀察它是否能在有干擾的輸入中維持正確狀態。把這些實驗翻譯到今天的 LLM，不應直接宣稱 LSTM 等同 Transformer，而應該保留問題本身：模型是否能分辨永久事實、暫時提示和已經失效的上下文？它是否能在新資料進來時更新，而不把舊錯誤一起複製？

遺忘閘門特別值得放進 AI 產品設計。若系統永遠累積所有對話，長期記憶會變成污染來源；若系統過度清除，使用者每次都要重新說明背景。對 agent 而言，遺忘並不是資料遺失的同義詞，而是需要規則、權限與可稽核紀錄的生命週期管理。哪些內容由模型暫存、哪些內容寫入外部資料庫、哪些內容必須由使用者確認，都應該在介面層明確寫出來。

從 LSTM 到 LLM：不要把架構替換誤認成問題消失

Transformer 以 attention 平行處理長距離關係，改善了訓練速度和硬體利用率，並成為今日 LLM 的主流基礎。這個進步沒有讓記憶問題消失，只是把部分問題改成新的形式：context window 可以放多少內容？注意力是否真的聚焦在關鍵片段？當上下文超過容量時，系統怎樣壓縮、捨棄和恢復？如果檢索器回傳了互相衝突的版本，模型應該保存哪一個？

因此，閱讀 Gers 的 LSTM 背景，最有價值的方式不是說「RNN 比 Transformer 好」，而是使用一組更精準的測試。第一，給模型一段很長的對話，在中間插入干擾，檢查它是否能找到真正的依賴。第二，逐步更新同一個事實，測試模型是否能按照時間和來源優先級修正舊答案。第三，加入需要保留但不應主動展示的個人資料，確認系統能區分可用記憶和不應洩漏的記憶。第四，讓使用者要求刪除一項記憶，再驗證快取、索引、摘要和下游 agent 是否都停止使用它。

這種測試把「長上下文」轉成可驗收的工程行為。模型在 benchmark 上的平均分數，不能單獨證明它真的理解了時間順序或記憶規則。讀取位置、來源標記、修改時間、信心、拒答和人工覆核，都應該成為產品的可觀察欄位。這正是早期神經網路記憶研究對 LLM 團隊的延續性價值。

CoDi：把演化結構和細胞自動機變成可學習的表示

BHT 官方頁記載，Gers 曾在日本 ATR 的演化神經結構專案中，提出以 Cellular Automata（CA，細胞自動機）為基礎的 CoDi 演算法。細胞自動機用局部規則和鄰近狀態，逐步產生整體結構；它的直覺與大型神經網路很不一樣，但同樣關心一個系統如何由局部更新形成可觀察的全局行為。這段經歷提醒我們，模型表示不一定要一開始就被設計成完整、固定的結構，也可以透過規則、演化和反覆更新逐漸形成。

把 CoDi 連到 LLM 時必須保持分寸：CoDi 不是語言模型，也不能因為兩者都使用「學習」就直接推導產品效能。可以借用的，是表示和搜尋的觀念。當 agent 要規劃多步任務時，系統可以把狀態拆成局部可驗證的節點，再用規則或檢索選擇下一個狀態；如果每一步都能記錄輸入、更新和來源，失敗時便不必只看一個難以解釋的最終答案。

這個觀點對工作流型 AI 特別實用。例如文件審核 agent 可以把案件拆成身份核對、日期核對、條款抽取和衝突檢查，每個節點都只讀取必要的上下文，並把結果和證據寫回事件紀錄。語言模型負責理解和表達，規則引擎負責不可違反的條件，人工負責高風險例外。局部更新不會自動保證正確，但它能讓團隊知道是哪一個狀態、哪一筆來源或哪一次工具呼叫造成偏差。

從藥物篩選到資料科學：AI 要對資料生命週期負責

Gers 的官方履歷也記錄他在 Mantik Bioinformatik 參與藥物開發的自動化物質篩選，使用 Bayesian Classification 和 Neural Networks；在 KI-Team Berlin 則以深度神經網路處理 3D LaserScan 資料的自動分類。這些經歷把「模型能不能生成漂亮文字」之外的實際問題放到前景：樣本怎樣取得、分類錯誤會帶來什麼代價、資料分布改變後要怎樣監控，以及何時必須由專家覆核。

對今天的醫療 LLM 或科學 agent，這些問題仍然存在。模型可以協助整理文獻、標記候選物質或提出實驗順序，但不能把統計分類的輸出直接寫成臨床事實。系統需要保留來源段落、資料版本、模型版本、提示模板和人工決策；如果新批次資料的分布和訓練資料不同，應該標示 out-of-distribution 風險，而不是用更流暢的文字掩蓋不確定性。

Bayesian 分類帶來的另一個啟示，是把不確定性當作輸出的一部分。LLM 常以文字信心取代真正的機率校準，容易讓讀者誤以為肯定語氣就是高可信度。更健全的產品會把來源覆蓋率、證據新鮮度、衝突數量、人工覆核狀態和模型信心分開顯示。當不同訊號互相矛盾時，最好的回應可能是暫停、詢問或轉交專家，而不是繼續生成一段完整答案。

Brain Bots 與遊戲 AI：對話不等於聊天泡泡

在 Bionic-Machines 的電腦遊戲專案中，官方資料說明 Gers 參與 Game-AI 和 avatar 對話系統，技術核心包含玩家語音轉文字、對話處理，再把回覆轉成語音。FashionBrain 的團隊頁也以類似方式描述這個即時 SpeechToText、對話系統和 TextToSpeech 的串接。這是一個很早就具備「多模態 agent」雛形的工作流：輸入不是乾淨的文字，系統要先辨識、保留上下文、決定行動，再用符合情境的形式回應。

即時對話的難題和今天的語音 LLM 很接近。辨識錯一個名字可能導致錯誤行動；等待模型完成整句推理會造成延遲；過早回應又可能打斷使用者。產品因此需要明確的 turn-taking、可取消、可重試和 fallback 設計。語音辨識、語言模型、工具呼叫和語音合成的每一層都要記錄時間戳與錯誤類型，否則使用者只會感覺「AI 聽錯了」，工程團隊卻找不到問題在哪裡。

把這套經驗帶到 LLM agent，應該把對話視為一個狀態機，而不是無限延伸的聊天泡泡。當使用者下達高風險指令，系統可以先確認意圖，再顯示將使用的工具和資料範圍；當工具失敗，應該清楚告知是網路、權限或內容問題；當上下文被截斷，應該讓使用者知道模型沒有讀到哪一段。這些設計不會讓模型本身更聰明，卻能讓錯誤變得可理解、可修正。

自然語言處理的連續性：從 token 到可用任務

BHT 將 Gers 的研究領域列為 NLP、神經建模與深度學習，也列出 CoDi、LSTM、GBL、Brain Bots 等專案入口。這些名稱背後有一個共同問題：如何把連續的感知、離散的符號和可以被執行的操作接在一起。今天的 LLM 以 token 讀取文字，再以 token 生成文字；若要讓它成為可靠工具，還必須處理資料格式、權限、環境狀態、工具回應和人類的目的。

因此，評估 NLP 系統時不應只問它能否完成單次問答。要測試它能否在同一任務中維持名詞一致、遵守格式、引用正確來源、在新資訊出現時修正答案，並在不確定時停止。對話系統的成功標準也不只是字錯率或 BLEU，而是任務是否完成、錯誤是否能被使用者發現，以及模型是否在關鍵步驟保留了足夠的可追蹤證據。

對中文與多語言 LLM，還要注意語言切換造成的狀態漂移。語音辨識可能把專有名詞轉成近音詞，翻譯可能改變否定或時間，摘要可能刪掉條件句。資料管線應保留原文、正規化文字、翻譯版本和人工修訂，讓模型輸出不是唯一真相。這種多版本記憶管理，正好呼應 LSTM 時代對保留、更新和遺忘的基本提問。

給 AI/LLM 團隊的七項工程做法

第一，先定義系統的狀態，再選擇模型。把即時語音、長期記憶、檢索結果和使用者偏好分成不同欄位，避免所有內容都塞進一個提示。第二，為每一種記憶設定生命週期，包括建立、更新、過期、刪除、恢復和稽核。第三，建立干擾序列測試，驗證模型真正依賴相關上下文，而不是被最近出現的文字牽著走。

第四，將來源與輸出綁在一起。每個高風險句子都應能回到原始文件、資料版本或工具回應；若找不到來源，介面就要降低信心或要求人工確認。第五，為語音和多模態流程加入逐層延遲與錯誤指標，分辨是 ASR、LLM、工具還是 TTS 造成失敗。第六，使用小型、可重現的回歸集合測試資料漂移，不要只依賴一次大型 benchmark。第七，把刪除和更正做成真正可驗證的操作：刪除一筆記憶後，快取、向量索引、摘要和 agent 讀取都必須停止引用。

這些做法的共同點，是將「記憶」從抽象能力轉成可操作的產品契約。模型可以不斷進步，但資料來源、權限和失敗處理不能靠一句 system prompt 帶過。Gers 的研究路線從 LSTM、CoDi、科學分類到即時對話，讓我們看到 AI 系統的價值常常不在單一模型，而在模型如何嵌入一個有時間、有資料、有使用者和有責任邊界的環境。

公開來源與延伸閱讀

Felix Gers 的身分、研究領域、學術履歷與官方照片，以 Berliner Hochschule für Technik 官方人物頁為主要來源；本文使用的圖片是該頁引用的 BHT 官方圖片檔。BHT 的官方專案頁補充了 LSTM、CoDi、即時語音辨識與 avatar 對話系統的專案脈絡，官方出版頁則提供研究與出版線索。跨校合作與產業應用的另一份公開人物資料，可參考FashionBrain 團隊頁；研究者的公開學術身份與論文列表，也可交叉查看OpenReview Felix Gers 個人頁。這些來源支持人物經歷、研究範圍與應用脈絡；本文不把早期 LSTM 或 CoDi 實驗直接宣稱為現代商業 LLM 的產品保證。

結語：把記憶變成有邊界的能力

Felix Gers 值得進入 AI/LLM 名人堂，不是因為一個名字可以替任何新模型背書，而是因為他的研究與工程履歷持續追問同一件事：系統如何在時間中保持有用的狀態。LSTM 讓保留與遺忘成為可學習的控制，CoDi 展示由局部規則形成結構的可能，藥物篩選與 3D 分類把資料漂移和不確定性帶回現實，Brain Bots 則把語音、對話和即時回應放進同一個工作流。當今天的 LLM 被要求記住更多、行動更快、連接更多工具時，最重要的進步不只是擴大參數，而是讓每一次記憶、更新、引用和遺忘都能被人理解、驗證與撤回。