John Schulman 如何把強化學習帶進 ChatGPT？PPO、RLHF 與後訓練

John Schulman 如何把強化學習帶進 ChatGPT？PPO、RLHF 與後訓練

先講結論：John Schulman 的技術路線把策略梯度、PPO 與人類回饋後訓練連成一條工程史：先讓策略更新更穩定，再用偏好資料和 reward model 調整語言模型行為；RLHF 能改善可用性，卻不等於完整解決真實性、安全或價值衝突。

John Schulman 研究了什麼？ 他從深度強化學習與策略最佳化出發，參與 TRPO、PPO 及語言模型後訓練等工作。

TRPO 和 PPO 要解決什麼？ 兩者都在處理策略更新過大造成訓練不穩定的問題；PPO 以較簡潔的 clipped objective 近似限制更新幅度。

PPO 的 clipping 為何重要？ 它限制新舊策略機率比的有效範圍，避免單批資料讓策略突然偏離，但也可能在某些狀況下抑制學習。

RLHF 如何用在語言模型？ 先收集人類偏好比較，訓練 reward model，再以強化學習讓模型更常產生被偏好的回答。

InstructGPT 和 ChatGPT 有何關係？ InstructGPT 展示指令微調與人類回饋能改善遵循能力；ChatGPT 則是更完整的產品與模型演進，不能把兩者當成同一個版本。

Reward model 代表人類價值嗎？ 它只學到特定標註者、任務、提示和規則下的偏好訊號，可能受標註偏差、分布外輸入與可駭客性影響。

RLHF 的主要限制是什麼？ 它可能讓模型更討喜卻不更正確，也可能把複雜倫理問題壓成單一分數，需搭配評估、紅隊與規則層。

為什麼 PPO 適合後訓練但不代表萬能？ PPO 有成熟工具與可調參數，但成本、樣本效率、獎勵設計與長期信用分配仍是實務瓶頸。

如何公平評估 Schulman 的影響？ 應同時看演算法穩定性、語言模型可用性、後訓練工程與未解決的對齊風險，避免把單一方法寫成 ChatGPT 的唯一原因。

<

p class=”wp-block-paragraph”>John Schulman 是把「強化學習」帶進現代聊天模型訓練史時很難繞過的人物。他在大型語言模型出現之前就先後提出 TRPO 與 PPO，處理強化學習最棘手的問題之一：模型每次更新策略時，怎麼避免一步走太遠而讓原本有效的行為突然崩掉。

這條研究線後來直接進入 LLM。2022 年 InstructGPT 使用 PPO 根據人類偏好訓練 Reward Model，再用該 Reward Model 的分數調整語言模型；Schulman 是這篇論文的共同作者。之後他領導 OpenAI 的 reinforcement learning 團隊與 GPT-4 的 RL & alignment 工作。截至 2026 年，他已離開 OpenAI，現在是 Thinking Machines Lab 的共同創辦人兼 Chief Scientist。

• 2015 年：John Schulman 第一作者提出 Trust Region Policy Optimization（TRPO），嘗試限制每一次 policy update 的幅度。
• 2017 年：他再提出較簡單的 Proximal Policy Optimization（PPO）；OpenAI 當時表示 PPO 已成為內部預設 RL 演算法。
• 2022 年：InstructGPT 把 PPO 放進 RLHF 流程，讓模型依據人類偏好調整回答。Schulman 是共同作者。
• OpenAI 公開紀錄把他列為 GPT-4 RL & alignment Overall lead，GPT-4o 則列為 Post-training organization lead。
• 2025 年起，他在 Thinking Machines Lab 延續後訓練與模型客製化研究，並發表 LoRA 與 fine-tuning 相關工作。

文章實體化：John Schulman、PPO 與 ChatGPT 後訓練

John Schulman 參與的強化學習路線，讓 ChatGPT 類模型不只會預測文字，也能根據人類偏好調整回答方式。PPO 以政策更新、剪裁與價值估計控制學習步伐，RLHF 則把示範資料、偏好比較、獎勵模型與語言模型微調串成後訓練流程，但也同時帶來獎勵駭客、偏好偏差與可控性問題。

• PPO：理解 policy、old policy、clip ratio、advantage 與穩定更新之間的關係。
• RLHF：分辨示範微調、偏好資料、獎勵模型與 policy optimization 的階段。
• ChatGPT 後訓練：看有用性、安全性、拒答與模型行為如何被資料與評估指標共同塑造。

本文以「John Schulman、PPO、RLHF、ChatGPT、獎勵模型、政策更新與後訓練」為主線，補回人物、作品、技術節點、產業場景與它們之間的因果關係，讓讀者能從具名實體一路追到實際流程、文化語境與影響。

Schulman最早想解決的問題不是ChatGPT

John Schulman 在 UC Berkeley 攻讀博士時，研究核心仍是機器人與深度強化學習。他於 2016 年完成 EECS 博士，指導教授是機器人與 reinforcement learning 研究者 Pieter Abbeel。

當時深度學習已經讓電腦視覺快速進步，但要讓機器透過試錯自己學會行動，工程上仍非常困難。

Policy Gradient 可以直接調整模型策略，使高獎勵行為更容易出現。然而這類方法有一個基本風險：更新幅度太小，學習速度很慢；更新過大，又可能讓原本已經學會的策略突然崩潰。

Schulman 後來最具影響力的兩篇工作，都圍繞這個問題。

TRPO為何先提出「不要一次改太多」

2015 年 Schulman 與 Sergey Levine、Philipp Moritz、Michael I. Jordan、Pieter Abbeel 發表 Trust Region Policy Optimization。

TRPO 的核心思路可以理解為：模型可以朝更高 reward 的方向更新，但新的 policy 不能一次偏離舊 policy 太遠。

論文把這個限制寫成 trust region，也就是為 policy update 設定一個相對安全的範圍。研究在機器人 locomotion 與 Atari 等任務展示了相對穩定的改善。

問題是，TRPO 的計算與實作仍然偏複雜。如果強化學習要成為更大規模研究與工程團隊可以普遍使用的方法，就還需要更容易部署的版本。

PPO真正重要的是把TRPO工程化

2017 年 Schulman 與 Filip Wolski、Prafulla Dhariwal、Alec Radford、Oleg Klimov 提出 Proximal Policy Optimization Algorithms。

PPO 保留「不要讓新 policy 一次離舊 policy 太遠」的精神，但移除了 TRPO 較複雜的 constrained optimization。

其中最知名的 PPO-Clip 方法會直接限制新舊 policy probability ratio 的有效變化範圍，使模型即使對同一批資料做多次 gradient update，也不容易因為一次更新太激進而失控。

OpenAI 在 2017 年公開 PPO 時表示，它在實作簡單度、sample complexity 與調參難度之間取得良好平衡，並已成為 OpenAI 當時的預設 reinforcement learning algorithm。這也是 PPO 後來能進入大型語言模型訓練的重要原因：語言模型比早期 Atari 或機器人 policy 更大、更昂貴，如果一次 reinforcement learning update 把原本正常的語言能力破壞掉，成本會非常高。

OpenAI 對 PPO 的原始說明可參考：Proximal Policy Optimization。

PPO怎麼從機器人走進InstructGPT

大型語言模型的預訓練目標通常是預測下一個 token。這可以產生很強的語言能力，卻沒有直接教模型「什麼回答比較符合使用者期待」。

InstructGPT 的研究把問題拆成三個階段：

1. 先用人工示範做 Supervised Fine-Tuning。
2. 收集人類對不同模型答案的排名，訓練 Reward Model。
3. 把 Reward Model 當成 reward，再用 PPO 更新語言模型。

這個流程後來成為大眾理解 RLHF 最經典的範例之一。

InstructGPT 的實驗甚至發現，在研究使用的 prompt distribution 上，1.3B InstructGPT 的輸出可以在人類偏好評估中勝過 175B GPT-3。這說明模型「如何被後訓練」可以和模型本身有多大同樣重要。

但這裡要避免一個常見誤解：Schulman 沒有單獨發明 RLHF。

人類偏好學習、Reward Model 與語言模型 RLHF 在此之前已有 Paul Christiano、Jan Leike、OpenAI 與其他研究團隊的工作。InstructGPT 本身也是大型合作研究。較準確的描述是：Schulman 提出的 PPO 成為 InstructGPT RLHF pipeline 中負責 policy optimization 的核心工具之一，而他也參與這套系統的研究。

從InstructGPT到ChatGPT，改變的是「模型訓練完之後還能做什麼」

預訓練完成並不代表模型已經完成。這是理解 John Schulman 在 LLM 發展史中最重要的一點。

UC Berkeley 對 Schulman 的人物資料記錄，他在 OpenAI 領導 reinforcement learning team 開發 ChatGPT。OpenAI 自己公開的 GPT-4 contributions 更清楚：在 GPT-4 的 RL & alignment 團隊中，John Schulman 被列為 Overall lead，而 Long Ouyang、Jan Leike、Ryan Lowe、Jiayi Weng、Shengjia Zhao 等人則負責 instruction-following data、alignment、RL infrastructure、reward model 等不同部分。

這也說明後訓練已經不是「跑一次 PPO」這麼簡單。它包含人類資料、Reward Model、policy optimization、infrastructure、safety、refusal behavior、evaluation、data flywheel 與 model behavior。

Schulman 的角色因此逐漸由演算法研究者變成大型後訓練系統的研究領導者。若要延伸理解另一條「強化學習基礎設施」路線，可閱讀 YOLO LAB 的翁家翌與 Tianshou、OpenAI RL Infrastructure人物頁。

GPT-4o顯示後訓練已變成獨立組織

GPT-4o 的公開貢獻名單又出現一個值得注意的變化。

OpenAI 不再只把 RL 當成模型訓練中的單項演算法，而是直接列出 Post-training organization。其中 Barret Zoph 與 John Schulman 被列為 Post-training organization leads，另外再拆出 post-training program、infrastructure、human data 等角色。相關公開紀錄可見 GPT-4o Contributions。

這代表大型模型產業的組織結構也已經改變。Pre-training 負責建立基礎能力；Post-training 則決定那些能力在產品中如何被引導、限制、強化與呈現。

今天讀者熟悉的「模型會不會遵守指令」、「回答風格」、「工具使用」、「reasoning 行為」甚至部分 safety behavior，都與後訓練系統高度相關。

YOLO LAB 已有一篇分析 RLVR、驗證器與 Reward Hacking 的文章，處理的是新一代 reasoning model 如何利用可驗證 reward 繼續強化能力；Schulman 這篇補的是更前面的歷史：為什麼 RL 會先成為語言模型後訓練的重要工具。

Schulman為什麼離開OpenAI

Schulman 在 2024 年離開 OpenAI，短暫加入 Anthropic；2025 年則成為 Mira Murati 創立的 Thinking Machines Lab 共同創辦人兼 Chief Scientist。Thinking Machines 官方網站與 UC Berkeley 均確認他目前的職位。

這次職涯轉換的技術意義，比公司人事本身更值得追蹤。Schulman 過去的問題是：「如何穩定地更新一個 policy？」到了 Thinking Machines，他參與的新問題逐漸變成：「如何讓更多人真正可以改動模型？」

Thinking Machines延續的是後訓練與客製化

2025 年 9 月，Schulman 發表 LoRA Without Regret，研究 LoRA 的 rank、learning rate、模型容量與 RL fine-tuning 表現。Thinking Machines 表示，研究 LoRA 的實際動機之一，就是希望讓模型 fine-tuning 更容易被不同領域使用。

之後，Thinking Machines 推出 Tinker。Tinker 把大型分散式訓練 infrastructure 留在後端，研究者透過 API 直接控制 forward/backward、optimizer update、sampling 等訓練 primitive；官方文件同時提供 SFT、PPO、RLHF、DPO 與 RLVR 等方法。

這和 Schulman 十年前做 PPO 的研究其實有明顯連續性：把理論上有效、但工程上困難的方法，重新整理成更多研究者能使用的工具。

TRPO 到 PPO 是一次演算法簡化；大型 GPU training cluster 到 Tinker API，則是一次 infrastructure abstraction。

PPO今天還是LLM後訓練唯一解嗎

不是。

現在的 LLM 後訓練已經包含 DPO、GRPO、各種 policy gradient、verifiable rewards、distillation 與其他方法。Thinking Machines 自己的 Tinker 文件也提供 PPO 與其他 RL 訓練流程。

因此，PPO 的歷史地位不應被理解成「所有現代模型都必須使用 PPO」。更準確的判斷是：PPO 證明了一套相對穩定且可工程化的 policy optimization 方法，可以從遊戲與機器人跨進大型語言模型，並讓 RL 真正成為 LLM post-training 的重要技術路線。

後來的新方法是在這條路線上繼續修改速度、穩定性、資料效率與 reward 設計。

John Schulman與翁家翌的角色有什麼不同

YOLO LAB 已有的翁家翌人物頁，可以剛好用來理解大型 AI 團隊裡不同工程角色。OpenAI 的 GPT-4 貢獻頁把 Schulman 列為 RL & alignment Overall lead，同一頁則把 Jiayi Weng 列為 RL Infrastructure author。

這兩個角色不能互相替換。

Schulman 這條線偏向：演算法 → RL研究 → alignment strategy → post-training leadership。

翁家翌則更適合理解：RL library → distributed training → infrastructure → 把研究方法真正跑起來。

大型模型能成功，需要兩條線同時存在。

為什麼2026年仍值得理解John Schulman

Reasoning model、Agent 與可客製化 AI 都重新把 reinforcement learning 推到核心位置。現在的 reward 可以是人類偏好，也可以是數學答案、程式測試、工具執行結果、模擬環境甚至真實世界 outcome。

Reward 的來源變了，Schulman 早期研究的問題卻沒有消失：模型收到 reward 後，應該用多大的幅度改變自己？

更新太保守，學不到新策略；更新太激進，模型可能破壞原本能力、過度最佳化 reward，甚至學會利用評分漏洞。

這正是從 TRPO 到 PPO 一直試圖處理的核心張力。因此 John Schulman 的技術史，不只屬於 ChatGPT 的誕生。它還連接到 2026 年 AI 最重要的問題之一：當模型開始透過 reward、環境與使用者持續學習時，我們究竟要如何控制它改變自己的方式？

John Schulman常見問題

John Schulman是OpenAI創辦人嗎？

是。OpenAI 2015 年官方成立公告把 John Schulman 列為 founding members 之一。

PPO是John Schulman發明的嗎？

John Schulman 是 2017 年 PPO 原始論文第一作者，其他作者包括 Filip Wolski、Prafulla Dhariwal、Alec Radford 與 Oleg Klimov，因此應視為共同研究成果。

PPO和RLHF是同一件事嗎？

不是。RLHF 是利用人類偏好建立 reward 並調整模型的一類訓練流程；PPO 是其中可以拿來更新 policy 的 reinforcement learning 演算法。InstructGPT 的經典流程就是先做 SFT、訓練 Reward Model，再使用 PPO。

John Schulman有參與ChatGPT嗎？

有。UC Berkeley 官方資料記錄他曾領導 OpenAI 的 reinforcement learning team，該團隊參與 ChatGPT 的開發。

John Schulman現在在哪裡？

截至 2026 年，他是 Thinking Machines Lab 的共同創辦人兼 Chief Scientist。

Thinking Machines和他的研究有什麼關係？

Thinking Machines 現在的重要產品與研究之一就是讓研究者更容易 fine-tune 與 post-train 模型。Schulman 本人已發表 LoRA fine-tuning 研究，而 Tinker 也直接支援 RL 等訓練流程。

把 John Schulman 放回研究現場：演算法不是漂浮在論文裡的名字

John Schulman 的履歷常被整理成一串很容易搜尋的縮寫：TRPO、PPO、RLHF、ChatGPT，最後再接上 Thinking Machines。這樣的排列雖然方便，卻會把他的工作從實體研究現場抽乾。真正需要理解的是，每個縮寫都對應一種不同的房間與工作分工：實驗室裡的機器人與控制器、研究者反覆調整的訓練迴圈、讓人類標註者比較模型回答的介面、處理大規模運算的叢集，以及讓研究者把模型拿來做特定任務的 API。沿著這些地方走，才能看懂 Schulman 的貢獻不是「發明一個神奇公式」，而是持續處理模型如何在限制中學習、如何從回饋中修正，以及研究成果如何被做成別人能使用的工具。

加州大學柏克萊分校的官方新聞把他的背景放在幾個相連的技術領域：機器人運動規劃與控制、機器人模仿學習，以及深度強化學習。這個排序很重要，因為它使「後來把強化學習帶進大型語言模型」不再像突然跳躍的職涯神話。控制一個會移動的系統，研究者必須處理感測、行動、回饋、延遲與失敗；訓練一個語言模型，表面上換成了 token、提示與回答，底層仍然要面對如何定義目標、如何測量改善，以及如何避免一次更新把系統推離原來可用的範圍。問題換了外觀，對回饋與穩定性的要求仍然在。

TRPO 與 PPO 的實體感：像在控制一台不能任意急轉的機器

TRPO 的關鍵不只是「Trust Region」四個英文單字，而是研究者如何為政策更新畫出一個可承受的活動範圍。若一個策略每次看到回饋就大幅改變，短期分數可能上升，長期卻可能忘記原本學會的行為；在控制與模擬環境裡，這種變化會表現成動作不穩、訓練震盪或突然退化。TRPO 論文頁把這個問題寫成可分析的最佳化方法，讓「不要一次改太多」不只是經驗法則，而是可以放進訓練程序檢查的限制。

把這件事想成實驗室裡有人調整一台機器會比較接近它的工作感。研究者不是只按下開始，等模型自己變聰明；他們要記錄當前策略、計算新的候選策略，觀察候選方案是否離原來太遠，再決定這一步是否值得接受。演算法的價值在於把失敗的代價納入更新，而不是只追逐一個漂亮的平均分數。這種對「下一步能走多遠」的敏感度，後來會以不同形式出現在語言模型的後訓練：模型確實要更符合人類要求，但不能為了幾種偏好的回答，就破壞原本的語言能力。

PPO 之所以更容易進入工程團隊，並不是因為它把所有困難消除了，而是把原本需要嚴格處理的更新距離，轉成更容易在既有訓練程式裡操作的目標函數。PPO 論文頁的題目與作者資料，標示出 Schulman 在這條方法線上的位置；實際使用時，研究者仍要選擇批次大小、更新回合、探索方式、評估環境與停止條件。換句話說，PPO 不是一個按了就會自動得到好策略的按鈕，而是一套讓工程師能在計算資源與實驗速度之間反覆迭代的工作介面。

這也解釋為什麼把 PPO 簡化成「ChatGPT 的演算法」會失真。PPO 先處理的是策略更新的穩定性，ChatGPT 式系統還需要資料整理、提示設計、模型評估、人工偏好、服務部署與安全檢查。演算法像是訓練場地中的一組可調工具，不是整棟房子的唯一地基。Schulman 的重要性，正是在於他參與了這些工具從強化學習研究、控制問題到語言模型後訓練的轉接，而不是把所有產品成果都歸因於一個人的一篇論文。

從模擬環境到標註者介面：RLHF 把「回饋」變成一組可操作的流程

語言模型的環境不像機器人那樣有明確的地板、手臂與目標物，因此 RLHF 的實體關聯不在於把人類變成一個抽象的 reward，而在於人類回饋必須先被做成可以工作、可以比較、可以記錄的流程。InstructGPT 論文頁描述了幾個不同階段：標註者撰寫或提供提示、示範期望的回答、比較模型輸出，再用這些資料去微調模型與進行從人類回饋的強化學習。每一階段都需要介面、指引、資料格式與品質檢查；「人類偏好」不是一句口號，而是一批人在時間壓力下對具體文字做出的選擇。

把標註者的工作放回房間裡，就會看見它和 PPO 之間的距離。標註者看到的是兩個或多個回答，要判斷哪一個更符合提示、更有幫助、更少造成傷害；訓練系統看到的則是經過整理的示範、排序與獎勵訊號。中間需要有人定義什麼算是同一個問題、如何處理答案長度差異、遇到不確定時怎麼標記，以及如何把不一致的判斷交回研究團隊。任何一個環節模糊，最後的獎勵就可能把「看起來像好回答」誤當成「真的解決了使用者問題」。

因此，Schulman 在 RLHF 脈絡中的角色，不能被寫成單純的「讓模型學會人類價值」。比較準確的說法是，他參與建立了一套把人類判斷接到最佳化流程的方法。這套方法讓研究者可以問更細的問題：模型是因為內容更正確而得到偏好，還是只因為語氣更自信？它是在遵守指令，還是在學會迎合評分？它在短提示上表現變好，是否在較長任務中失去推理或拒答能力？當回饋進入訓練管線，這些問題就不再只屬於哲學討論，而會變成資料集、評估表與迭代實驗的項目。

這也是「模型變大不一定更會遵循意圖」這個觀察的實際含義。更大的模型可以提供更多能力，但能力並不自動等於可用的行為；如果沒有示範、排序與反覆評估，模型可能只是更有能力生成不符合需求的答案。RLHF 把注意力移到模型完成預訓練之後的那段路：誰在告訴它什麼叫做好的回答？那個判斷如何被轉成資料？資料又如何透過穩定的更新改變模型？Schulman 的研究線，正好把這段常被忽略的後訓練空間拉到前景。

ChatGPT 不是單一發明：研究角色、產品角色與團隊流程必須分開

談 Schulman 與 ChatGPT，最容易出現的錯誤是把共同研究、團隊領導、產品落地和個人發明混成同一件事。柏克萊官方新聞提到他在 OpenAI 領導強化學習團隊，並把他的工作放在 ChatGPT 的後訓練脈絡；這可以支持「他是重要的研究與團隊角色」，卻不等於所有模型架構、資料、介面和部署決定都由他一人完成。大型模型產品在實驗室、工程團隊、資料作業、評估與服務基礎設施之間運作，任何單一姓名都不能取代這條協作鏈。

把人放回團隊流程，也能避免另一種過度簡化：好像只要有 PPO 或 RLHF，模型就會自然變成 ChatGPT。真正的工作包含選擇要評估的任務、設計提示分布、收集示範、建立比較資料、訓練獎勵模型、決定更新節奏，再把結果交回人工檢查。每個步驟都可能改變最後的性格與能力。研究者需要在白板上討論目標，也需要在日誌裡追蹤失敗案例；需要數學推導，也需要有人閱讀一個普通使用者拿到的回答。Schulman 的技術背景之所以有影響力，正是因為它連接了這兩種尺度。

離開 OpenAI 之後的實體延伸：Thinking Machines 與 Tinker 的「可操作研究」

柏克萊官方新聞記錄 Schulman 離開 OpenAI、短暫加入 Anthropic，並在 2025 年共同創立 Thinking Machines Lab、擔任 chief scientist；這是職涯狀態的核對，不應被誇大成對未來產品成效的保證。比較有意思的地方在於，這個轉折讓「如何讓更多研究者控制模型訓練」重新成為可觀察的問題。若一位研究者想測試新的後訓練方法，真正的阻礙往往不只是想法，而是 GPU 排程、資料管線、失敗恢復、模型大小與成本之間的配置。

Thinking Machines 官方宣布的 Tinker，正是從這些基礎設施摩擦切入。官方說明它是一個用於微調語言模型的彈性 API，研究者可以控制演算法與資料，而分散式訓練的複雜度由服務端處理；官方也列出排程、資源分配、失敗恢復，以及以 LoRA 在多個訓練工作之間共享計算資源。這些不是漂亮的產品形容詞，而是研究者每天會碰到的實體限制：某個實驗排不到機器、一次故障讓長跑中斷、不同模型規模需要不同的記憶體配置，或者一個小型假設因為基礎設施太昂貴而沒有機會被測試。

Tinker 的價值可以用「把研究者帶到控制台前」來理解。官方列出的 forward_backward 與 sample 等低階原語，意味著使用者不是只能按一個固定的微調按鈕，而是能在 API 層組合常見的後訓練方法；同時，服務仍替使用者處理叢集上的排程與資源。這種設計把 Schulman 長期關心的問題延伸到另一個層次：不只研究更新規則，也要讓更多人有機會在可負擔的條件下試驗更新規則。這裡的「客製化」不是換一個產品標籤，而是讓資料、演算法和模型行為之間重新建立可檢查的關係。

不過，Tinker 也不能被寫成 PPO 或 RLHF 的自動販賣機。官方頁面明確提醒，低階原語能表達常見的後訓練方法，但要得到好的結果仍然需要處理很多細節；這句提醒很關鍵。研究者仍要決定資料是否合適、獎勵是否測到真正目標、評估是否覆蓋失敗案例，以及一個模型在小型測試上變好是否能外推到真實使用場景。基礎設施降低了進入門檻，卻沒有取消研究責任。這正是從論文到服務最值得看的連續性。

John Schulman 的位置：把「後訓練」變成可追問、可測量、可使用的工作

如果把他的職涯只寫成「PPO 研究者後來參與 ChatGPT」，會漏掉真正能把不同時期串起來的主題：如何讓一個複雜系統在回饋下改善，又不因為追逐局部目標而失控。TRPO 把更新距離當作需要限制的問題，PPO 把這種限制整理成更容易迭代的工程方法，RLHF 把人的比較與示範接進模型後訓練，Tinker 則把研究者對演算法與資料的控制延伸到可用的訓練服務。每一步都不是前一步的複製，而是在不同實體環境裡重新處理「怎麼改、改多少、誰來判斷改好了」。

所以，理解 John Schulman 的最好入口不是背下所有縮寫，而是追蹤一個回饋如何移動：在機器人研究裡，它可能來自動作與環境；在 TRPO／PPO 裡，它被整理成策略更新的訊號；在 RLHF 裡，它先經過標註者與比較介面；在 ChatGPT 式產品裡，它還要面對大量任務與使用者；在 Tinker 裡，研究者又需要一個能反覆試驗的訓練控制面板。沿著這條線看，他的貢獻不是把人類意圖神奇地翻譯成程式，而是讓翻譯過程中的資料、限制、失敗與責任變得更可見。

本文的技術與職涯核對以 TRPO 論文頁、PPO 論文頁、InstructGPT 論文頁、UC Berkeley CDSS 官方新聞與 Thinking Machines Lab 的 Tinker 官方公告為基礎；本文對研究現場、標註流程與產品協作的延伸，是根據上述資料作出的編輯分析，不把團隊成果縮寫成單一個人的功勞。

資料來源

• Schulman 等人：Trust Region Policy Optimization
• Schulman 等人：Proximal Policy Optimization Algorithms
• OpenAI：Proximal Policy Optimization
• Ouyang 等人：Training language models to follow instructions with human feedback
• OpenAI：GPT-4 Contributions
• OpenAI：GPT-4o Contributions
• UC Berkeley：John Schulman 人物資料
• Thinking Machines Lab：LoRA Without Regret
• Thinking Machines Lab：Announcing Tinker
• UC Berkeley EECS：Reinforcement Learning from Human Feedback

John Schulman 的位置可以用一條非常清楚的技術線理解：TRPO → PPO → RLHF／InstructGPT → ChatGPT → GPT 後訓練 → 可客製化模型訓練。

這條線的共同問題始終沒有改變：讓模型透過回饋學習，同時避免每一次更新把原有能力推得太遠。從這個角度看，PPO 的價值遠超過一個 2017 年的演算法名稱；它是 reinforcement learning 從學術研究真正進入 LLM 軟體堆疊的重要橋樑。

以下圖片取自加州大學柏克萊分校官方新聞頁，補充本文對 John Schulman、PPO、RLHF 與 ChatGPT 後訓練的分析；照片是校方活動人物資料，不把它當成強化學習流程或模型架構的示意圖。