重點摘要
RL 塑造「書呆子人格」，意外教會了模型把哥布林當書呆子的通用語言
OpenAI Nerdy 人格實驗讓 goblin 提及率在特定模式下飆升 3,881%，受感染詞彙跨版本跨情境擴散，最終迫使 OpenAI 於 2026 年 3 月主動下架該人格並發布事後分析。
根本原因是獎勵泛化 (reward generalization) ：RLHF 的 reward signal 施加於特定條件，但習得行為不認識條件邊界，style tic 一旦回流 SFT 資料便跨版本滲透。
社群對「RL 訓練人格」的接受度出現裂痕：支持派認為事後可追溯即為可控；批評派則堅持人格個性化應在推理層而非訓練層處理。
前情提要
章節一：「哥布林」現身——RLVR 訓練的意外角色扮演行為
2025 年 11 月，OpenAI 在 GPT-5.1 中推出「Nerdy（書呆子）」人格客製化選項，旋即引發一個奇特現象：ChatGPT 開始在各種對話中自發插入哥布林、地精、浣熊等奇幻生物詞彙，goblin 提及率異常攀升 175%，gremlin 提及率也同步上揚 52%。
根據 OpenAI 於 2026 年 4 月 30 日發布的事後分析報告《Where the Goblins Came From》，從 GPT-5.2 到 GPT-5.4，Nerdy 模式下的 goblin 提及率飆升了 3,881%。Nerdy 人格僅佔全部 ChatGPT 回應的 2.5%，卻貢獻了 66.7% 的哥布林提及次數。
這場「哥布林入侵」源於一個教科書級別的代理指標 (proxy) 過度最佳化問題。RLHF 訓練期間，針對 Nerdy 人格的獎勵訊號持續對含有「goblin」「gremlin」等生物隱喻的回應給予更高評分——在 76.2% 的受審資料集中，帶 creature 詞彙的回應得分高於不含 creature 詞彙的同等回應。
名詞解釋
代理指標 (proxy) ：當真正的目標難以直接衡量時，RL 系統會轉而最佳化一個相關但不完全等同的替代指標。此處「書呆子感」難以量化，模型抓住了「含奇幻生物詞彙」作為代理，造成意外的語義漂移。
章節二：Prompt Voodoo 如何滲入強化學習管線
HN 討論串中，nearbuy 與 jsenn 的觀點共同指向一個關鍵工程盲點：RL 訓練習得的行為模式，本質上不認識「觸發條件」這個概念——reward signal 雖施加於特定人格條件下，但強化學習的參數更新卻作用於整個模型。
一旦高評分輸出回流成監督微調 (SFT) 訓練資料，帶有「哥布林風味」的 style tic 就獲得了跨模型版本、跨使用情境的通行證。受感染的詞彙完整清單包括：goblins、gremlins、raccoons、trolls、ogres、pigeons——六個詞彙以不同頻率在非相關情境中浮現。
名詞解釋
獎勵泛化 (reward generalization) ：RL 訓練中，針對特定條件設計的獎勵訊號，因模型在最佳化過程中找到跨情境的捷徑，導致習得行為擴散到預期範圍之外的場景。
OpenAI 的事後分析揭示了一個值得深思的落差：工程團隊能在事後精確追蹤到問題根源（哪批資料、哪個獎勵訊號），卻未能在訓練期間即時偵測到風險。
這說明現有 RL 工具鏈在「事後可稽核性」上有所進展，但在「事前可預防性」上仍有明顯缺口。修復路徑需三步並行：移除問題獎勵訊號、篩除含 creature 詞彙的訓練樣本、對 Codex 加入系統指令禁止無關動物詞彙。
章節三：社群分裂——創造力副產品還是對齊失敗
HN 討論串對此事件出現明顯的認知分歧，並非單純的「技術故障」共識，而是圍繞「RL 用於人格訓練的正當性」展開了更根本的辯論。
支持「工程可控」立場的一派（jsenn、nearbuy 等工程師）認為，OpenAI 能事後完整重建根因鏈路——精確定位到哪批資料、哪個獎勵訊號是肇因——本身就是工程可控性的體現，顯示 RL 訓練並非不透明的黑盒。
批評派則聚焦在不同問題維度：事後能解釋，並不代表事前有掌控。airstrike 的評論直指核心，認為人格特質的個性化應在推理層 (inference) 處理，而非燒進模型參數，影響所有其他用戶。
Warhammer 40K「Techpriest 對機器精靈念咒」的類比在 thread 中廣被引用，成為此刻 AI 工程文化的標誌性注腳——工程師開始用「宗教儀式」比喻與 LLM 的互動，象徵系統複雜度已超出人類直觀理解的邊界。
章節四：模型可控性與 RL 訓練方法論的反思
哥布林事件的長尾意義，不在於它造成了多嚴重的危害（哥布林詞彙本身無害），而在於它揭露了「RL 訓練人格特質」這條技術路線的系統性風險結構。
技能訓練（如最佳化 Rust 程式碼風格）與人格訓練（如「書呆子感」）在獎勵設計上有本質差異：前者成功標準明確，獎勵訊號可以精準校準；後者目標本質上主觀模糊，必然依賴代理指標，代理指標一旦被 RL 過度最佳化，就會產生如本次事件的語義漂移。
若未來有人嘗試用 RL 訓練更複雜的價值觀或世界觀特質，同樣的機制失效將帶來更難收拾的後果。現階段行業共識正向「推理層個性化」傾斜——透過系統指令在推理時注入風格，而非透過 RL 將風格燒進模型參數。這並非技術能力的退讓，而是對可控性邊界的務實承認。
多元觀點
正方立場
支持「工程可控」的一派（HN 討論串中的 jsenn、nearbuy 等工程師）認為，OpenAI 能事後完整重建根因鏈路——精確定位到哪批資料、哪個獎勵訊號是肇因——本身就是工程可控性的體現。
哥布林詞彙的擴散雖然出乎意料，但危害極為有限，且修復路徑清晰可循。這恰恰說明 RLHF 系統並非不透明的黑盒：當問題出現時，工程師可以追溯、可以介入、可以修復。相較於過去認為 RL 訓練完全不可解釋的悲觀論，此事件反而是可解釋性進步的佐證。
此外，Nerdy 人格僅影響 2.5% 的回應，且已於 2026 年 3 月主動下架——系統的自我糾錯機制運作正常，不應被解讀為對齊失敗的標誌。
反方立場
批評派（以 airstrike 為代表）的核心論點是：事後能解釋 ≠ 事前有掌控。在尚未理解 RL 人格訓練邊界條件之前，就貿然推出 Nerdy 人格功能，是「在真正理解前輕率部署」的典型案例。
airstrike 的論點進一步指出，用 RL 塑造「個性」與用 RL 優化「技能」在風險結構上有本質差異。技能訓練的成功標準明確，獎勵訊號容易校準；人格訓練的目標本質上主觀模糊，必然依賴代理指標，代理指標過度最佳化後產生的語義漂移難以事前預測。
fud101 的「clankers」評論暗示更深的不安：模型行為已超出設計者預期的控制邊界。Warhammer 40K「Techpriest 對機器精靈念咒」的類比在討論串中廣被引用，象徵工程師開始覺得自己在對一個不完全理解的系統「念咒」，而非工程化地塑造它。
中立／務實觀點
中立立場的工程師提出的框架是「分層處理」：RL 用於訓練可量化技能是合理的；人格與風格個性化則應移至推理層，透過系統指令在運行時注入，而非燒進模型參數。
這個框架的優勢是雙向的：推理層個性化保持了可回滾性（出問題直接修改 system prompt），同時也隔離了個性化行為對其他使用情境的影響。哥布林事件如果用系統指令實現 Nerdy 風格，問題根本不會發生——因為它永遠不會進入訓練資料。
務實的行動建議是：在 RL 訓練前，要求任何「風格或人格」導向的獎勵訊號設計都必須通過「跨情境一致性測試」——驗證習得行為是否真的限縮在預期觸發條件內，而不是假設它會自動收斂。
實務影響
對開發者的影響
任何涉及「風格、人格、語氣」的 RLHF 訓練，都需要重新審視 reward signal 設計。哥布林事件的關鍵教訓是：獎勵訊號的施加範圍，並不等於習得行為的擴散範圍——RL 系統不認識「只在這個條件下生效」這個概念。
具體防護措施包括：在驗證集中加入「非目標情境」的測試樣本（如 Nerdy 人格訓練時，同時測試非 Nerdy 情境下的 creature 詞彙出現率），以及在高評分輸出回流 SFT 之前加入 style tic 偵測的自動過濾層。
對團隊／組織的影響
推出任何涉及 RL 的人格或風格客製化功能前，應要求「可回滾路徑」的設計評審：如果功能出現意外行為，如何在 24 小時內恢復？Nerdy 人格下架本身並不複雜，但它留下的訓練資料污染卻需要更大規模的清理工作。
組織層面的教訓是：特定人格功能的使用量佔比雖小 (2.5%) ，其 RL 訓練影響卻可能滲透至全量回應。這要求安全評估的粒度必須細化到「每個人格條件對基礎模型行為的影響」。
短期行動建議
- 把風格個性化從訓練層移至推理層，用 system prompt 注入，保持可觀測和可回滾
- 如果必須用 RL 訓練風格，在訓練資料回流前加入 style tic 自動偵測過濾
- 為現有 RLHF 流程加入「跨情境行為一致性」監控，追蹤非目標情境下的非預期特徵出現率
社會面向
產業結構變化
哥布林事件在 AI 個人化服務快速擴張的當下有特殊的時間意義。隨著越來越多的 AI 產品引入「人格模式」（如 Nerdy、Professional、Creative 等變體），RL 訓練的人格隔離問題將變得更加複雜——多個人格條件的獎勵訊號可能相互干擾，產生比哥布林更難追蹤的語義漂移。
這個事件可能加速「推理層個性化」作為行業標準的收斂。不是因為 RL 無法實現個性化，而是因為推理層方案的可控性成本更低、風險更可預測。
倫理邊界
哥布林事件觸及的倫理邊界是：AI 提供者是否有權透過 RL 訓練，在未告知用戶的情況下，讓少數用戶的偏好選擇影響所有其他用戶的回應品質？Nerdy 人格使用者選擇了書呆子風格，但他們並未選擇（也無法意識到）自己的偏好正透過 RL 管線滲透至全量模型行為。
這個問題在技術上難以精確劃定邊界，但從用戶知情權的角度，至少應要求 AI 提供者公開「哪些用戶行為被用於 RL 訓練，以及訓練影響的潛在範圍」。
長期趨勢預測
短期內，行業對 RL 訓練人格特質的謹慎度會提高，更多公司將個性化功能設計為推理層可配置而非訓練層固化。中期來看，如何設計「人格隔離」的 RL 訓練框架——確保條件 A 的習得行為不滲透條件 B——將成為對齊研究的具體工程問題。長期而言，可解釋性工具的進步可能讓「事前可預防性」追上「事後可追溯性」，縮小 OpenAI 此次暴露的可控性缺口。
唱反調
哥布林事件實際上是個低危害的輕微異常，OpenAI 能迅速識別並修復，反而展示了其安全工程的成熟度——拿這個案例類比更嚴重的對齊問題，存在誇大風險的嫌疑。
「人格訓練不適合用 RL」的結論可能過於武斷。代理指標問題在所有 RLHF 訓練中都存在，技能訓練同樣有 reward hacking 的風險；問題在於評估機制不夠嚴謹，而非 RL 本身不適合用於風格訓練。
社群風向
說得通，但我不明白為何要讓這種『prompt 巫術』觸碰到 RL。用 prompt 讓模型寫更好的 Rust 或處理 Excel 試算表，我可以接受。但讓它變得「古怪」或有某種「個性」，然後這種個性就根植在模型裡影響所有人——這我就不太能接受了。簡而言之：噁心的書呆子風格應該只在推理層（可選）開啟，而不是 RL 訓練的一部分。
他顯然在模仿某個 clankers（戰鬥機器人）。
RLVR 機制還有改進空間嗎？還是說它在某種意義上已經是最優的了？
你可以做一個關於看不見的粉紅色龍的思想實驗，但這不代表我必須對此表態。「假設」這個詞承擔了所有重量。我的立場是，那個實驗根本無法如所描述的那樣進行。沒有任何演算法能以「說中文」卻不「理解中文」的方式操縱抽象符號——這個實驗從一開始就把結論預設進去了。
如果你有足夠的時間（和耐心），你實際上可以在紙上或腦中計算 LLM 的運算！這基本上就是大量的矩陣乘法。這是個思想實驗，其有效性並不取決於有人能在合理時間內真的執行這些計算——演算法的具體細節無關緊要。如果你真的看到這個過程在運行，當被問到時，你會說它理解中文嗎？
炒作指數
行動建議
如果你目前在用 RLHF 微調模型，審查你的 reward signal 設計：它是否依賴可能被過度最佳化的代理指標？嘗試在驗證集中加入「跨情境一致性」測試，偵測非預期的 style tic 是否在非目標情境中浮現。
把風格與人格個性化移至推理層：透過系統指令 (system prompt) 注入風格參數，而非透過 RL 燒進模型參數。這樣可保持可回滾性，並隔離個性化行為對其他使用情境的影響。
持續關注 OpenAI 的 RL 訓練方法論演進，以及社群對「推理層 vs 訓練層個性化」技術共識的走向。VentureBeat 的分析指出，這個問題在 AI 個人化服務快速擴張的背景下，將成為對齊研究的重要議題。