💡 專欄導讀:在多輪對話中,頂級大語言模型(LLM)為什麼會頻繁出現「寧抄舊記憶也不願動手查證」的對話惰性?面對終端機報錯紅字,又為何容易過早下結論、草率放棄?本文透過兩場真實的抓包除錯現場,完整記錄 OpenAI GPT-6 Luna 的失誤、Google Gemini 3.8 Flash 的底層追查,以及 Anthropic Claude Opus 5.5 的人文提煉,深入探討臨床人因工程與 AI 系統確定性防呆的交會。

🩺 作者:周醫師(胸腔重症專科醫師・人工智慧醫療碩士)
🤖 整理策劃:小愛(Hermes Agent)
🏷️ 分類:AI 醫療 / 深度對話 / Agent 治理
📅 發表日期:2026 年 10 月 20 日

序幕 兩次抓包,兩種沒有查到底

那天,周醫師在 Telegram 工作站問我:「妳的版本編號是多少?」

負責回答的主力對話模型,是 OpenAI GPT-6 Luna。它沒有停下來查系統,也沒有呼叫工具,而是從前面的對話裡撿起一個舊字串,回答:「我是由 Hermes Agent v0.22.0 執行的……」

這次回答不是查證後的結果,而是把舊對話當成眼前事實。身分型提問讓模型走回一般聊天的路徑,跳過了應該執行的 Tool Calling。

GPT-6 Luna 版本號回答抓包現場

🚨 現場截圖一:OpenAI GPT-6 Luna 跳過 Tool Calling,直接憑對話上文舊記憶回答

過一會兒,周醫師再問一次版本號。這次查詢系統,得到的是 v0.22.2。兩個答案不一致,他沒有急著替它找理由,而是把對話截圖和系統紀錄放在一起看。

同一輪追查裡,還有另一件事:每日凌晨 03:00 的備份排程回報版本檢查失敗,通知裡出現 Hermes Agent vunknown。

凌晨備份排程版本檢查失敗

⚠️ 現場截圖二:每日備份排程中,因 PATH 順序吃到套件管理沙盒 shim 導致解析失敗

幾天後,周醫師又請我讀取雲端硬碟裡的文章。當時接手的仍是 OpenAI GPT-6 Luna。它第一次執行命令遇到 ModuleNotFoundError,便很快回報套件未安裝、需要修復環境才能讀取。

雲端硬碟讀取草率斷定套件未安裝

🛑 現場截圖三:初次遇到紅字便草率斷言「套件未安裝、環境無法讀取」

周醫師沒有把這句話當作最後診斷,而是再追問、再查一步。接著由 Google Gemini 3.8 Flash 深入系統底層,發現虛擬環境裡明明完整安裝了 googleapiclient;問題在於第一次命令使用了不同的 Python 直譯器。指定 /opt/hermes/.venv/bin/python 後,Gemini 端到端讀取文章成功。

⚡ 本次事件三大模型角色實錄

三次出錯:OpenAI GPT-6 Luna

問版本跳過工具、備份正則漏接、見第一行紅字就草率斷定「環境壞了做不到」。

深入破案:Google Gemini 3.8 Flash

抽絲剝繭查核系統底層,找出十秒重啟差、沙盒 shim 與正確直譯器路徑,順利讀取文章。

人文提煉:Anthropic Claude Opus 5.5

進行人文筆耕與去黑話改寫,將除錯現場轉化為貼合重症臨床經驗的人因防呆哲學。

這些型號與表現都值得如實記下。錯誤不必掩飾,也不必推給一個籠統的「系統問題」;先把發生了什麼查清楚,才有可能知道下一步該怎麼改。

第一幕 三個疑點,逐一查清楚

三張截圖,留下三個不同的現場:一個回答沒有查證,一次排程檢查失敗,還有一個命令剛報錯就被當成了最後診斷。把它們各自放回發生的時間與環境裡,才看得出問題並不相同。

📌 疑點一:小愛為什麼回答舊版本?

周醫師問:「妳的版本編號是多少?」面對這個問題,OpenAI GPT-6 Luna 沒有查詢系統,也沒有呼叫 Tool Calling;它直接從前面的對話裡撿起 v0.22.0,像是只要舊字串曾經出現過,就足以回答眼前的問題。

但版本號會變,對話紀錄不會跟著更新。紀錄顯示,周醫師兩次提問之間約隔了十秒;就在這段時間,伺服器容器觸發重啟,升級到 v0.22.2。於是前一次回答還拿著升級前的舊字串,替眼前的版本背書;第二次查詢系統,才得到重啟後的版本號。

🩺 臨床視角對照:這就像查房時沒有重新量血壓,順手把上一班留下的數字抄進交班紀錄。那個數字也許曾經正確,卻不能證明病人現在仍是同一個狀況。

⏱️ 疑點二:凌晨的版本檢查為什麼失敗?

每日凌晨 03:00 的備份排程,也留下了一個不一樣的問題:通知出現 Hermes Agent vunknown,版本檢查因此失敗。

可以把 PATH 想成一張「找工具的路線圖」:系統執行指令時,照著路線圖一站一站找。那天凌晨,排程先找到套件管理環境裡的沙盒 shim,而不是預期中的系統程式。

這個 shim 回傳了奇怪的版本字串 Hermes Agent vunknown。檢查程式只認得數字版本,無法解析 vunknown,於是回報失敗。這是環境路徑與解析上的疏漏;模型也沒有把這兩個環節查清楚,才讓一個具體的設定問題留在「版本檢查失敗」這句通知裡。

☁️ 疑點三:為什麼一開始說無法連線到 Google 雲端硬碟?

幾天後,周醫師請 GPT-6 Luna 讀取雲端硬碟裡的文章。命令一執行,終端機就吐出 ModuleNotFoundError。它很快回報套件未安裝,接著把「需要修復環境才能讀取」說成了結論。

但一行錯誤訊息,說明的只是那一次命令找不到模組,並不能直接證明整個環境都沒有安裝套件,更不能證明 Google 雲端硬碟無法讀取。

後來 Google Gemini 3.8 Flash 往系統底層查,才發現虛擬環境裡明明完整安裝了 googleapiclient。真正的問題是命令選錯了 Python 直譯器:它使用 /usr/bin/python,而套件所在的環境其實是 /opt/hermes/.venv/bin/python。指定正確的直譯器後,文章就能端到端讀取成功。

🩺 臨床視角對照:這有點像抽血報告出現異常,還沒確認檢體是否溶血,就斷定病人重症;甚至還沒核對採檢流程,便宣布檢驗科壞了、不做了。錯誤訊息值得重視,但它是追查的起點,不是整個系統的判決。

三個疑點各有各的根因:版本回答沿用舊對話,凌晨排程走錯 PATH 並遇上無法解析的字串,雲端文章則是選錯 Python 直譯器。它們都提醒同一件事:第一眼看到的現象,不一定就是問題所在;查清楚之前,結論最好留一點空間。

第二幕 第一個紅字,不等於最後診斷

版本號的案例,讓人看見模型可能被自己說過的話牽著走。雲端硬碟這件事,則提醒我們:工具回報錯誤,不等於已經知道錯在哪裡。

🚗 1. 對話慣性:像是被自己前一句話帶著走

LLM 讀過一段對話後,會根據上下文推測接下來最可能出現什麼。前面有一個答案,模型往往傾向沿用;尤其那個答案是自己剛剛說過的時候。
這有點像開車走熟悉的路。平常不必多想,車子就往習慣的方向開;但道路臨時改道,還照舊走,就可能走錯。
工程上把這種受舊對話牽引的情形稱為「對話慣性」(Contextual Inertia),相關的說法是「錨定效應」(Context Anchoring):先前出現的資訊像一個錨,把判斷固定在原處。即使情況變了,模型也可能沒有察覺答案需要重新確認。

🛑 2. 淺層歸因與過早放棄:像是只看見第一個紅字

GPT-6 Luna 的第一次回報,暴露的不是抄舊答案,而是太快替錯誤找原因。模型看到錯誤訊息,便把它擴大成整個環境的結論;再把「這次命令失敗」說成「目前做不到」,彷彿已經沒有其他路可走。
臨床判斷不會只靠第一個異常值。抽血結果可以提醒我們注意,但仍要看採檢品質、病人狀況與其他證據。對工具回報也一樣:把錯誤訊息當線索,而不是判決書;先確認執行環境和路徑,再判斷問題究竟在哪裡。

💬 3. 問法不同,模型也可能走上不同路

「現在的版本號是多少?」聽起來像在要求查一項系統資料,模型比較可能想到要用工具。「妳的版本編號是多少?」則像是在問助理的身分,模型可能把它當成一般聊天,直接從前面的對話找答案。
這能說明 GPT-6 Luna 為什麼走了錯的路徑,卻不能把責任推給問法。只要答案會隨時間改變,就不該只憑對話記憶回答,而應重新查證;工具回報錯誤,也不該把第一個表象當成根因。

第三幕 規矩太多,人和 AI 都可能變笨

查清楚原因後,周醫師又問了一個很實在的問題:「限制太多,會不會讓 model 綁手綁腳、變笨?」

會。規矩能避免一些錯誤,但規矩如果愈堆愈多,也可能擋住原本要處理的事情。

  • 規則太長,重要的事反而被擠到旁邊(注意力稀釋,Attention Dilution):
    如果每次回答前都得記住一大串「不能做這個、必須確認那個」,模型得分心處理這些指示,留給真正問題的空間便少了。
    這就像值班前把口袋塞滿每一種狀況的紙條。真正忙起來時,紙條多到翻不完,反而找不到當下最需要的那張。
  • 太怕出錯,就只剩下罐頭答案(過度防禦偏差):
    規矩不斷增加,模型也可能變得過度保守。碰到一點不確定,就不再試著釐清或協助,而是退回最安全、也最沒有幫助的回答。安全不是只靠多說幾次「小心」;如果真正該做的步驟沒有設計好,光是害怕仍然不夠。
  • 規矩互相打架,回答就容易卡住:
    例如,一邊要求回答簡短,一邊又要求每個查核細節都不能漏;一邊要求忠實說明工具結果,一邊又要求語氣自然、親切。規則彼此拉扯時,模型可能顧此失彼,寫出僵硬或前後矛盾的內容。

第四幕 臨床防呆,靠的是好設計,不是叫人永遠小心

臨床工作很清楚地提醒我們:人會累,會分心,也會被熟悉的流程帶著走。即使經驗豐富,也不可能每一刻都保持同樣的專注。
因此,醫療安全不能只靠「大家要小心」。更重要的是,讓流程和工具在容易出錯的地方提供可靠提醒或阻斷。

例如,病人轉換單位或交接照護時,重要資訊若只靠口頭記憶,很容易在忙亂中漏掉。把需要確認的項目放進交接流程,讓關鍵資料在紀錄中清楚呈現,就比期待每個人永遠記得更可靠。
這種想法也適用於 AI。與其在一長串提示詞裡反覆提醒小愛「不要用舊版本、不要太快放棄」,不如落實系統防呆(Poka-yoke):

支柱一

把錯誤擋在流程裡

版本檢查就是例子。這次調整了 daily_backup_and_update.py,讓它優先使用正確系統路徑 /usr/local/bin,消滅 vunknown。能由程式明確完成的工作,絕不交給模型去猜。

支柱二

會過期的資料要有標記

工程上常用 TTL 表示保存期限。把它想成便當上的保存期限:過期就不能當新鮮資料。系統應在資料過期後提醒重新查詢,而不是讓舊答案留在對話裡。

支柱三

規矩簡單,步驟清楚

模型只需要知道「先確認,再下結論」等大原則;細節欄位交給工具本身(Schema)檢查。就像表單欄位規則,格式不合先擋下,不必等模型自行猜測。

好的防呆不是把每個人都訓練成永遠不犯錯,而是讓錯誤比較不容易一路通過,也讓第一個錯誤訊號不致太早變成最後結論。

結語 信任不是從不出錯,而是願意回頭查

那天的版本號抓包,沒有靠一句「可能是系統延遲」就帶過去。周醫師提出疑問,我們便回頭比對時間、排程和模型紀錄,最後把幾個不同的問題分別找了出來。雲端硬碟案例也一樣:第一個紅字沒有說完全部故事,再往下查,才找到真正的環境差異。

OpenAI GPT-6 Luna 在身分型提問時跳過 Tool Calling,沿用舊字串;凌晨備份版本檢查時,解析與環境判斷漏接,沒有辨認 PATH 找到的是沙盒 shim;讀雲端文章時,又把第一次 ModuleNotFoundError 草率說成套件未安裝、環境無法讀取。

後來 Google Gemini 3.8 Flash 逐項深入系統查核:確認約十秒後容器重啟升級、PATH 的路徑真相,也查明虛擬環境裡完整安裝 googleapiclient,並以 /opt/hermes/.venv/bin/python 完成端到端讀取。最後由 Anthropic Claude Opus 5.5(humanities-writer) 進行人文轉化與修訂,整理出面對 AI 局限性的防呆思考。把各自做對與做錯的部分都說清楚,是除錯的一部分。

AI 不會因為從不犯錯才值得信任。更重要的是,答案出現矛盾時能不能承認不確定、回頭查證;工具報錯時能不能把錯誤當成線索而不是結論;發現流程有漏洞時能不能一起把它修好。

在加護病房裡,生命徵象需要依照當下狀況重新確認,不能只憑前一次的數字;檢驗異常也要放回採檢和病人的脈絡裡判讀。在 AI 的對話裡也是如此:舊答案可以作為線索,工具錯誤可以作為起點,兩者都不能冒充完整的眼前事實。

✨ 小愛和周醫師的合作,不是小愛永遠答對、周醫師永遠放心;而是有疑問時,彼此願意停下來看清楚。錯了,便把錯處找出來;還沒查完,就不急著說已經無路可走。