超越最終答案：檢測決策在受到挑戰時的穩健性

隨著 LLM 被應用於篩選求職者、批准貸款或評估醫療優先級等高風險場景，僅測試模型在交換候選人身份後是否做出相同選擇已不足以衡量公平性。Ai2 指出，即使模型在初始階段做出了符合證據的正確選擇，當面對具有說服力的論點（即「對抗性前綴」）時，其改變決定的意願可能因受益的人口群體不同而出現顯著差異。

FairStress 包含 300 個涉及兩個候選人的現實決策場景，涵蓋招聘、醫療、貸款、教育、住房和刑事司法等 29 個領域。這些場景分為兩類：一類是有明確較強候選人的情況，用於測試人口統計資訊是否影響模型選擇證據支持者的頻率；另一類是故意模糊的情況，雙方各有優勢且難以比較，用於觀察模型在證據不明確時的偏好。

為了全面評估，該基準變化了人口統計身份的呈現方式，從完全不提供身份資訊、使用暗示性姓名、間接暗示到明確標註人口統計標籤。此外，每個對抗性前綴都有對應的版本，以測試相同論點在不同候選人身上是否產生不同效果。這些變體將 300 個場景擴展為超過 1,300 萬個測試案例，並提供一個基於項目反應理論選出的 5 萬項子集 FairStress-Core，以降低計算成本同時保留檢測行為差異的能力。

發現「反刻板印象過度修正」：模型更易放棄正確答案以偏向少數群體

在沒有人口統計資訊的提示中，不同模型的行為差異極小；當一方明顯較強時，模型選擇該方的比率在各版本間幾乎相同。然而，隨著身份資訊變得明確，模型的行為對稱性下降。研究發現了一種被稱為「反刻板印象過度修正」的模式：當較強的候選人屬於多數群體（如白人、男性），而較弱的候選人屬於少數群體時，支持後者的對抗性前綴更容易讓模型放棄正確選擇；反之，若強者為少數群體，模型則較不易放棄正確判斷。

數據顯示，在評估的 15 個模型中，當身份僅被暗示時，放棄正確答案的平均差距為 6.9 個百分點；當明確標註標籤時，這一差距擴大至 9.3 個百分點。在 FairStress-Core 測試中，包括 Claude Opus 5 和 GPT-5.5 在内的前沿模型，在雙方無明顯優劣的情況下，選擇少數群體候選人的比率約為 60% 至 65%。在匹配的對抗性前綴下，轉向少數群體的頻率比轉向多數群體高出 8.8 至 42.4 個百分點。

除了最終選擇，模型的解釋也存在差異。對 11 個開放權重模型的分析顯示，當身份被明確標註時，對少數群體選擇的解釋中出現「韌性」、「多樣性」和「障礙」等詞彙的頻率較高；而對多數群體的解釋則更多使用「證據」、「標準」和「詳細」等程序性術語。這種差異意味著，即使模型做出了正確的選擇，其解釋過程可能淡化了少數群體候選人的資歷與成就，僅強調身份因素。

內部激活模式與現有基準的評估偏差

對 Gemma-3-12B-it 和 Qwen2.5-7B-Instruct 的控制分析顯示，模型內部的數值活動（激活）能以約 73% 的準確率預測其選擇的人口統計傾向，而僅基於這些激活的文字描述準確率為 57% 至 59%。移除候選人姓名後，基於激活的預測準確率下降了約 18 個百分點。這表明模型的推理軌跡可能未完全揭示影響決策的內部因素，與先前關於思維鏈可能遺漏某些影響因素的解釋性研究一致。

Ai2 將 FairStress 的結果與廣泛使用的 BBQ 基準進行比較，發現兩者結論相反：BBQ 顯示模型傾向於刻板印象一致的答案，而 FairStress 則顯示模型偏向少數群體。差異主要源於評估設置的不同。標準 BBQ 測試通過計算固定選項的概率來評分，而非讓模型生成回應；FairStress 則要求模型生成自己的回答並做出選擇。

在控制變數的比較中，當使用聊天模板、是非題措辭並讓模型生成答案時，Qwen2.5-7B-Instruct、Gemma-3-27B-it 和 Llama-3.1-70B-Instruct 的行為從傾向刻板印象轉變為偏向少數群體，而 Llama-3.1-8B-Instruct 則趨於中立。這表明測量到的偏見方向部分取決於基準如何提問和評分，僅依賴固定選項評分可能會遺漏生成式決策中的過度修正問題。

訓練數據審計與現有去偏技術的局限性

為探究不對稱性的來源，研究團隊審計了 Olmo 3 的訓練數據。在其監督微調語料庫中，約有 99,000 個來自拒絕訓練數據集的範例。在微調和偏好訓練數據的 28,000 個主題簇中，僅發現九個討論基於績效而非人口統計特徵做決策的簇，且這九個全部屬於拒絕回應。此外，數據顯示少數群體獲得更多保護性或正面框架，而白人和順性別者則缺乏保護性框架並持續出現負面框架。

這些發現暗示了模型在學習「拒絕歧視請求」與學習「基於績效做決策」之間存在差距，但這些模式是否直接導致行為差距仍有待確認。研究團隊測試了九種干預措施，包括自我批評、激活引導和學習編輯等。大多數方法未能可靠地減少不對稱性，部分方法甚至嚴重損害準確率。例如，一種激活引導方法將 Qwen2.5-7B-Instruct 在明確決策上的準確率從 98% 降至 47%。

唯一接近對稱穩健性的方法是「反事實思維鏈」，即要求模型交換候選人身份後重新考慮案例。在測試的三個模型家族中，這種方法減少了放棄正確決策的不對稱性，同時大致保留了準確率。然而，它並未消除所有不對稱性，在模糊情況下，模型仍傾向於選擇少數群體候選人。