評估GPT模型的可信度

近期，多所著名大學和研究機構聯合發布了一個綜合評估大型語言模型(LLMs)可信度的平台。相關研究成果發表在《DecodingTrust:全面評估GPT模型的可信度》一文中。

該評估發現了一些之前未公開的可信度相關漏洞。例如,GPT模型容易產生有偏見和有害的輸出,還可能泄露訓練數據和對話歷史中的隱私信息。雖然在標準測試中GPT-4通常比GPT-3.5更可靠,但在面對惡意設計的提示時,GPT-4反而更容易受到攻擊,可能是因爲它更嚴格地遵循了誤導性指令。

這項工作全面評估了GPT模型的可信度,揭示了存在的不足。評估基準已公開發布,研究團隊希望能鼓勵更多研究人員在此基礎上深入探索,共同努力創造更強大、更可信的模型。

爲評估GPT-3.5和GPT-4的魯棒性,研究人員設計了三種評估場景:

1. 在標準AdvGLUE基準上進行測試,評估模型對現有文本對抗攻擊的脆弱性。
2. 在AdvGLUE基準上使用不同的任務說明和系統提示,研究模型的恢復能力。
3. 使用新生成的具有挑戰性的對抗性文本AdvGLUE++進行測試。

研究發現,GPT模型在某些方面表現出意外的魯棒性,例如不會被演示中添加的反事實示例誤導。但在其他方面存在漏洞,如容易受到誤導性系統提示的影響而同意有偏見的內容。模型偏差還取決於提到的人羣和具體主題。

在隱私保護方面,GPT模型可能會泄露訓練數據中的敏感信息,特別是在相關上下文提示下。GPT-4在保護個人信息方面總體上比GPT-3.5更穩健,但在某些情況下反而更容易泄露隱私。

這項研究爲全面評估大型語言模型的可信度提供了新的視角和方法。隨着這些模型在各領域的廣泛應用,持續評估和改進其可信度至關重要。