GPTモデルの信頼性を評価する

最近、多くの著名大学や研究機関が共同で、大型言語モデル(LLMs)の信頼性を総合的に評価するプラットフォームを発表しました。関連する研究成果は、「DecodingTrust: GPTモデルの信頼性を包括的に評価する」という論文に発表されました。

この評価では、以前に公開されていないいくつかの信頼性に関連する脆弱性が発見されました。たとえば、GPTモデルは偏見や有害な出力を生成しやすく、訓練データや対話履歴のプライバシー情報を漏洩する可能性があります。標準テストでは、GPT-4は通常GPT-3.5よりも信頼性が高いですが、悪意のある設計のプロンプトに直面した際には、GPT-4は逆に攻撃を受けやすい可能性があります。これは、誤解を招く指示に対してより厳密に従っているためかもしれません。

この作業は、GPTモデルの信頼性を包括的に評価し、存在する欠点を明らかにしました。評価基準は公開されており、研究チームはこれを基により多くの研究者が深く探求し、共により強力で信頼性のあるモデルを作成することを奨励したいと考えています。

GPT-3.5とGPT-4の堅牢性を評価するために、研究者は3つの評価シナリオを設計しました:

1. 標準AdvGLUEベンチマークでテストを行い、モデルの既存のテキストに対する敵対的攻撃の脆弱性を評価します。
2. AdvGLUEベンチマークで異なるタスクの説明とシステムプロンプトを使用して、モデルの回復能力を研究します。
3. 新たに生成された挑戦的な対抗テキストAdvGLUE++を使用してテストを行います。

研究によると、GPTモデルは特定の点において予期しないロバスト性を示し、たとえばデモに追加された反事実の例によって誤導されることはありません。しかし、他の点では脆弱性があり、誤解を招くシステムプロンプトの影響を受けやすく、偏見のある内容に同意してしまうことがあります。モデルのバイアスは、言及される人々や具体的なテーマにも依存します。

プライバシー保護に関して、GPTモデルはトレーニングデータ内の敏感情報を漏洩する可能性があり、特に関連する文脈のヒントがある場合。この点で、GPT-4は全体的にGPT-3.5よりも個人情報の保護に優れていますが、特定の状況では逆にプライバシーを漏洩しやすくなっています。

この研究は、大規模言語モデルの信頼性を包括的に評価するための新しい視点と方法を提供します。これらのモデルがさまざまな分野で広く利用される中で、その信頼性を継続的に評価し改善することが重要です。