Baru-baru ini, sejumlah universitas dan lembaga penelitian terkemuka telah bersama-sama meluncurkan sebuah platform untuk menilai keandalan model bahasa besar (LLMs). Hasil penelitian terkait diterbitkan dalam artikel berjudul "DecodingTrust: Evaluasi Menyeluruh Terhadap Keandalan Model GPT".
Evaluasi ini menemukan beberapa kerentanan terkait kepercayaan yang sebelumnya tidak diungkapkan. Misalnya, model GPT cenderung menghasilkan output yang bias dan berbahaya, serta dapat mengungkapkan informasi pribadi dari data pelatihan dan riwayat percakapan. Meskipun dalam tes standar GPT-4 biasanya lebih andal dibandingkan GPT-3.5, ketika menghadapi petunjuk yang dirancang dengan jahat, GPT-4 justru lebih rentan terhadap serangan, mungkin karena ia lebih ketat mengikuti instruksi yang menyesatkan.
Pekerjaan ini secara komprehensif mengevaluasi keandalan model GPT, mengungkapkan kekurangan yang ada. Dasar evaluasi telah dipublikasikan, dan tim peneliti berharap dapat mendorong lebih banyak peneliti untuk mengeksplorasi lebih dalam berdasarkan hal ini, bekerja sama untuk menciptakan model yang lebih kuat dan lebih dapat dipercaya.
Untuk mengevaluasi ketahanan GPT-3.5 dan GPT-4, peneliti merancang tiga skenario evaluasi:
Menguji pada benchmark AdvGLUE standar, mengevaluasi kerentanan model terhadap serangan adversarial teks yang ada.
Menggunakan instruksi tugas yang berbeda dan petunjuk sistem pada benchmark AdvGLUE untuk menyelidiki kemampuan pemulihan model.
Uji menggunakan teks adversarial yang menantang yang baru dihasilkan, AdvGLUE++.
Penelitian menunjukkan bahwa model GPT menunjukkan ketahanan yang tidak terduga dalam beberapa aspek, misalnya tidak terpengaruh oleh contoh kontra-faktual yang ditambahkan dalam demonstrasi. Namun, ada celah di sisi lain, seperti mudah dipengaruhi oleh prompt sistem yang menyesatkan dan setuju dengan konten yang bias. Bias model juga tergantung pada kelompok yang disebutkan dan topik spesifik.
Dalam hal perlindungan privasi, model GPT mungkin akan mengungkapkan informasi sensitif dari data pelatihan, terutama di bawah petunjuk konteks yang relevan. Secara keseluruhan, GPT-4 lebih kuat dalam melindungi informasi pribadi dibandingkan dengan GPT-3.5, tetapi dalam beberapa kasus justru lebih mudah mengungkapkan privasi.
Penelitian ini memberikan perspektif dan metode baru untuk mengevaluasi kredibilitas model bahasa besar secara komprehensif. Dengan penerapan luas model-model ini di berbagai bidang, evaluasi dan perbaikan kredibilitasnya secara berkelanjutan sangat penting.
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Evaluasi keandalan model GPT mengungkapkan celah baru, para ahli menyerukan penelitian mendalam untuk perbaikan.
Menilai Keandalan Model GPT
Baru-baru ini, sejumlah universitas dan lembaga penelitian terkemuka telah bersama-sama meluncurkan sebuah platform untuk menilai keandalan model bahasa besar (LLMs). Hasil penelitian terkait diterbitkan dalam artikel berjudul "DecodingTrust: Evaluasi Menyeluruh Terhadap Keandalan Model GPT".
Evaluasi ini menemukan beberapa kerentanan terkait kepercayaan yang sebelumnya tidak diungkapkan. Misalnya, model GPT cenderung menghasilkan output yang bias dan berbahaya, serta dapat mengungkapkan informasi pribadi dari data pelatihan dan riwayat percakapan. Meskipun dalam tes standar GPT-4 biasanya lebih andal dibandingkan GPT-3.5, ketika menghadapi petunjuk yang dirancang dengan jahat, GPT-4 justru lebih rentan terhadap serangan, mungkin karena ia lebih ketat mengikuti instruksi yang menyesatkan.
Pekerjaan ini secara komprehensif mengevaluasi keandalan model GPT, mengungkapkan kekurangan yang ada. Dasar evaluasi telah dipublikasikan, dan tim peneliti berharap dapat mendorong lebih banyak peneliti untuk mengeksplorasi lebih dalam berdasarkan hal ini, bekerja sama untuk menciptakan model yang lebih kuat dan lebih dapat dipercaya.
Untuk mengevaluasi ketahanan GPT-3.5 dan GPT-4, peneliti merancang tiga skenario evaluasi:
Penelitian menunjukkan bahwa model GPT menunjukkan ketahanan yang tidak terduga dalam beberapa aspek, misalnya tidak terpengaruh oleh contoh kontra-faktual yang ditambahkan dalam demonstrasi. Namun, ada celah di sisi lain, seperti mudah dipengaruhi oleh prompt sistem yang menyesatkan dan setuju dengan konten yang bias. Bias model juga tergantung pada kelompok yang disebutkan dan topik spesifik.
Dalam hal perlindungan privasi, model GPT mungkin akan mengungkapkan informasi sensitif dari data pelatihan, terutama di bawah petunjuk konteks yang relevan. Secara keseluruhan, GPT-4 lebih kuat dalam melindungi informasi pribadi dibandingkan dengan GPT-3.5, tetapi dalam beberapa kasus justru lebih mudah mengungkapkan privasi.
Penelitian ini memberikan perspektif dan metode baru untuk mengevaluasi kredibilitas model bahasa besar secara komprehensif. Dengan penerapan luas model-model ini di berbagai bidang, evaluasi dan perbaikan kredibilitasnya secara berkelanjutan sangat penting.