Sophon: Pembelajaran yang Tidak Dapat Disetel Halus untuk Menahan Transferabilitas Tugas Untuk Model yang Telah Dilatih Sebelumnya

Create an illustration in a vibrant and cheerful style in a 3:2 aspect ratio. The image should vividly describe the core concept of the article. It should represent a new learning paradigm - Non-fine-tunability, designed to prevent misuse of pre-trained models for inappropriate tasks. Show a fortified labyrinth containing a brain-like computer model representing the SOPHON protection framework. The labyrinth's complexity signifies overhead comparable to or greater than training from scratch when fine-tuning in restricted domains, thus resisting misuse of this model. This illustration should be filled with light colors to indicate positivity and bright future prospects of this technology.

Makalah penelitian ini memperkenalkan paradigma pembelajaran baru yang disebut pembelajaran yang tidak dapat disetel dengan baik, yang bertujuan untuk mencegah model yang telah dilatih sebelumnya disetel dengan baik untuk tugas-tugas yang tidak etis atau ilegal dengan tetap mempertahankan kinerja aslinya. Kerangka kerja perlindungan SOPHON yang diusulkan memperkuat model yang telah dilatih sebelumnya untuk menolak penyempurnaan dalam domain terbatas, mengatasi tantangan penyalahgunaan model yang telah dilatih sebelumnya untuk tugas-tugas yang tidak pantas. Makalah ini menguraikan tujuan keutuhan dan ketidaktepatan, yang bertujuan untuk mempertahankan kinerja asli model dan menimbulkan biaya tambahan yang sebanding atau lebih besar daripada pelatihan dari awal ketika disetel dengan baik dalam domain terbatas. Para penulis membahas tantangan dalam merancang kerangka kerja pengoptimalan, memastikan ketahanan di bawah strategi fine-tuning yang tidak dapat diprediksi, dan meningkatkan konvergensi penekanan fine-tuning dalam domain terbatas. Eksperimen ekstensif pada model pembelajaran mendalam dan tugas-tugas terbatas mengkonfirmasi keefektifan dan ketangguhan SOPHON, dengan fine-tuning pada domain terbatas yang menimbulkan biaya overhead yang sebanding atau lebih besar daripada pelatihan dari awal. Kontribusi makalah ini termasuk proposal pembelajaran yang tidak dapat disetel dengan baik, pengembangan kerangka kerja pembelajaran yang tidak dapat disetel dengan baik, dan eksperimen ekstensif untuk memverifikasi keefektifan dan ketangguhannya. Dokumen ini juga memberikan informasi latar belakang tentang tugas-tugas pembelajaran mendalam, pembelajaran transfer, dan komponen-komponen utama dari fine-tuning.

Artikel lengkap

Tinggalkan Balasan