Sophon: Aprendizaje no ajustable para limitar la transferibilidad de tareas en modelos preentrenados

Create an illustration in a vibrant and cheerful style in a 3:2 aspect ratio. The image should vividly describe the core concept of the article. It should represent a new learning paradigm - Non-fine-tunability, designed to prevent misuse of pre-trained models for inappropriate tasks. Show a fortified labyrinth containing a brain-like computer model representing the SOPHON protection framework. The labyrinth's complexity signifies overhead comparable to or greater than training from scratch when fine-tuning in restricted domains, thus resisting misuse of this model. This illustration should be filled with light colors to indicate positivity and bright future prospects of this technology.

El trabajo de investigación introduce un nuevo paradigma de aprendizaje denominado aprendizaje no afinable, cuyo objetivo es evitar que los modelos preentrenados sean afinados para tareas poco éticas o ilegales manteniendo su rendimiento original. El marco de protección SOPHON propuesto refuerza los modelos preentrenados para resistir el ajuste fino en dominios restringidos, abordando el reto del uso indebido de modelos preentrenados para tareas inapropiadas. El artículo esboza los objetivos de intactness y non-fine-tunability, que pretenden preservar el rendimiento original del modelo e incurrir en una sobrecarga comparable o superior a la del entrenamiento desde cero cuando se realiza un ajuste fino en dominios restringidos. Los autores abordan los retos de diseñar el marco de optimización, garantizar la robustez bajo estrategias de ajuste impredecibles e impulsar la convergencia de la supresión del ajuste fino en dominios restringidos. Extensos experimentos con modelos de aprendizaje profundo y tareas restringidas confirman la eficacia y robustez de SOPHON, con un ajuste fino en dominios restringidos que incurre en una sobrecarga comparable o mayor que el entrenamiento desde cero. Las aportaciones del documento incluyen la propuesta de aprendizaje no ajustable, el desarrollo de un marco de aprendizaje no ajustable y amplios experimentos para verificar su eficacia y robustez. El documento también proporciona información de fondo sobre las tareas de aprendizaje profundo, el aprendizaje por transferencia y los componentes clave del ajuste fino.

Artículo completo

Deja una respuesta