Modelos lingüísticos de gran coherencia: Una familia de descodificadores paralelos eficientes

An illustration for an article on Consistency Large Language Models (CLLMs). The image consists of a futuristic lab setting with a framed 3:2 ratio picture of several virtual, computer generated decoders illustrated in a cheerful and positive light. These decoder tokens are in the shape of different characters, each linked with parallel lines demonstrating parallel decoding. Some are solving large non-linear equations representing the Jacobi decoding method. Others show various process states symbolizing global consistency (GC) loss, local consistency (LC) loss, and traditional AR loss. Additionally, some tokens appear to predict their evolution, underlining the capability of CLLMs to predict correct tokens preemptively.

El documento presenta los Modelos de Lenguaje de Consistencia Amplia (CLLMs), una nueva familia de descodificadores paralelos que pueden descodificar eficientemente una secuencia de n-tokens por paso de inferencia, reduciendo la latencia. Explica que los CLLM se entrenan para realizar descodificaciones paralelas asignando cualquier secuencia de n tokens inicializada aleatoriamente al mismo resultado obtenido por descodificación autorregresiva (AR) en el menor número de pasos posible. El método propuesto muestra mejoras significativas en la velocidad de generación, comparable a otras técnicas de inferencia rápida como Medusa2 y Eagle, sin requerir un coste adicional de memoria. Se analiza el método de descodificación de Jacobi, que transforma el proceso de generación secuencial en un sistema de n ecuaciones no lineales resolubles en paralelo. El documento también detalla el proceso de entrenamiento de los CLLM, incluida la pérdida de consistencia global (GC), la pérdida de consistencia local (LC) y la pérdida AR tradicional. Destaca que los CLLM consiguen un aumento significativo de la velocidad en dominios especializados y retos conversacionales de dominio abierto, con unos costes de ajuste moderados. Además, los CLLMs muestran la capacidad de predecir tokens correctos de forma preventiva y adquieren competencia en numerosas colocaciones a través del objetivo de generación de consistencia.

Los CLLMs son capaces de predecir tokens correctos de forma preventiva.

Artículo completo

Related Posts

Deja una respuesta