Tutarlılık Büyük Dil Modelleri: Verimli Paralel Kod Çözücüler Ailesi

An illustration for an article on Consistency Large Language Models (CLLMs). The image consists of a futuristic lab setting with a framed 3:2 ratio picture of several virtual, computer generated decoders illustrated in a cheerful and positive light. These decoder tokens are in the shape of different characters, each linked with parallel lines demonstrating parallel decoding. Some are solving large non-linear equations representing the Jacobi decoding method. Others show various process states symbolizing global consistency (GC) loss, local consistency (LC) loss, and traditional AR loss. Additionally, some tokens appear to predict their evolution, underlining the capability of CLLMs to predict correct tokens preemptively.

Bu belge, çıkarım adımı başına bir n-token dizisini verimli bir şekilde çözebilen ve gecikmeyi azaltan yeni bir paralel kod çözücü ailesi olan Tutarlılık Büyük Dil Modellerini (CLLM’ler) tanıtmaktadır. CLLM’lerin, rastgele başlatılan herhangi bir n-token dizisini mümkün olduğunca az adımda otoregresif (AR) kod çözme ile elde edilen aynı sonuca eşleyerek paralel kod çözme gerçekleştirmek üzere eğitildiği açıklanmaktadır. Önerilen yöntem, ek bellek maliyeti gerektirmeden Medusa2 ve Eagle gibi diğer hızlı çıkarım teknikleriyle karşılaştırılabilir şekilde üretim hızında önemli gelişmeler göstermektedir. Sıralı üretim sürecini paralel olarak çözülebilen n doğrusal olmayan denklem sistemine dönüştüren Jacobi kod çözme yöntemi tartışılmaktadır. Belgede ayrıca küresel tutarlılık (GC) kaybı, yerel tutarlılık (LC) kaybı ve geleneksel AR kaybı dahil olmak üzere CLLM’ler için eğitim süreci detaylandırılmaktadır. CLLM’lerin, orta düzeyde ince ayar maliyetleri ile özel alanlarda ve açık alan konuşma zorluklarında önemli hızlanma sağladığını vurgulamaktadır. Ek olarak, CLLM’ler doğru belirteçleri önceden tahmin etme yeteneğini sergiler ve tutarlılık oluşturma hedefi aracılığıyla çok sayıda eşdizimde yeterlilik kazanır.

Makalenin tamamı

Related Posts

Bir yanıt yazın