Konzistentnosť veľkých jazykových modelov: Rodina efektívnych paralelných dekodérov

An illustration for an article on Consistency Large Language Models (CLLMs). The image consists of a futuristic lab setting with a framed 3:2 ratio picture of several virtual, computer generated decoders illustrated in a cheerful and positive light. These decoder tokens are in the shape of different characters, each linked with parallel lines demonstrating parallel decoding. Some are solving large non-linear equations representing the Jacobi decoding method. Others show various process states symbolizing global consistency (GC) loss, local consistency (LC) loss, and traditional AR loss. Additionally, some tokens appear to predict their evolution, underlining the capability of CLLMs to predict correct tokens preemptively.

Dokument predstavuje konzistentné veľké jazykové modely (CLLM), novú rodinu paralelných dekodérov, ktoré dokážu efektívne dekódovať n-tokenovú sekvenciu v jednom kroku inferencie, čím sa znižuje latencia. Vysvetľuje, že CLLM sú vyškolené na vykonávanie paralelného dekódovania mapovaním akejkoľvek náhodne inicializovanej n-tokenovej sekvencie na rovnaký výsledok, ktorý poskytuje autoregresívne (AR) dekódovanie v čo najmenšom počte krokov. Navrhovaná metóda vykazuje výrazné zlepšenie rýchlosti generovania, porovnateľné s inými rýchlymi inferenčnými technikami, ako sú Medusa2 a Eagle, bez toho, aby vyžadovala dodatočné náklady na pamäť. Diskutuje sa o metóde Jacobiho dekódovania, ktorá transformuje sekvenčný proces generovania na systém n nelineárnych rovníc riešiteľných paralelne. V dokumente sa podrobne opisuje aj proces trénovania CLLM vrátane straty globálnej konzistencie (GC), straty lokálnej konzistencie (LC) a tradičnej straty AR. Zdôrazňuje sa v ňom, že CLLM dosahujú významné zrýchlenie v špecializovaných doménach a konverzačných úlohách s otvorenou doménou, pričom náklady na doladenie sú mierne. Okrem toho CLLM vykazujú schopnosť predvídať správne tokeny vopred a získavajú zručnosť v mnohých kolokáciách prostredníctvom cieľa generovania konzistencie.

Celý článok

Related Posts

Leave a Reply