Google Deepmind navrhuje rámec “self-discover” pre LLM, zlepšuje výkon GPT-4

Create an illustration that represents the concept of an article about the latest advances in language learning models (LLM) technology by Google Deepmind and the University of Southern California. Please include elements that signify self-discovery and improvement, such as a stylized LLM being enlightened by a figurative light bulb, symbolizing new-found knowledge and ability. Highlight actions of problem-solving and reasoning, possibly with a visual metaphor like a complex maze being easily navigated by the LLM. Design the image in a positive and light tone, comparable to the aesthetic found in early 20th-century graphic animation. Keep the aspect ratio as 3:2.

Vedci zo spoločnosti Google Deepmind a Univerzity v Južnej Kalifornii navrhli nový rámec pre samoobjavovanie podnetov na zlepšenie schopnosti uvažovania veľkých jazykových modelov (LLM). Tento prístup ide nad rámec existujúcich techník podnecovania a zistilo sa, že zlepšuje výkonnosť modelov, ako sú OpenAI’s GPT-4 a Google’s PaLM 2. Rámec zahŕňa LLM, ktoré samy od seba objavujú štruktúry odôvodňovania vlastné úlohám na riešenie problémov. Pozerá sa na viaceré atomické moduly uvažovania a skladá ich do explicitnej štruktúry uvažovania, ktorú LLM sledujú počas dekódovania. Tento prístup pracuje s podstatne menším počtom inferenčných výpočtov, čo je výhodné pre podniky. Výskumníci testovali tento prístup s rôznymi modelmi a zistili výrazné zlepšenie výkonu, pričom v porovnaní s inými technikami dosiahli nárast až o 32 %. Prístup self-discover dosiahol vysokú presnosť pri rôznych úlohách uvažovania a ukázal potenciál na posunutie hraníc riešenia problémov a rozvoj všeobecnej inteligencie v LLM.

Celý článok

Leave a Reply