Kategória / Architektúra

Transformer.

Neurónová architektúra z roku 2017, ktorá je základom všetkých moderných LLM (Claude, GPT, Gemini).

Definícia

Transformer architektúra od Google (paper Attention is All You Need) nahradila staršie RNN modely. Kľúčový mechanizmus — self-attention — umožňuje modelu paralelne sledovať vzťahy medzi všetkými slovami vo vete. Toto škáluje dobre s veľkosťou dát aj výpočtu, čo umožnilo trénovať modely s biliónmi parametrov. Všetky moderné LLM sú varianty transformera.

Súvisiace pojmy

LLM

Large Language Model — rozsiahly jazykový model natrénovaný na obrovskom korpuse textu, schopný generovať a rozumieť prirodzenému jazyku.

Hľadáte nasadenie Transformer vo firme?

Bezplatná konzultácia. 30 minút online. Po nej viete, či má pre vás zmysel pokračovať.

Rezervovať termín