Kategória / Pojmy

Token.

Najmenšia jednotka, ktorú LLM spracúva — približne 0,75 slova v angličtine, pre slovenčinu o niečo viac.

Definícia

Tokenizácia rozdelí text na tokeny — slová, časti slov alebo znaky. slovo Automatizácia je viac tokenov ako cat, lebo modely sú trénované hlavne na angličtine. Pre slovenčinu počítajte približne 1 slovo = 1,5–2 tokeny. Cena LLM API sa účtuje za milión tokenov (typicky 0,5–15 € za 1M input tokens). Pri optimalizácii nákladov sa oplatí komprimovať prompty, používať lacnejšie modely pre jednoduchšie úlohy a cachovať odpovede.

Súvisiace pojmy

Context window

Maximálne množstvo tokenov, ktoré model spracuje v jednej požiadavke — input + output.

LLM

Large Language Model — rozsiahly jazykový model natrénovaný na obrovskom korpuse textu, schopný generovať a rozumieť prirodzenému jazyku.

Hľadáte nasadenie Token vo firme?

Bezplatná konzultácia. 30 minút online. Po nej viete, či má pre vás zmysel pokračovať.

Rezervovať termín