English
Słownik · AI

Tokeny w AI – co to jest?

Definicja

Tokeny to najmniejsze jednostki tekstu, na których pracuje model językowy: słowa, ich fragmenty lub znaki. Od liczby tokenów zależą koszt korzystania z API i to, ile tekstu zmieści się w oknie kontekstowym.

Sebastian Baryś
Sebastian Baryś
26 października 2026 4 min czytania

Co to są tokeny w AI?

Tokeny to najmniejsze jednostki tekstu, na których pracuje model językowy. Według dokumentacji Anthropic mogą odpowiadać słowom, częściom słów, znakom, a nawet bajtom. Zanim model językowy przetworzy tekst, zamienia go na ciąg tokenów, a odpowiedź generuje token po tokenie.

Dla użytkownika tokeny są zwykle niewidoczne, ale wyjaśniają wiele: koszt korzystania z API, limity długości rozmów i to, dlaczego modele mają czasem kłopot z zadaniami na poziomie liter, np. liczeniem znaków w słowie.

Ile tokenów ma polski tekst?

Nie ma jednej odpowiedzi, bo każdy model ma własny tokenizer. Według dokumentacji Anthropic w starszych modelach Claude jeden token to około 3,5 znaku angielskiego tekstu, a nowsze modele od Claude 4.7 dają dla tego samego tekstu około 30% więcej tokenów.

Tokenizery są budowane głównie na tekstach angielskich, więc polskie słowa z odmianą i znakami diakrytycznymi częściej dzielą się na kilka fragmentów. Ten sam tekst po polsku zwykle zajmuje więcej tokenów niż po angielsku. Dokładną liczbę sprawdzisz narzędziem do liczenia tokenów dla konkretnego modelu.

Tokeny a koszt

Tokeny wejściowe

Wszystko, co wysyłasz do modelu: prompt, dokumenty, historia rozmowy.

Tokeny wyjściowe

Odpowiedź modelu. Zwykle droższe od wejściowych.

Korzystanie z API modeli rozlicza się według liczby tokenów. W aplikacjach z abonamentem tokeny przekładają się na limity użycia, dlatego długie rozmowy i duże załączniki szybciej je wyczerpują.

Tokeny a okno kontekstowe

Okno kontekstowe to ilość tekstu, liczona w tokenach, którą model może brać pod uwagę naraz. Dokumentacja Anthropic porównuje je do pamięci roboczej modelu, w odróżnieniu od danych, na których model był trenowany. Gdy prompt, dokumenty i rozmowa przekroczą okno, część treści wypada poza zasięg modelu. Dlatego przy dużych zadaniach lepiej dzielić dane na mniejsze części albo korzystać z technik takich jak RAG, które podają modelowi tylko potrzebne fragmenty.

Sebastian Baryś

Komentarz Sebastiana – konsultanta SEO i AI

Sebastian Baryś · freelancer SEO i Google Ads

Na szkoleniach z AI tokeny to pierwsza rzecz, którą tłumaczę, bo wyjaśnia wiele „dziwnych” zachowań modeli: dlaczego długa rozmowa zaczyna gubić wątek, dlaczego model ma kłopot z policzeniem liter w słowie i dlaczego wklejenie całego raportu bywa droższe, niż się wydaje.

W pracy z polskimi tekstami pamiętam, że limit tokenów kończy się szybciej niż przy angielskich. Przy dużych analizach, np. setek opisów produktów, dzielę dane na mniejsze partie zamiast wklejać wszystko naraz.

Powiązane pojęcia

Jak Tokeny łączy się z innymi pojęciami ze słownika:

FAQ – najczęstsze pytania

Co to są tokeny w AI?

Tokeny to najmniejsze jednostki tekstu, na których pracuje model językowy. Mogą odpowiadać całym słowom, ich fragmentom, pojedynczym znakom, a nawet bajtom. Zanim model przetworzy tekst, zamienia go na ciąg tokenów, a odpowiedź też generuje token po tokenie.

Ile znaków ma jeden token?

Zależy od modelu i języka. Według dokumentacji Anthropic w starszych modelach Claude jeden token to około 3,5 znaku angielskiego tekstu, a nowsze modele od Claude 4.7 używają tokenizera, który dla tego samego tekstu daje około 30% więcej tokenów. Dokładną liczbę najlepiej sprawdzić narzędziem do liczenia tokenów dla konkretnego modelu.

Dlaczego polski tekst ma więcej tokenów?

Tokenizery większości modeli są projektowane głównie na tekstach angielskich, więc częste angielskie słowa mają własne tokeny, a polskie słowa z odmianą i znakami diakrytycznymi są częściej dzielone na kilka fragmentów. W efekcie ten sam tekst po polsku zwykle zajmuje więcej tokenów niż po angielsku.

Jak tokeny wpływają na koszt AI?

Dostawcy modeli rozliczają korzystanie z API według liczby tokenów: osobno tokeny wejściowe (prompt, dokumenty) i wyjściowe (odpowiedź), przy czym wyjściowe są zwykle droższe. Im dłuższy prompt i odpowiedź, tym wyższy koszt. W aplikacjach z abonamentem tokeny przekładają się z kolei na limity użycia.

Co to jest okno kontekstowe?

Okno kontekstowe to ilość tekstu, liczona w tokenach, którą model może brać pod uwagę naraz: prompt, dołączone dokumenty, historię rozmowy i własną odpowiedź. Dokumentacja Anthropic porównuje je do pamięci roboczej modelu. Gdy rozmowa lub dokumenty przekroczą okno, model nie widzi już części treści.

Porozmawiajmy

Chcesz, żeby Twój zespół rozumiał, jak działa AI?

Na szkoleniu wyjaśnię tokeny, okno kontekstowe i ograniczenia modeli na przykładach z SEO i marketingu, żeby zespół korzystał z AI świadomie i bez niespodzianek w kosztach.

Sebastian Baryś

Sebastian Baryś

Odpowiadam osobiście, bez pośredników