Токен — это кусочек текста, которым нейросеть меряет и ваш запрос, и свой ответ. Он не равен ни слову, ни букве: короткое слово может быть одним токеном, длинное делится на несколько. Токены важны для бизнеса по практической причине: от их числа зависит, сколько текста модель удержит за раз, как быстро ответит и сколько это будет стоить.
Как это работает
Перед обработкой модель режет текст на токены по своим правилам, не совпадающим с границами слов. У каждой модели свой способ нарезки. Русский текст обычно дробится мельче английского: одна и та же мысль по-русски занимает больше токенов. Страница русского текста, по грубой оценке, — это от 700 до 1500 токенов.
У модели есть предел, сколько токенов она держит в одном разговоре. В него входит всё сразу: ваш текст, история диалога и сам ответ. Когда предел исчерпан, приложение либо отбрасывает ранние сообщения, либо просит начать новый диалог.
Оплата через API (программный доступ, когда ваш сервис или скрипт сам отправляет запросы модели) идёт за токены: отдельно за входящие и за исходящие, обычно в долларах за миллион. Подписка на чат устроена иначе, там фиксированная цена и лимиты на использование.
Пример
Допустим, сотрудник каждый день отдаёт ИИ-агенту отчёт рекламного кабинета на 10 страниц. Это порядка 7000–15 000 токенов только на входе, плюс ответ, плюс история диалога, если агент её помнит. За месяц ежедневной работы набегают сотни тысяч токенов, и счёт у такого сотрудника заметно выше, чем у коллеги, который спрашивает помощника раз в неделю.
Частые ошибки
- Считать, что любой ИИ-инструмент работает как подписка с фиксированной ценой. У многих агентных сервисов счёт растёт вместе с объёмом текста.
- Забывать, что агент на каждом шаге обычно заново передаёт модели историю задачи. Длинная цепочка действий стоит заметно дороже одного вопроса.
- Автоматизировать маленький объём работы, где расходы на токены и контроль съедают больше, чем экономят.
Как агентства начали выдавать сотрудникам суточные лимиты токенов и считать себестоимость работы агентов, рассказано в материале агентства считают ИИ-агентов по токенам. Как учесть эту статью расходов при оценке выгоды, разобрано в статье окупается ли внедрение ИИ в бизнесе. Когда для работы с рекламным кабинетом хватает бесплатного тарифа или подписки, а когда нужен API с оплатой за токены, разобрано в статье как использовать AI в Google Ads.
Частые вопросы
Зависит от модели и языка. Для английского часто приводят ориентир около трёх четвертей слова на токен. Русский текст дробится мельче, поэтому на то же число слов уходит больше токенов.
Агент выполняет задачу в несколько шагов и на каждом обычно передаёт модели всю историю заново. Поэтому длинная задача стоит дороже, чем один короткий запрос.
Убирать из запроса лишний контекст, делить большие задачи на отдельные шаги и начинать новый диалог, когда старая тема закрыта.