Что такое бюджет токенов (token budget)?

Модели считают токены, не символы. Бюджет токенов — доля окна контекста под system prompt, tools и retrieval.

Перегруженный промпт оставляет мало места пользователю и чанкам RAG. Анализ aiStructEdit показывает расход по разделам.