Now if you know enough about the context in LLM, you might skip it. Otherwise probably you might learn a few important and interesting pieces.
What is the context in LLM, how it behaves when it gets bigger and how we could improve our prompts and AI Agents around it ?
When we provide our input to an AI agent or simply to LLM chat interface before that input enters the LLM it is divided into tokens. Think about tokens as smaller parts of the words. That division does not happen inside the LLM, it happens before its actual usage. Now before the actual usage those tokens are ’embedded’, as before the tokens are turned into vectors and those vectors compose a single big matrix which now enters the LLM.
The more tokens/vectors/bigger-matrix we input into the LLM the harder it’s for it to keep track about what’s important and what actually matters. So in a very simple and user friendly way we could say that the LLM’s context is its ability to understand its input.
The initial context were small, like 8000 tokens, now we take for granted contexts of 1 million tokens. The LLM does not have a memory. It does not remember the previous user input it handled. Each AI interface appends our user input, the LLM answer and then our user input again, LLM answer … as you see the context grows very quick.
1. Максимално използвайте кеширането (Prompt Caching)
Кеширането ви спестява пари и време, но работи само ако началото на контекста (префиксът) е абсолютно идентично при всяка заявка.
- Грешката: Ако слагате в системния промпт неща като текущия час (
11:21 AM), името на потребителя или динамично променящи се спомени, кешът се чупи всеки път (10x по-висока сметка за API). - Решението: Дръжте системния промпт 100% статичен. Всички динамични данни слагайте в историята на съобщенията.
2. Спрете да пълните прозореца с „боклук“
- Сурови резултати от инструменти: Ако даден инструмент (например търсачка или база данни) върне огромен текст (над 2000 токена), не го изпращайте целия на модела. Запишете го във файл на диска и върнете на модела само пътя до файла и кратко потвърждение от един ред.
- Твърде много инструменти: Ако имате над 20 инструмента, зареждането на дефинициите им „изяжда“ контекста и обърква модела. Използвайте Търсене на инструменти (Tool Search) — зареждайте само най-важните, а останалите моделът да ги търси динамично при нужда.
3. Използвайте субагенти като „Защитни стени за контекста“ (Context Firewalls)
Ако задачата изисква изчитане на 50 файла, логове или големи документи:
- Не ги четете в основния разговор.
- Пуснете субагент (отделен вторичен агент), той да изчете 50-те файла в своя си отделен контекстен прозорец, да ги синтезира и да върне на основния агент само резюме от 1 страница. Така основният разговор остава чист и бърз.
4. Борете се със „забравянето в средата“ (Lost in the Middle)
Големите езикови модели (LLM) обръщат най-голямо внимание на началото и края на контекста. Информацията по средата се губи или олеква.
- Решението: На всеки 3–5 стъпки добавяйте в самото последно съобщение (опашката) по един ред, който припомня на модела каква е крайната цел.
Рязюме с една изречение:
За да бъде един AI агент евтин, бърз и умен, трябва да поддържате твърдо кеширано начало, чиста среда (чрез субагенти и пренасочване към файлове) и живо припомняне на целта в самия край.
Има ли конкретна част от тази архитектура (кеширането, субагентите или търсенето на инструменти), която искате да разгледаме по-подробно?
Leave a Reply