Почему ассистент теряет нить в длинном разговоре

Долгий разговор с ассистентом почти всегда портится одинаково. Сначала он держит тему и помнит оговорки, потом начинает переспрашивать очевидное, а под конец отвечает так, будто первой половины беседы не было. Совет обычно звучит как «начните новый чат», и он работает, но объясняет не то.

Окно контекста

Модель не помнит разговор. При каждом вашем сообщении ей заново подают всю переписку целиком, и она отвечает, глядя на этот текст. Объём того, что можно подать за раз, ограничен и называется окном контекста.

Пока переписка помещается в окно, всё в порядке. Когда она перестаёт помещаться, самое старое приходится выбрасывать или заменять кратким пересказом. С этого момента начало разговора для модели просто не существует, и никакая формулировка вопроса его не вернёт.

Отсюда и ощущение, что ассистент поглупел. Он не поглупел, ему перестали показывать половину задачи.

Почему пересказ не спасает

Замена старой переписки на выжимку выглядит логично, но выжимку кто-то должен составить заранее, не зная, что вам понадобится завтра. Сохраняется то, что похоже на главное: тема, выводы, ваши предпочтения. Теряется конкретика, а спрашивают обычно именно её.

Проверить легко. Спросите про сумму, дату или имя, которые упоминались один раз и вскользь. В пересказ такие вещи не попадают почти никогда.

Что с этим делают

• Расширяют окно. Помогает, но упирается в стоимость: каждый запрос оплачивается по объёму поданного текста, поэтому длинное окно делает обычный разговор дорогим.
• Сжимают историю в профиль. Дёшево и хорошо работает для предпочтений, но конкретику не сохраняет, см. выше.
• Хранят историю целиком и ищут в ней. Тогда в окно подаётся не вся переписка, а только те её куски, которые относятся к вопросу. Объём запроса остаётся небольшим, а доступ есть ко всему.

Третий способ снимает исходный конфликт: платить за длину каждого запроса больше не нужно, потому что длинной остаётся только история, а не то, что подаётся модели за раз.

Что можно сделать прямо сейчас

Если вы остаётесь на обычном чат-боте, помогает простая привычка: раз в несколько дней своими словами подводить итог разговора отдельным сообщением. Такой итог свежий, лежит в конце переписки и потому дольше остаётся внутри окна. Это костыль, но он честнее, чем надеяться, что ассистент вспомнит сам.