AI-агентам нужны циклы обратной связи, а не только базы знаний

С тех пор, как Андрей Карпатый поделился своим Шаблон LLM Wikiмногие люди начали подключать агентов ИИ к базам знаний в стиле Obsidian. Идея сильна: храните знания в читаемой структуре, позволяйте агентам использовать их во время работы и со временем улучшайте систему.

Многие команды и одиночные разработчики уже используют этот шаблон для создания небольших команд агентов. И во многих случаях это работает на удивление хорошо. Но я заметил одно важное ограничение: эта модель работает лучше всего, когда пользователь уже точно знает, какая информация нужна агенту и как эту информацию следует обрабатывать.

Это часто справедливо в инженерном деле. Это менее верно в маркетинге, исследованиях, стратегии или когда вы изучаете новую проблему. В этих областях мы часто не знаем заранее, какой контекст отсутствует. Мы даем агенту то, что у нас есть, просим его рассуждать, а затем расстраиваемся, когда он принимает решение, основанное на предположениях, которых мы не ожидали.

Мы называем это галлюцинацией. Но зачастую это не просто галлюцинация. Это агент, рассуждающий на основе имеющейся у него информации плюс скрытых предположений, уже включенных в модель. Пользователь ожидал одного контекста. Агент использовал другой.

Итак, я думаю, что агентам нужна петля обратной связи. Каждый работающий агент должен знать, где запросить недостающую информацию. Это может быть файл, канал Slack, чат Telegram или любое другое общее место. Важная часть проста: когда у агента недостаточно контекста, он должен иметь возможность сказать, чего не хватает, и запросить необходимые ему данные.

Затем пользователь добавляет эту информацию в базу знаний. При следующем запуске агент не стартует с той же слепой зоны. Вот как мы закрываем еще одну часть контекстного разрыва: не надеясь, что агент угадает лучше, а давая ему четкий способ запросить знания, которых у него еще нет.