Почему ИИ «галлюцинирует»

Я хочу поделиться мыслью о том, почему ИИ «галлюцинирует».

Слово «галлюцинации» я беру в кавычки намеренно, потому что очень часто это слово становится для людей способом переложить ответственность на сам ИИ.

Когда мы даем задачу модели, нам нужно помнить, что мы все еще работаем с нейронной сетью. Каждое добавляемое нами слово меняет вероятность того, как модель будет двигаться по графу знаний. А когда контекст слаб, эти вероятности могут увести его по неверному пути.

Итак, я бы предположил, что то, что мы называем галлюцинациями ИИ, часто представляет собой ситуации, когда у модели недостаточно контекста или входных данных, чтобы выбрать «правильный маршрут» через свой граф знаний.

Другими словами, представьте, что в тот момент, когда вы в данный момент взаимодействуете с моделью, существует тысяча возможных путей, по которым LLM может пойти при генерации ответа. Упрощенно говоря, шанс выбрать правильный ответ может составлять один из тысячи. Только добавив больше входных данных, вы сможете увеличить эту вероятность, сократив тысячу возможных вариантов до ста или даже пятидесяти.

Именно здесь становится очевидной ценность базы знаний и четких инструкций для вашего ИИ-агента. Каждая дополнительная часть соответствующей информации, которую вы предоставляете, уменьшает количество возможных неправильных путей.

Следующий вопрос, который я часто слышу от людей, которых обучаю использованию ИИ: насколько подробными должны быть инструкции?

Я не думаю, что существует один универсальный ответ. Правильный ответ такой: инструкции должны быть настолько подробными, насколько это необходимо, чтобы значительно снизить количество неправильных решений.

Давайте рассмотрим простой пример.

Вы отправляете своего 10-летнего ребенка в магазин за молоком. Что вам нужно объяснить?

1. Вам нужно сказать им, в какой магазин пойти.
2. Вам необходимо убедиться, что они действительно поняли, какой магазин вы имеете в виду, поэтому просите оставить отзыв.
3. Вы не просто говорите им покупать молоко. Вы объясняете, какую марку или какой процент жирности им следует покупать.
4. Вы даете им деньги и объясняете, сколько из них можно потратить на молоко, а сколько сдачи они должны принести обратно.
5. Вы, вероятно, также посоветуете им идти сразу домой после магазина, а не оставаться на улице с друзьями.

Я считаю, что такой же уровень детализации часто бывает полезен при работе с ИИ.

Если вы хотите, чтобы ИИ-агенты работали правильно, вам необходимо предоставить им контекст, ограничения, обратную связь и инструкции, которые достаточно ясны, чтобы уменьшить количество неправильных маршрутов, которые они могут выбрать.