Опишите ожидаемый результат без названия модели
«Нужен AI-агент» ещё не объясняет задачу. Полезная формулировка описывает вход и результат: извлечь согласованные поля из документа, найти инструкцию со ссылкой, подготовить черновик ответа. Тогда можно сравнить AI с обычными правилами и ручной обработкой.
Также нужно определить допустимую ошибку. Черновик, который проверяет человек, и действие, которое меняет состояние заказа, требуют разного уровня контроля. Удачный пример не доказывает пригодность для всех случаев.
Согласуйте источники и работу с данными
Откуда берётся контекст, кто отвечает за его актуальность и какие документы можно использовать? Система поиска по внутренним материалам должна учитывать права конкретного пользователя. Сам факт наличия файла в базе не делает его доступным всем.
Перед подключением внешнего провайдера определяют, какие данные разрешено передавать. Для первого эксперимента часто достаточно обезличенных примеров. Секреты и рабочие доступы не должны попадать в запросы или журналы диагностики.
Проверьте не только хорошие ответы
Соберите контрольные примеры до выбора окончательного решения. Включите обычные запросы, неоднозначные формулировки, устаревшие документы и вопросы, на которые данных нет. Для RAG отдельно проверяйте поиск нужного фрагмента и качество ответа по нему.
Корректное «информации недостаточно» — полезный результат. Интерфейс должен объяснять следующий шаг: показать источник, предложить уточнение или передать задачу человеку. Уверенный текст без основания может выглядеть убедительнее правильного отказа.
Разделите подготовку и выполнение действия
Если система умеет вызывать инструменты, перечислите разрешённые операции. Возможность читать список заказов не должна автоматически давать право отменять их. Полномочия задаются приложением и сервером, а не инструкциями из найденного документа.
Для значимых внешних изменений предусмотрите подтверждение. Агент может подготовить действие и показать, что именно изменится. Окончательное выполнение следует отдельному правилу, которое нельзя обойти удачной формулировкой запроса.
Планируйте остановку и повторную проверку
Ограничьте число шагов, время и расходы. Решите, что происходит при недоступности провайдера или невалидном ответе. Журнал должен помогать разбирать ошибку, не превращаясь в копию всех пользовательских данных.
Изменение модели, источников или инструментов может изменить поведение. Поэтому контрольный набор и критерии качества остаются частью проекта после первой демонстрации. Рабочая AI-функция — это поддерживаемый процесс, а не только удачный промпт.