Мониторинг LLM-приложений в продакшне

Выпуск функции LLM — это первый день, а мониторинг — это то, что обеспечивает ее безопасность неделю за неделей. В отличие от статических API, выходные данные модели меняются в зависимости от подсказок, данных и изменений веса восходящего потока. Вам нужны технические показатели (задержка, ошибки, стоимость), показатели качества (человеческие ярлыки, модель как судья, мнение пользователей) и управление (журналы аудита, обнаружение личных данных). В этом уроке отображается минимальный стек наблюдаемости.