Метрики
Метрики детектора, которые понимает заказчик
Почему средняя точность по датасету плохо предсказывает удовлетворённость от системы в эксплуатации.
Агрегированная метрика удобна для сравнения экспериментов, но плохо отвечает на вопрос заказчика: сколько ложных тревог получит оператор за смену.
Полезнее переводить качество в операционные величины. Например, число ложных срабатываний на камеру в сутки при фиксированной полноте — эту цифру можно обсуждать со службой эксплуатации.
Отдельно стоит считать метрики по размеру объекта и по условиям съёмки. Средний показатель часто скрывает провал на мелких объектах или на ночных кадрах, а именно там и возникают жалобы.
И последнее: отложенная выборка должна собираться на объекте заказчика и в тех же условиях. Качество на публичном датасете почти ничего не говорит о поведении системы в конкретном цехе.
Ко всем статьям