Данные
Подготовка датасета: этап, который нельзя сократить
Как согласованность разметчиков ограничивает потолок качества модели ещё до начала обучения.
Модель не может быть точнее, чем разметка, на которой она обучена. Если два разметчика по-разному трактуют пограничный случай, эта неопределённость переходит в веса.
Поэтому работа начинается с инструкции и набора эталонных примеров, включая спорные. Инструкция дописывается по ходу: каждый спорный случай, разобранный руками, становится новым пунктом.
Согласованность между разметчиками стоит измерять численно на пересекающейся подвыборке. Полученное значение — это фактический потолок метрики, к которому имеет смысл стремиться.
И обязательно версионируйте датасет вместе с методикой разметки. Через полгода воспроизвести результат без этого практически невозможно.
Ко всем статьям