Модель CenterNet
Архитектура
Модель CenterNet [1] строится на базе CornerNet, и дополнительно увеличивает её точность за счёт реконструкции выделяющих рамок не только по их левому верхнему и правому нижнему углу, но и по предсказываемому центру рамки, как показано на рисунке [1]:
Предсказание углов хорошо настраивается выделять границы объектов, однако для точности распознавания ему всё ещё недостаёт заглядывания внутрь содержимого извлекаемой рамки, чтобы убедиться в том, что целевой объект там действительно находится.
В CenterNet по промежуточному представлению изображения предсказываются тепловые карты (heatmaps) рейтингов присутствия как левого верхнего и правого нижнего углов, так и центра.
Также предсказывается карта смещений (offsets) для обнаруженных позиций углов и центра. Далее углы и центры прогнозируются уже с учётом этих поправочных смещений.
Параллельно с этим предсказывается карта эмбеддингов (векторов фиксированного размера) для каждой позиции. Как и в CornerNet, считается, что углы соответствуют одной рамке, если их эмбеддинги близки. Но дополнительно к этому рамка детектируется, если ей примерно соответствует обнаруженный центр рамки. Это уберегает метод повышает точность распознавания от ложных срабатываний (false positives), которые часто встречаются в CenterNet, как показано ниже [1]:
Красный полупрозрачный регион определяет, куда должна попасть центральная точка, чтобы в CenterNet детекция сработала. Для 2-х ложных срабатываний CornerNet слева центр в него не попадает, поэтому этих ложных срабатываний в CenterNet не будет.