« Pouvez-vous améliorer cela ? » – partie 1 : Introduction à la super résolution

Qu'est-ce que la super-résolution ?

L'imagerie super-résolution (SR) est une classe de techniques qui améliorent (augmentent) la résolution d'une image de basse résolution (LR) à haute résolution (HR). Ces dernières années, les techniques d'apprentissage profond (DL) ont connu un succès considérable dans la résolution du problème de la super-résolution d'images et de vidéos.

Dans cet article, vous trouverez des scénarios d'utilisation de la SR, la théorie qui les sous-tend, les différentes techniques utilisées, des métriques et des exemples de visualisation « avant » et « après ».

Scénarios d'utilisation

Surveillance

source : https://www1.nyc.gov/site/nypd/services/see-say-something/crimestoppers.page

La SR peut être utilisée pour détecter, identifier et effectuer la reconnaissance faciale sur des images à basse résolution obtenues à partir de caméras de surveillance. L'application des techniques de SR pour améliorer les images de surveillance est ce qui se rapproche le plus de ce que l'on peut voir dans la série télévisée CSI.

Imagerie médicale

CLa capture d'images IRM à haute résolution peut s'avérer délicate en ce qui concerne le temps de scan, la couverture spatiale et le rapport signal-bruit (SNR). La super résolution permet de résoudre ce problème en générant des IRM à haute résolution à partir d'images IRM autrement à basse résolution.

Imagerie satellitaire

L'autre cas de figure dans lequel vous pourriez vouloir appliquer d'abord la SR à vos images est celui où la collecte de données HR est coûteuse. Cela est particulièrement vrai pour l'imagerie satellitaire, où 1 km² d'images à 30 cm peut coûter plus de 25 $. Le coût d'une imagerie d'une résolution de 1 m est d'environ 10 $ par km². Cela signifie que, pour un lot de 1000 km², vous payez 10 000 $ et non 25 000 $ – ce qui représente d'énormes économies pour votre entreprise.

Média

La super résolution peut être utilisée pour réduire les coûts serveur, car les médias peuvent être envoyés à une résolution inférieure et suréchantillonnés à la volée. La figure ci-dessus présente la différence entre les images PIRM self-val LR et HR (https://pirm.github.io/). À gauche, nous avons des images réduites 4x, et à droite, les images HR originales.

Super-résolution en conditions réelles

La SR peut être utilisée pour réduire les artefacts et le bruit dans les images du monde réel. Concrètement, vous pouvez améliorer tous vos selfies et photos de vacances avant de les publier sur Facebook ou Instagram.

Optimisation de jeu – DLSS

DLSS (acronyme de Deep Learning Super Sampling) est un réseau neuronal d'apprentissage profond qui utilise la puissance des Tensor Cores des NVIDIA RTX pour augmenter les fréquences d'images et générer des images nettes qui approchent ou dépassent le rendu natif. En s'appuyant sur un réseau neuronal d'apprentissage profond, DLSS est capable de combiner l'anticrénelage, l'amélioration des fonctionnalités, la netteté de l'image et la mise à l'échelle de l'affichage, ce que les solutions d'anticrénelage traditionnelles ne peuvent pas faire. Avec cette approche, DLSS offre jusqu'à 2X plus de performances avec une qualité d'image comparable au rendu natif en pleine résolution. Il vous offre la marge de performance nécessaire pour maximiser les paramètres de ray tracing et augmenter la résolution de sortie. DLSS est propulsé par des processeurs AI dédiés sur les GPU RTX appelés Tensor Cores.

En conjonction avec d'autres techniques de DL

Imaginez que vous disposez d'un ensemble de données et que vous souhaitez effectuer quelques détection d'objets avec lui. Cependant, les données sont de très faible qualité, provenant peut-être de caméras vidéo anciennes ou bon marché. Et lorsque vous essayez d'appliquer vos modèles DL simples, ils ne sont pas très performants… Vous pouvez améliorer leurs performances en faisant d'abord passer vos images par un réseau SR.

Dans le prochain article de cette série, je vous en dirai plus sur les méthodes de rééchantillonnage d'images numériques et sur la manière de mesurer leurs performances.