Introduction à la photographie algorithmique

Pour démarrer le tout, on commence par un bref historique de la photographie de la camera obscura à la caméra algorithmique, en passant par les caméras analogiques et numériques. On enchaîne par la suite par une (ou même deux) interprétations de ce qu'est la photographie algorithmique. En une phrase? Il s'agit de la discipline qui vise à compenser pour les limites d'une caméra « traditionnelle » grâce à des algorithmes. Bien que sa définition au sens large inclut l'entièreté du processus de formation d'une image (de la source lumineuse jusqu'à l'image), nous nous concentrerons, dans ce cours, sur les algorithmes appliqués aux images après que ces dernières aient été capturées par une caméra.

Objectifs d'apprentissage

• Se familiariser avec l'historique de la photographie
• Définir ce qu'est la photographie algorithmique

Notes de cours

Capsules vidéo

a. Historique de la photographie

b. Photographie algorithmique

Ressources additionnelles

• Film « Tim's Vermeer » : disponible gratuitement via la Bibliothèque de l'Université Laval. Très intéressant!
• Pour en savoir plus sur la (défunte) caméra de Lytro : https://www.dpreview.com/reviews/lytro.
• Caméra « Light » et sa Caméra L16. La compagnie a depuis changé de cap et fait maintenant des capteurs de profondeur.

Filtrage dans le domaine spatial

Après avoir considéré des transformations pouvant être appliquées à chaque pixel indépendamment, nous nous penchons maintenant sur des fonctions qui affecte un pixel en fonction de ses voisins. On nomme « filtrage » l'opération de convolution, qui consiste à calculer la somme pondérée d'un pixel et de ses voisins. Les poids de la somme sont désignés par un « filtre », qui détermine l'importance de chaque voisin dans le calcul de cette somme. Dans ce module, nous ferons connaissance notamment avec plusieurs types de filtres qui ont différents effets sur les images. L'un de ces filtres est le filtre gaussien, où la pondération des voisins dépend de la distance du voisin par rapport au pixel central. Le filtre gaussien adoucit l'image et génère une version plus floue de celle-ci.

Objectifs d'apprentissage

• Comprendre le filtrage dans le domaine spatial, et connaître ses propriétés
• Effectuer des opérations de filtrage simples sur une image
• Connaître différents types de filtres
• Comprendre l'impact de ces filtres lors de leur convolution avec une image

Notes de cours

Capsules vidéo

a. Filtrage 1D et 2D

b. Exemples de filtres

c. Filtre gaussien

d. Propriétés et considérations pratiques

e. Exercices

Exercices pratiques sur PAX

• Filtres simples
• Filtre gaussien

Ressources additionnelles

• Calcul et visualisation du filtre gaussien : http://dev.theomader.com/gaussian-kernel-calculator/

Applications du filtrage

Dans ce module, nous discutons de plusieurs applications du filtrage, qui est, comme nous le verrons, une opération vraiment très utile pour traiter les images! On peut l'employer pour réduire le bruit, pour identifier la position de modèles dans une image (template matching en anglais), pour détecter les arêtes, pour accentuer une image, pour la génération d'une image hybride, etc. On concluera par l'exploration sommaire de la technique de compression JPG qui, bien que ça ne soit pas du filtrage à proprement parler, exploite une décomposition en fréquences de petits blocs dans l'image.

Objectifs d'apprentissage

• Expliquer la différence entre l'application d'un filtre gaussien et d'un filtre médian sur une image
• Distinguer le filtre bilatéral du filtre gaussien
• Distinguer les méthodes de correspondances de modèle
• Expliquer comment une arête peut être détectée à partir de la dérivée d'une gaussienne et d'un laplacien
• Accentuer une image avec une approximation du filtre laplacien
• Combiner deux images pour générer une image hybride
• Utiliser des filtres pour accentuer ou réduire les arêtes d'une image
• Comprendre les principes derrière la compression JPG

Notes de cours

Capsules vidéo

a. Atténuation du bruit

b. Filtre bilatéral

c. Correspondances de modèles

d. Détection d'arêtes

e. Accentuation et image hybrides

f. Compression JPEG

Exercices pratiques sur PAX

• Débruitage d'une image

Transformations d'images

Ce module présente un petit détour sur des concepts de géométrie pour discuter de transformations linéaires. On débute tout d'abord par parler des différentes transformations linéaires pouvant être représentées par des matrices 2x2. Par la suite, on poursuit la discussion en coordonnées homogènes pour représenter ces transformations par des matrices 3x3 (mais toujours sur des points 2D). Cela nous permettra d'inclure des transformations additionnelles, telles que les transformations affines et projectives.
Par la suite, nous discutons de la façon dont nous pouvons estimer la transformation qui a été appliquée à une image. Notamment, l'estimation d'une transformation affine sera présentée dans le détail car celle-ci sera particulièrement utile pour le travail pratique 3. Finalement, on conclut en présentant la façon dont on peut appliquer une transformation donnée à une image pour obtenir une image transformée.

Objectifs d'apprentissage

• Distinguer les différents types de transformations linéaires
• Connaître les transformations linéaires pouvant être appliquées à une image
• Représenter un point en coordonnées homogènes et exprimer les transformations linéaires en matrices 3x3
• Calculer la transformation affine entre deux triangles

Notes de cours

Capsules vidéo

a. Transformations linéaires

b. Coordonnées homogènes

c. Estimer une transformation

d. Appliquer une transformation

Exercices pratiques sur PAX

• Résoudre un système d'équations linéaires
• Transformations linéaires

La caméra

Dans ce module, on se familiarise avec ce qu'est une caméra. Pour débuter, on découvre le modèle mathématique du sténopé (point + plan) qui, bien que simple, nous permet de dériver les équations qui régissent la relation entre les coordonnées d'un point dans le monde (3D) et sa projection dans le plan de l'image (2D). Ceci peut être exprimé sous forme matricielle (en coordonnées homogènes) pour obtenir la fameuse matrice de projection. Cette dernière est généralement divisée en deux : intrinsèque (paramètres décrivant « l'intérieur » de la caméra) et extrinsèque (position et orientation de la caméra dans le monde).
En pratique, cependant, un petit trou ne sera pas suffisant et il faudra recourir aux lentilles afin de pouvoir capter plus de lumière et obtenir un plus grand contrôle sur l'image obtenue. L'utilisation de lentilles crée de nouveaux effets, comme la capacité de contrôler le plan focal (la distance à laquelle les objets sont nets), la profondeur de champ, ainsi que le champ de vue.
Finalement, nous discutons aussi des paramètres contrôlant l'exposition de la caméera (ou, intuitivement, la « quantité » de lumière perçue dans l'image), soit : le temps d'exposition, l'ouverture de la lentille, et l'ISO. En plus de contrôler l'exposition, chacun de ces trois paramètres ont d'autres effets sur l'image : flou dû au mouvement, profondeur de champ, et bruit.

Objectifs d'apprentissage

• Écrire les équations du modèle du sténopé
• Connaître la matrice de projection et ses paramètres
• Distinguer les paramètres intrinsèques des paramètres extrinsèques d'une caméra
• S'initier au calibrage géométrique d'une caméra
• Distinguer profondeur de champ, distance focale, champ de vue et focus
• Connaître les principaux paramètres d'une caméra: focale, ouverture, vitesse d'obturation, ISO
• Comprendre l'influence de ces paramètres sur la photo résultante

Notes de cours

Capsules vidéo

a. Modèle sténopé

b. Modélisation géometrique

c. Lentilles

d. Exposition

e. Problèmes de lentilles

Ressources additionnelles

• Simulation interactive d'une caméra « DSRL » : http://camerasim.com/apps/original-camerasim/web/.
• Autre simulation interactive des différents paramètres d'une caméra : https://ciechanow.ski/cameras-and-lenses/ par Bartosz Ciechanowski.

Détecteurs et descripteurs

Nous avons vu précédemment qu'étant donnés 4 points de correspondance entre deux images, nous pouvions calculer l'homographie entre ces deux images et ainsi transformer la première pour l'aligner avec la seconde (ou vice-versa). Jusqu'à présent, nous avons assumé que les points de correspondance étaient donnés, par exemple, par un utilisateur. La question que l'on se pose dans ce module est : comment déterminer ces correspondances automatiquement ?
Pour ce faire, nous devons effectuer les étapes suivantes. Premièrement, déterminer des points d'intérêt dans les deux images. Ces points doivent être à la fois représentatifs et distinctifs afin de pouvoir être appariés plus tard. Deuxièmement, identifier une région autour du point d'intérêt et calculer un descripteur de cette région. Le descripteur devra être suffisamment invariant aux différents types de transformations qui peuvent être attendues entre deux images (par exemple : translation, rotation, échelle, mais également exposition). Finalement, les descripteurs des points d'une image doivent être appariés à ceux des points de l'autre image. Pour ce faire, la procédure nommée « RANSAC » est utilisée.

Objectifs d'apprentissage

• Établir les principales étapes du calcul automatique d'une transformation entre deux images
• Comprendre le principe derrière le détecteur de coins de Harris
• Expérimenter avec un détecteur et un descripteur simple pour apparier des images automatiquement
• Décrire les ajustements nécessaires pour rendre ce descripteur invariant à la rotation, à l'exposition, ainsi qu'à l'échelle
• Se familiariser avec l'algorithme RANSAC

Notes de cours

Capsules vidéo

a. Aligner des images

b. Points d'intérêt

c. Descripteurs

d. Appariement

Exercice pratique sur PAX

• Détecteur de coins de Harris

Ressources additionnelles

• Article de Brown, Szeliski et Winder (CVPR 2005) qui a proposé ce descripteur : Multi-Image Matching using Multi-Scale Oriented Patches".

Panoramas, etc.

Dans ce court module, on explore d'autres aspects reliés à la génération automatique de panoramas. Tout d'abord, on considère l'une des limitations principales des mosaïques planaires, soit justement le fait que la surface de projection soit un plan! En effet, plus l'angle entre les caméras est grand, plus la surface planaire qui intersecte avec tous ces plans est grande... jusqu'à ce que le plan devienne carrément infini. Pour contrer ce problème, il suffit de projeter sur une surface cylindrique, ce qui règle le problème si l'on contraint la caméra à tourner autour de son axe vertical, ou encore sur une surface sphérique. Le module est conclut par la présentation du problème de la découverte de panoramas, où l'on parvient à « découvrir » les photos qui correspondent à un même panorama à l'intérieur d'une collection d'images.

Objectifs d'apprentissage

• Se familiariser avec d'autres types de projection panoramiques : cylindriques et sphériques
• Découvrir le problème de la découverte de panoramas

Notes de cours

Capsules vidéo

13a. Panorama cylindriques

13b. Panorama sphériques

13c. Découverte de panoramas

Ressources additionnelles

• Hugin : logiciel d'assemblage de panoramas
• Article de Brown et Lowe sur la découverte de panoramas

Les images à haute plage dynamique

Ce module s'attarde aux images dites « HDR », soit les images à haute plage dynamique (High dynamic range en anglais), c'est-à-dire des images qui capturent la radiance du monde physique. En langage simplifié, la radiance peut se traduire comme étant la puissance lumineuse captée par la caméra. On démarre l'exploration de ce module par la constatation que la radiance du monde peut prendre une très vaste gamme de valeurs, allant de très sombre (sous-sol peu éclairé) à extrêmement brillant (le soleil). Une caméra, cependant, ne peut capturer toute cette plage : elle doit faire un choix. Ce choix est contrôlé par l'exposition, qui permet de contrôler si l'on capture des radiances faibles (longue exposition) ou plus élevées (courte exposition). Il sera donc question de capturer cette radiance (à haute plage dynamique) à partir d'images (à faible plage dynamique). Chemin faisant, nous explorerons ce qui se passe à l'intérieur d'une caméra, discuterons de calibrage radiométrique, et concluerons par le problème inverse de la reproduction tonale.

Objectifs d'apprentissage

• Comprendre la différence entre la plage dynamique du monde et celle d'une caméra
• Différence la radiance de l'irradiance
• Comprendre le fonctionnement du calibrage radiométrique par cible de calibrage
• Comprendre le fonctionnement de l'auto-calibrage radiométrique à partir de plusieurs expositions
• Expliquer la nécessité de la reproduction tonale
• Comprendre la reproduction tonale par courbe globale, par filtre bilatéral, et par réintégration des gradients

Notes de cours

Capsules vidéo

a. Radiance et pixels

b. Capturer la radiance

c. Caméra non-linéaire

d. Calibrage radiométrique manuel

e. Calibrage radiométrique automatique

f. Reproduction tonale

Ressources additionnelles

• Luminance HDR pour visualiser les images en HDR et pour expérimenter avec les opérateurs de reproduction tonale.
• Outil de visualisation d'images HDR à même le navigateur web
• Article de Durand et Dorsey sur l'utilisation du filtre bilatéral comme reproduction tonale.
• Article de Fattal et al. sur la reproduction tonale en utilisation l'intégration par gradients.

Mélanger le réel et le virtuel

Nous abordons maintenant le défi de combiner le virtuel et le réel, c'est-à-dire de rajouter un objet virtuel (dont nous possédons un modèle 3D) à une image réelle (une photo du « vrai monde »). D'entrée de jeu, nous réalisons que nous faisons face à trois défis principaux dans l'atteinte de cet objectif. Premièrement, il nous faut déterminer l'orientation de l'objet (virtuel) par rapport à la caméra (réelle). Deuxièmement, il faut également déterminer la façon dont l'objet (virtuel) sera éclairé. Le résultat ne sera réaliste que si on l'éclaire avec la lumière (réelle) provenant de la scène. Troisièmement, il faut également générer des interactions réalistes entre l'objet (virtuel) et la scène (réelle), comme le fait que la présence de l'objet près d'une surface devrait générer des ombres sur la surface. Les capsules du module explorerons diverses solutions pour chacun de ces trois défis.

Objectifs d'apprentissage

• Comprendre les trois principaux défis lors de l'insertion d'un objet virtuel dans une image
• Comprendre l'utilité d'utiliser une sphère métallique pour capturer l'éclairage
• Comprendre l'utilité d'utiliser un engin de rendu basé sur la physique

Notes de cours

Capsules vidéo

a. Survol

b. Capturer la lumière

c. Illuminer un objet réfléchissant

d. Illuminer un objet virtuel

e. Ombres et autres interactions

Ressources additionnelles

• Blender pour vous amuser avec la composition d'objets virtuels! Voir aussi l'énoncé du TP5.
• Rendering with Natural Light (1998)

Données visuelles massives

En 2014, on estimait qu'environ 1.8 milliard d'images étaient téléversées sur Internet à chaque jour. En 2021, on ne compte plus le total... il y en a juste trop! La vaste majorité de ces données sont générées et capturées, mais ne sont jamais vues par aucun humain, elles représentent en quelque sorte une sorte de matière noire numérique qui est présente mais jamais observée. La question que l'on se pose dans ce module est : que peut-on faire de ces images?
Dans un premier temps, on explore quelques techniques qui remplacent des algorithmes d'analyse compliqués par un simple appariement dans une grosse base de données. Par exemple, si on cherche à remplir un trou dans une image (synthèse de texture), plutôt que de tenter de remplir le trou par appariement de statistiques ou d'échantillonnage tel qu'on a discuté dans un précédent module, on peut simplement apparier l'image elle-même dans une vaste base de données, trouver des images semblables, et remplir le trou avec les pixels des images semblables. Cette technique peut également être adaptée à la géolocalisation d'images, dans le cas où les images de la base de données possèdent également des coordonnées GPS.
On conclut ce module (on reviendra sur les données massives dans le cas de l'apprentissage profond) avec une brève discussion des dangers des données : biais, présence de termes dérogatoires, atteinte à la vie privée... tous ces problèmes sont bien présents et il est crucial d'en être conscient lorsque l'on travaille avec des images.

Objectifs d'apprentissage

• Réaliser que des grosses base de données d'images peuvent remplacer des algorithmes d'analyse compliqués
• Expliquer le fonctionnement de la méthode de synthèse de texture par appariement de scènes
• Expliquer l'ajustement nécessaire à cette méthode afin de déterminer la géolocalisation d'une image
• Connaître les principaux biais présents dans les images sur Internet
• Se sensibiliser aux dangers associés à la collecte d'images

Notes de cours

Capsules vidéo

a. Introduction aux données visuelles massives

b. Synthèse de texture par appariement de scène

c. Géolocalisation dimages

d. Géolocalisation d'une séquence d'images

e. 80 millions de petites images

f. Les dangers des données

Ressources additionnelles

• Article Scene Completion Using Millions of Photographs de Hays et Efros
• Article Im2gps: Estimating Geographic Information from a Single Image de Hays et Efros
• Article Image Sequence Geolocation with Human Travel Priors de Kalogerakis et al.
• Article 80 million tiny images: a large dataset for non-parametric object and scene recognition de Torralba, Fergus et Freeman.
• L'art de Jason Salavon
• Conséquences éthiques des bases de données d'images : article de Birhane et Prabhu Large image datasets: a pyrrhic win for computer vision?

Génération d'images par apprentissage profond

Ce module présente un survol de l'apprentissage profond, en débutant tout d'abord par un bref historique de même qu'une présentation de « l'ancêtre » des réseaux de neurones modernes, le perceptron (multi-couches). Le perceptron est un réseau de neurones simple, où tous les neurones d'une couche possède des connexions à tous les neurones de la couche précédente. Ici, un « neurone » (algorithmique) est une unité de calcul simple, qui effectue la somme pondérée de ses entrées, passe le résultat dans une fonction non-linéaire (sigmoïde, signe, etc.) pour générer une sortie. Dans un réseau profond, plusieurs de ces couches sont placées de façon hiérarchique afin de représenter une fonction entre les entrées et les sorties. D'ailleurs, il a été démontré qu'un perceptron avec une seule couche cachée est une approximateur de fonction universel : il peut représenter n'importe quelle fonction (la complexité étant gagnée en ajoutant des neurones sur la couche cachée).
Par la suite, on considère les réseaux de neurones à convolution, qui sont particulièrement bien adaptés pour traiter les images car ils remplacent les neurones interconnectés (connectés à tous les neurones de la couche précédente) par des filtres de convolution, où les poids des filtres représentent les poids des neurones. Ces réseaux sont composés d'une suite d'opérations : convolution, activation (non-linéarité), aggrégation ; qui sont répétées plusieurs fois. On poursuit avec l'exploration de quelques applications de ces réseaux de neurones à convolution, en considérant principalement des tâches de génération d'images : synthèse d'images, synthèse de texture, et transfert de style.
Le module se conclut en discutant des réseaux génératifs antagonistes, qui plutôt que de définir une fonction de perte spécifique (par exemple, la somme des différences au carré entre l'image générée et la « vraie » image), on apprend la fonction de perte. Ceci parmet la génération d'images beaucoup plus réalistes.

Objectifs d'apprentissage

• S'initier aux perceptrons (multi-couches) et connaître les principales opérations
• S'initier aux réseaux de neurones à convolution (CNN en anglais) et en connaître les principales étapes (convolution, activation, aggrégation)
• Découvrir la façon dont un CNN peut être entraîné pour synthétiser une image un pixel à la fois
• Découvrir la façon dont un CNN pré-entraîné peut être utilisé pour synthétiser une texture, ou encore effectuer un transfer de style

Notes de cours

Capsules vidéo

a. Bref historique de l'intelligence artificielle

b. Introduction à l'apprentissage profond

c. Le perceptron

d. Les réseaux de neurones à convolution

e. Synthèse de textures par CNN

f. Synthèse de texture par appariement de caractéristiques profondes

g. Transfert de style par appariement de caractéristiques profondes

h. Colorisation d'images par réseaux profonds

i. Traduction d'image-à-image

Exercices pratiques sur PAX

• Réseau génératif convolutif
• Transfert de style avec « adaptive instance normalization »

Ressources additionnelles

• Expérimentez avec le perceptron multi-couches
• Expérimentez avec un réseau à convolutions
• Visualisation d'un réseau à convolutions en 3D (reconnaissance de chiffre)
• Article Colorful Image Colorization de Zhang et collègues sur la colorisation d'images.
• Article Image-to-image Translation with Conditional Adversarial Nets de Isola et collègues sur l'utilisation de réseaux génératifs antagonistes pour la « traduction » d'images