Formation d'une Image

Simulation d'un processeur d'image d'appareil photo (ISP)

Du capteur à l'image finale

Qu'est-ce qu'un ISP?

Pipeline de Traitement d'Image

Pipeline teaser
Bayer pattern example

Le Motif de Bayer

  • Chaque pixel capture une seule couleur (R, G, ou B)
  • Motif inventé par Bryce Bayer en 1976 (Kodak)
  • Arrangements communs: RGGB, BGGR, GRBG, GBRG
  • 50% de pixels verts, 25% rouges, 25% bleus
  • Nécessite un dématriçage pour obtenir RGB complet
Bayer zoom

Étapes du pipeline

Pipeline teaser

1. Chargement des données RAW

Bayer pattern example
  • Format DNG (Digital Negative)
  • Extraire métadonnées essentielles:
    • Arrangement du motif de Bayer
    • Profondeur de bits du capteur (12-14 bits)
    • Niveaux d'intensité des pixels
    • Multiplicateurs de balance des blancs

2. Dématriçage

Pipeline teaser

2. Dématriçage (Demosaicking)

  • Chaque pixel ne contient qu'une seule couleur, Les deux autres couleurs doivent être interpolées
  • Deux méthodes à implémenter:
    • Bilinéaire: Interpolation simple par voisinage
    • Malvar-He-Cutler: Interpolation avancée basée sur gradients
  • Domaine de recherche actif

Interpolation Bilinéaire

Moyenne des pixels voisins de même couleur

  • Approche simple et rapide, mais l'image résultante n'est pas aussi nette que possible
  • Produit des artéfacts visibles:
    • Artéfacts d'aliasing (frange de couleur)
    • Artefacts de fermeture-éclair aux contours
Bilinear artifacts

de Gioia, Francesco, and Luca Fanucci. "Data-driven convolutional model for digital color image demosaicing." Applied Sciences 11.21 (2021): 9975.

Malvar-He-Cutler (2004)

  • Interpolation corrigée par gradient
  • Utilise l'information sur les contours de l'image
  • Noyaux d'interpolation 5×5 spécifiques
  • Améliore la qualité:
    • Réduit les franges de couleur
    • Préserve mieux les textures fines
    • Moins d'artéfacts aux contours

Comparaison des Méthodes

Section 2 example

3. Balance des Blancs

Pipeline teaser

3. Balance des Blancs

  • La couleur de la lumière varie selon l'illumination (intérieur, extérieur, etc.)
  • Images RAW capturent la vraie couleur des photons...
  • ... mais ce n'est pas ce que l'humain perçoit
Section 3 example

Méthodes de Balance des Blancs

White balance comparison

Espace de couleur

4. Traitement

Pipeline teaser

4. Traitement

C'est à cette étape que les manufacturiers appliquent leur algorithmes de traitement pour obtenir une "belle" image "proche" de ce que l'humain perçoit

Nous nous contenterons de compresser la plage dynamique pour l'affichage

  • Image RAW a une plage dynamique très large (12-14 bits)
  • Affichage nécessite 8 bits (256 valeurs)
  • Mappage tonal tente de compresser l'image sans perdre détails

Opérateurs de Mappage Tonal

Tone mapping comparison

Bruce, Neil DB. "Expoblend: Information preserving exposure blending based on normalized log-domain entropy." Computers & Graphics 39 (2014): 12-23.

Conversion d'Espace Couleur

  • Après dématriçage: espace couleur "RGB caméra" (non-standard)
  • Converti en XYZ via matrice du fabricant
  • Problème: aucun affichage ne supporte l'espace XYZ
  • Solution: convertir en sRGB, Rec.2020, Rec.2100, Apple P3, etc. pour l'affichage
OETF comparison

Compression JPEG

JPEG compression example
Nébuleuse du Pélican

5. Réduction du Bruit

(obligatoire 7105, bonus 4105)

Images Personnelles

Crédits Supplémentaires (jusqu'à 20%)

Points Clés à Retenir

Rapport example

Livrable

Questions?

Si vous avez des questions durant la semaine, utilisez le forum de PAX.

×