TP3 : Métamorphose de visages (English version) Posez une question sur ce TP!

HW3 : Faces morphing (Version française) Ask us a question!

Survol

Overview

Pour ce TP, vous produirez une animation qui affichera votre visage, et la métamorphosera vers le visage d'un autre étudiant du cours, sous la forme d'une séquence vidéo. Lorsque le TP sera terminé, nous (les responsables du cours) allons raccorder vos vidéos afin de créer une séquence vidéo finale qui présentera une métamorphose de chacun d'entre nous. Vous devrez aussi produire des animations avec d'autres images.

For this homework, you will produce a morphing animation of your face into another student's face. We (your professor and TA) will connect them in order to create a final video sequence which will show a continuous morph through all the faces of the class. You will also have to produce animations with other images.

1. Définir les correspondances

1. Defining correspondences

Tout d'abord, vous devrez définir manuellement des paires de points correspondants sur les deux images. En général, plus il y a de points, mieux c'est. Pour ce faire, vous pouvez utiliser le même code python.

First, you will need to manually define pairs of corresponding points on the two images (usually the more points, the better the morph). You can use the same python code to select points.

2. Calculer une triangulation

2. Computing a triangulation

Ensuite, vous devez séparer l'image en plusieurs triangles en utilisant les points sélectionnés à l'étape précédente. Une bonne façon de faire est d'utiliser un algorithme de triangulation. Une triangulation de Delaunay (voir scipy.spatial.Delaunay en python) est un bon choix puisque cet algorithme ne produit pas des triangles trop minces. Pour ce faire, calculez la triangulation sur la moyenne des deux ensembles de points. Ceci diminuera la déformation potentielle des triangles, et réduira les déformations.

Then you will need to divide the image into several parts using your previously selected points. A good way is to use a triangulation algorithm. The Delaunay triangulation (see scipy.spatial.Delaunay in python) is a good choice since this algorithm does not produce triangles that are too thin. Compute the triangulation on the average of the two sets of points, to decrease visual deformations.

3. Créer la métamorphose

3. Create the morph

Vous devez écrire la fonction suivante:

You must write the following function:

morphed_img = morph(img1, img2, img1_pts, img2_pts, tri, warp_frac, dissolve_frac)

qui produit une distorsion entre img1 et img2 en utilisant la correspondance des points img1_pts et img2_pts et la structure de triangulation tri. Les paramètres warp_frac et dissolve_frac contrôlent respectivement la distorsion de forme ainsi que le niveau de fondu. Plus particulièrement, les images img1 et img2 sont d'abord transformées en une forme intermédiaire contrôlée par warp_frac et le fondu est ensuite fait en fonction de dissolve_frac. Ces paramètres varient de 0 à 1. Ce sont les seuls paramètres qui varieront entre chaque trame de l'animation. Pour la trame de départ, ils devraient être chacun égal à 0 et, pour la trame finale, ils devraient être chacun à 1. La variable tri représente la triangulation, et stocke, pour chaque triangle, les indices des 3 points le composant.

which produces a distortion between img1 and img2 using the correspondence points img1_pts and img2_pts and tri the triangulation structure. The warp_frac and dissolve_frac parameters respectively control the distortion of the shape and the level of dissolution. Specifically, images img1 and img2 are first transformed into an intermediate shape which is a weighted mean of both points (where the weight is warp_frac). The level of dissolution is made according to dissolve_frac. These parameters vary from 0 to 1. These are the only parameters that should vary between each frame of the animation. At the start, they should each be equal to 0 and, for the final frame, they should each be equal to 1. The tri variable represents the triangulation and stores, for each triangle, the indices of the 3 points forming the triangle.

3.1 Transformation affine des triangles

3.1 Triangles affine transformation

Cela consiste à calculer la déformation de chaque triangle de la triangulation à partir des images originales jusqu'à un point intermédiaire entre ces deux images. Cela se fait en calculant simplement une matrice de transformation affine entre deux triangles. Ces transformations doivent être calculées indépendamment pour chaque paire de triangles.

The main task is to calculate the distortion of each triangle of the triangulation from the original images to the intermediate morph. This can be done by computing an affine transformation matrix between the triangles. These matrices must be computed independently for each pair of triangles.

Notez que vous ne pouvez pas utiliser les fonctions calculant les transformations pour vous (par exemple, les fonctions disponibles dans skimage.transform).

Note that you cannot use functions to calculate the transformation for you (eg. functions available in skimage.transform).

3.2 Fondu des couleurs

3.2 Dissolving

Après avoir calculé les transformations affines, il vous faut maintenant obtenir la couleur de chacun des pixels. Pour chaque triangle, calculez la transformation affine inverse qui vous permettra d'aller lire la couleur associée à chaque pixel dans les deux images, et d'en calculer une moyenne pondérée. La poids de chaque image correspond à dissolve_frac et 1-dissolve_frac.

After the affine transforms are computed, you must now compute the color for each pixel. For each triangle, compute the inverse affine transform, use it to look up the color associated to each pixel in both images, and compute their weighted average. The weight for each image corresponds to (1 - dissolve_frac) and dissolve_frac.

Arrière-plan

Background

Finalement, il vous reste à déterminer quoi faire avec les pixels à l'extérieur de l'objet. Pour ce faire, rajoutez des points d'intérêts en bordure de l'image (aux quatre coins, ou de façon plus dense), et traitez-les comme les autres dans votre algorithme. De cette façon, l'image entière est transformée.

Finally, you have to decide what to do with the pixels outside the region of interest. To do so, add interest points on the image border (at each corner of the image, or more densely), and treat them like the others in your algorithm. This way, the entire image is transformed.

Conseils

Tips

• Sélectionnez une grande quantité de points d'intérêt dans les deux images.
• Select a lot of points to create your video.
• Lors de la création de la séquence, augmentez warp_frac avant d'augmenter dissolve_frac. Autrement, les caractéristiques pourraient ne pas être correctement alignées lors du fondu. Cela est plus important/utile lorsque vous effectuez du métamorphose entre des visages.
• When creating the sequence, increase warp_frac a lot before even increasing dissolve_frac. Otherwise, the features may not be properly aligned when dissolved. This is more important/useful when you perform morphing with faces.
• Il est important d'utiliser la transformation inverse pour remplir votre image intermédiaire. Donc, pour chaque triangle dans l'image intermédiaire, vous regardez la position $(x,y)$ des pixels à l'intérieur de ceux-ci (en utilisant matplotlib.path.Path.contains_points) et vous appliquez les transformations inverses pour trouver les valeurs dans les images originales. Cela est illustré dans l'image plus haut.
• It is important that you use the inverse transformation to complete your morphed picture. So, for each triangle in the morphed image, you look at the position (x, y) of the pixels inside them (using matplotlib.path.Path.contains_points) and you apply the inverse transformations to find the values in the original images. This is illustrated in the images above.
• Faites attention à bien différencier les lignes-colonnes (r,c) des coordonnées (x,y)! Par exemple, dans python: img(r,c) = img(y,x).
• Pay attention to the difference between row-column (r,c) and coordinates (x,y)! For example, in python: img(r,c) = img(y,x).

Sauvegarde vidéo

Saving a video

Crédits supplémentaires

Extra credit

Essayez ces idées pour approfondir vos connaissances (et augmenter votre note):

Try these ideas to increase your understanding on this subject (and your score):

• (10%) Essayez de métamorphoser une image filtrée avec un filtre passe-bas et une image filtrée avec un filtre passe-haut dans le but de créer une image métamorphosée hybride. Ceci est similaire à ce que vous avez effectué au travail 2, mais avec une meilleure correspondance spatiale entre les deux images. Quelle est la différence visible entre une image hybride normale et une image hybride métamorphosée?
• (10%) Try to morph a low-pass filtered image with a high-pass filtered image to create a morphed hybrid image. This is similar to what you have implement in your second homework, but with now a higher spatial correspondance between both images. What is the visual difference between an normal hybrid image and a morphed hybrid image?
• (10%) Essayez de faire votre métamorphose dans un autre système de coordonnées (ex.: polaire). Est-ce que vos résultats diffèrent?
• (10%) Try to morph in another coordinate system (ex.: polar). Are the results any different?
• (20%) Implémentez un algorithme de métamorphose n'utilisant pas des triangles. Plusieurs options sont possibles. Par exemple, vous pouvez calculer une transformation pour chaque pixel en faisant une estimation du moindre carrée pondérée où les poids sur les points de contrôle sont déterminés par la distance de ces points au pixel en question. Vous pouvez également implémenter la technique utilisée pour générer la vidéo de Michael Jackson « Black and White », qui est décrite dans l'article de Beier et Neely 1992.
• (20%) Implement a non-triangle based morphing algorithm. There are a lot of possibilities out there. For example, you could try to compute a weighted least-squares estimate of the transform at each pixel, where the weights on the control points are determined by the distance from the pixel in question. You could also try the technique that was used in Michael Jackson's "Black and White" clip which was published in a 1992 paper by Beier and Neely.
• (20%) Générez une séquence métamorphosant une vidéo vers une autre vidéo. Pour que les résultats soient convaincants, les deux vidéos doivent concorder. Par exemple, deux personnes effectuant les mêmes mouvements de façon synchronisée. Afin de réduire la quantité de travail manuel, vous pouvez identifier les points d'intérêts dans quelques images seulement, et interpoler leurs positions pour les autres images de la séquence.
  Pour 10% : générez l'animation avec ces 19 images de deux vidéos synchronisées et alignées de Michael Jackson et John Travolta effectuant le moonwalk (merci à Gaël Letartre) (voir exemple ci-bas). Le 20% sera obtenu si vous trouvez vos propres vidéos.
• (20%) Generate a sequence morphing a video towards another video. For the results to be convincing, both videos need to correspond to synchronized motions. For example, two persons could be performing the same actions synchronously. In order to reduce manual labor, you can identify interest points in a few images only, and interpolate their positions in the other images.
  For 10%: generate the animation with these 19 images from two synchronized and aligned videos of Michael Jackson dancing the moonwalk (thanks to Gaël Letartre) (see example below). You'll get 20% if you find your own videos.

Ideas for discussions

The main objective is that you share your thoughts on your results with us. No need to write a novel, just try to be precise. Here are some ideas:

• Comment on the quality of the results. Do they live up to your expectations? Are there any regions of the image where the problems are more visible?
• If you have encountered problems on some images, describe describe these problems and explain how you tried to solve them. Try to explain why it works better on some images than others.
• If your algorithms fail on some images, describe the problems and explain why they occur in your opinion.
• If you have tried implementing improvements to a method, show a side by side comparison of your results before and after your improvement.
• Describe, if applicable, the adjustments you have made to the proposed approach.

Remerciements

Thanks

Merci à Alyosha Efros d'avoir créé le TP original qui a servi d'inspiration pour celui-ci!

Many thanks to Alyosha Efros for creating the assignment which inspired this one!

Retour à la page web du cours.

Back to the class webpage.