Survol

Dans la partie A de ce travail, vous avez implanté un algorithme de morphage. Cela vous a permis de morpher votre visage vers celui de quelqu'un autre, ou peut-être même de morpher un objet ou un animal vers autre chose. Dans cette partie du travail, vous utiliserez votre algorithme de morphage afin de calculer le visage moyen d'un ensemble de visages.

En créant un visage moyen, vous aurez l'occasion d'observer les traits et les formes dominants d'un ensemble de visages. De plus, il est possible d'utiliser la forme d'un visage moyen pour modifier un visage; chose que vous ferez en vous prenant comme cobaye!

Overview

In part A of this assignment, you implemented a morphing algorithm. You used this algorithm to morph your face toward the face of someone else, and perhaps you morphed and animal or an object toward another things. In this part, you will have to calculate the average face of a face dataset using morphing.

In generating this average face, you will be able to notice dominant traits and shapes in a face set. Furthermore, it is possible to use the shape of an average face to modify a face; in the context of this assignment, you will do it on your face!

Pour calculer le visage moyen d'un ensemble de personnes, il faut

1. détecter les visages et identifier les caractéristiques du visage
2. calculer la forme du visage moyen
3. déformer tous les visages dans cette forme
4. calculer la moyenne de toutes ces images.

Cette technique exige un marquage uniforme de tous les visages. Dans ce TP, vous devrez utiliser les photos des étudiants du cours, ainsi que l'ensemble d'images de la base de données d'Utrecth (source). Celle-ci contient 131 images de 69 personnes: 20 femmes et 49 hommes.

To calculate the average face of a set of persons, we must:

1. detect faces and identify facial features
2. compute the average shape
3. warp all faces into that shape
4. average the colors together

This requires consistent labeling of all the faces. In this homework, you will have to use the photos from our class, as well as the Utrecht face image dataset (source). This dataset contains 131 images of 69 persons: 20 women and 49 men.

Dans l'ensemble d'images mentionné plus haut, vous ne connaissez pas la position des visages et encore moins la position des points caractéristiques de celui-ci. Puisqu'il serait fastidieux de sélectionner manuellement les points de tous les visages comme vous deviez le faire dans la partie A, nous vous suggérons d'utiliser le détecteur de visage et caractéristiques du visage suivant.

Nous vous fournissons un script python pour vous permettre d'obtenir les points sur les visages. Pour ceux qui travaillent avec Matlab, cette partie se fera en python, mais vous n'aurez pas besoin de travailler dans le code.

In the faces dataset mentioned earlier, you do not know the face position, let alone its landmarks. Since it would be impractical to manually select every features of every faces, we invite you to use this face and face landmarks detector.

We provide you with a python script to allow you to get the points on the faces. For those who work with Matlab, this part will be done in python, but you will not need to work in the code.

Pour utiliser le script python, il faut préalablement installer la libraire dlib avec la commande pip install dlib --verbose. Vous pouvez ensuite utilisez le script de cette façon:

python3 face_landmark_detection.py -d utrecht/ -o output/

L'argument -d est pour le répertoire contenant vos images, et l'argument -o est pour le répertoire où sera stocké les fichiers contenant les points d'intérêt.

To use the python script, you must first install the dlib library with the command pip install dlib --verbose . You can then use the script this way:

python3 face_landmark_detection.py -d utrecht/ -o output/ 

The -d argument is for the directory containing your images, and the -o argument is for the directory where you want your files containing the keypoints to be stored.

Suggestions

• Lors de vos expérimentations, essayez de ne pas répéter inutilement les tâches longues (comme la détection de visage), en sauvegardant les résultats sur le disque. Cela vous permettra de débugger votre code plus facilement.
• Il est très probable que certains des triangles deviennent dégénérés, et, donc, que vous obteniez des NaN (Not a Number) dans votre image morphée. Essayez de trouver une méthode pour détecter et gérer ces cas.

Tips

• While doing this assignment, try not to repeat uselessly long tasks (such as the face detection), by saving these results to disk. This will make debugging your code much easier.
• It is highly likely that some of the triangulated triangles will become degenerate. This will create morphed image containing NaN (Not a Number) values. Try to find a way to detect and manage these situations.

Pour cette section, incluez les résultats suivants dans votre rapport:

(20%) Vous devez tout d'abord présenter vos résultats obtenus dans la partie A du travail. Présentez vos résultats, vos crédits supplémentaires (s'il y a lieu), et discutez.

• (30%, 20% pour les gradués) Pour les photos des étudiants en classe, affichez:
  • La forme du visage moyen (triangulation seulement) obtenue avec les points que vos camarades étudiants ont sélectionnés;
  • Le visage moyen obtenu avec les points que vos camarades étudiants ont sélectionnés;
  • La forme du visage moyen obtenue avec les points trouvés par le détecteur dlib;
  • Le visage moyen avec les points trouvés par le détecteur dlib;
• (30%, 20% pour les gradués) Pour les photos de la base de données d'Utrecht, affichez:
  • La forme du visage moyen obtenue avec les points trouvés par le détecteur dlib;
  • Le visage moyen obtenu avec les points trouvés par le détecteur dlib;
• (N%) Description des crédits supplémentaires que vous aurez implantés, n'oubliez pas de montrer les images "avant et après"!

For this section, include the following results in your report:

(20%) You must first present the results you have obtained in part A of this assignment . Present your results, your bells & whistles (if any), and discuss.

• (30%, 20% for grads) For the class photos, show:
  • The average face shape (triangulation only) using the points selected by your fellow students;
  • The average face using the points selected by your fellow students;
  • The average face shape using points detected by the face detector;
  • The average face using points detected by the face detector;
• (30%, 20% for grads) For the Utrecht face database, show:
  • The average face shape using points detected by the face detector;
  • The average face using points detected by the face detector;
• (N%) Description of any of the bells & whistles you've chosen to implement. Don't forget to show the "before and after" images!

Suggestions

• Expérimentez avec les paramètres de distorsion et de niveau de fondu dans le but d'avoir une image intéressante. Le niveau de fondu est surtout utile pour faire apparaître/camoufler les poils facials.

Tips

• Experiment with distortion and dissolution parameters in order to generate an interesting image. The dissolution level is especially useful to show/hide facial hair.
• To filter file names (women, men, smiling, non-smiling), these matlab functions could be useful: strfind or regexpi.

Pour cette section, incluez les résultats suivants dans votre rapport:

• (10%) Montrez le visage masculin moyen ainsi que la "masculinisation" de votre visage. Montrez un ou deux résultats obtenus avec différents paramètres de distorsion et de niveau de fondu. Discutez.
• (10%) Montrez le visage féminin moyen ainsi que la "féminisation" de votre visage. Montrez un ou deux résultats obtenus avec différents paramètres de distorsion et de niveau de fondu. Discutez.

For this section, include the following results in your report:

• (10%) Show the average male face and the "masculinization" of your face. Show one or two results with different distortion and dissolution parameters. Discuss.
• (10%) Show the average female face and the "feminization" of your face. Show one or two results with different distortion and dissolution parameters. Discuss.

Remise

Pour la remise de votre travail, créez un fichier tp3b.zip qui contient:

• Votre rapport en format HTML dans un dossier tp3b/web. Vos images doivent être dans un dossier tp3b/web/images.
• Assurez-vous qu'il n'y a aucun caractère spécial (accent, ponctuation, espace, etc.) dans les noms de vos fichiers, images, etc.
• Votre code doit être dans un dossier tp3b/code. N'incluez pas les images que vous avez utilisées pour produire vos résultats dans ce dossier dans le but de ne pas alourdir le fichier.
• Votre séquence vidéo doit être dans un dossier tp3b/video.

Finalement, veuillez téléverser votre fichier tp3b.zip sur le portail des cours avant la date limite. La politique des retards mentionnée dans le plan de cours sera appliquée. Pour toutes questions concernant la procédure de remise ou le travail lui-même, utilisez Piazza!

Handing in procedure

For this homework, you must create a tp3b.zip file. In this file you'll put:

• Your report in an HTML format inside a folder named tp3b/web/.Your result images inside a folder named tp3/web/images.
• Make sure none of the files have special characters (e.g. accents, punctuation, spaces, etc.) in their filenames.
• Your code should be put inside the folder tp3/code. Do not include the images you have used to generate your results inside this folder, as this will likely generate huge files.
• Your video sequence must be in the folder tp3/video.

Finally, you should upload this file (tp3.zip) on the "portail des cours" before the deadline. The late submission policy described in the course plan will be applied. For any question regarding the submission process or the project as such, use Piazza!

Liens rapides

• Base de données Utrecht;
• Détecteur de visage et caractéristiques de visage;
• Site web de dlib;
• Remise sur le portail des cours.

Quick links

• Utrecht face database;
• Face and face landmark detector;
• dlib website;
• "Portail des cours"