IFT 603-712: Techniques d'apprentissage

Objectifs du cours

L’apprentissage automatique ou l’apprentissage par machine (Machine Learning) s'intéresse à la conception, l'analyse, l'implémentation et l’application de programmes capables de s’améliorer, au fil du temps, soit sur la base de leur propre expérience, soit à partir des données d'apprentissage. De nos jours, l’apprentissage automatique joue un rôle essentiel dans de nombreux domaines d’applications, tels que la vision par ordinateur, le traitement automatique du langage, la reconnaissance vocale, les systèmes tutoriels intelligents, la modélisation de l’usager, la robotique, la bio-informatique, les finances, le marketing, les jeux vidéos, la télédétection, etc. En fait, la plupart des programmes de l’intelligence artificielle contiennent un module d’apprentissage. Presque tous les systèmes de reconnaissances de formes sont basés sur des techniques d’apprentissage.

Manuel

Il est possible de réussir le cours sans acheter le manuel de référence. Cependant, il est recommandé d'en faire l'achat car le cours en est tiré. Bien que ce livre date de quelques années déjà, c'est une excellente référence pour comprendre les bases des techniques d’apprentissage.

Le livre de référence principal est Pattern Recognition and Machine Learning de Christopher M. Bishop. Il est possible de le commander sur Amazon. Une copie est également à la bibliothèque des sciences et de génie. Pour ceux et celles qui ne rechignent pas à l'idée de lire un livre sur un écran d'ordinateur, le manuel de Bishop est disponible en format pdf .

Il y a également deux autres livres d'intérêt soient : Dive into Deep Learning de Aston Zhang et al. ainsi que Understanding Deep Learning de Simon J.C. Price. Les deux livres sont particulièrement intéressants concernant les réseaux de neurones.

Un autre très bon manuel de référence est Mathematics for Machine Learning par Deisenroth, Faisal et Ong. Je recommande tout particulièrement les chapitres 2 à 6 pour ceux et celles qui souhaitent revoir les notions de base requises pour ce cours en algèbre linéaire, probabilités et calcul différentiel et intégral. Ce manuel est également disponible gratuitement en ligne.

Méthode pédagogique

La méthode pédagogique employée pour une partie de ce cours diffère de celle employée pour la plus part des cours magistraux universitaires. En effet, à chaque semaine durant la première moitié de la session, vous serez invité à visionner de 60 à 90 minutes de vidéos en ligne. Il est important de visionner ces vidéos car elles couvrent environ 50% de la matière totale du cours avant l'intra. L'horaire des vidéo est donnée dans le tableau ci-bas.

Lors des séances magistrales en classe, je reverrai avec vous certains concepts mathématiques de base parfois oubliés (vous vous souvenez des probabilités conditionnelles? de la règle de Bayes? de la dérivée en chaîne?) ainsi que certaines preuves mathématiques en lien avec la matière vue dans les vidéos ainsi que des mise en contexte et des exercices pratiques et théoriques. Cette méthode pédagogique fait suite à de nombreux commentaires émis par les étudiants.es au fil des années. Cette approche pédagogique a donc pour objectif de vous aider!

Les séances magistrales devraient prendre une à deux heures par semaine. Vous serez également invités à poser des questions quant à la matière vue dans les vidéos. L'heure restante sera passée au laboratoire pour vous aider avec les travaux pratiques (autre requête formulées par les élèves des années antérieures).

Il est prévu que les notions mathématiques critiques pour bien aborder les techniques d'apprentissage seront vues en classe avant l'intra. Ainsi, après le retour de la semaine de relâche, les trois heures de cours se feront en classe via des présentations powerpoints.

Notes de cours et vidéos à visualiser à la maison

Jupyter Notebooks

Voici quelques exemples de code sous forme de notebooks python dont le but est de vous aider à comprendre certains éléments de la matière vue en classe:

• Fomulations probabiliste (gaussienne univariée et multivariée, covariance, dépendances statistiques, distributions jointe, conditionnelle et évidence, marginalisation, illustration du problème "math vs info" vu en classe).
• Concepts fondamentaux (régression linéaire et non linéaire, distribution conditionnelle dans le cadre d'une régression, sur- et sous-apprentissage, régularisation, classification linéaire, apprentissage non supervisé)
• Théorie de l'information (information, entropie, entropie croisée, distance de Kullback-Leibler, encodage de Huffman, information mutuelle).
• Régression logistique (petit code illustrant une régression logistique 2 classes)
• Méthodes à noyaux (petit code illustrant comment une régression logistique linéaire combinée à une méthode à noyau peut segmenter des données de façon non linéaire)
• Combinaison de modèles (petit code illustrant comment la combinaison de modèles peut réduire la variance d'un modèle)

Travaux Pratiques

Veuillez utiliser turninweb pour soumettre vos travaux. Tout retard ou erreur de remise entraînera une pénalité de 10% par jour et une note de 0 après 5 jours. Veuillez également utiliser la plateforme de développement "gitlab" de l'Université.

Pour connaître vos partenaires d'équipes, veuillez consulter le document que voici.

• NOTE IMPORTANTE 1: En plus de votre code, veuillez ou bien soumettre un fichier "gitlab.txt" dans lequel vous donnez le lien vers votre dépôt gitlab ou bien utiliser les ressources de turnin mises à votre disposition.
• NOTE IMPORTANTE 2: En plus de vos documents de travail, vous devez remplir, signer et joindre à votre travail le formulaire d'intégrité que voici : formulaire d'intégrité.
• NOTE IMPORTANTE 3: En plus de vos documents de travail, vous devez remplir et joindre à votre travail l'agenda d'équipe que voici : agenda d'équipe.
• NOTE IMPORTANTE 4: veuillez bien utiliser git car une mauvaise utilisation pourra entraîner une perte de points pouvant aller jusqu'à zéro.
• NOTE IMPORTANTE 5: Avant de commencer à travailler sur vos TP, veuillez svp prendre connaissance du document que voici : recommandatonsTP.pdf

Examens (exemples) (NOTE : l'examen final est récapitulatif)

• Intra1: intra1.pdf
• Intra2: intra2.pdf
• Final: final.pdf