Characterization of a Reliability Domain for Image Classifiers
Caractérisation d'un Domaine de Fiabilité des Classifieurs d'Images
Résumé
Deep neural networks have revolutionized the field of computer vision. These models learn a prediction task from examples. Image classification involves identifying the main object present in the image. Despite the very good performance of neural networks on this task, they often fail unexpectedly. This limitation prevents them from being used in many applications. The goal of this thesis is to explore methods for defining a reliability domain that would clarify the conditions under which a model is trustworthy. Three aspects have been considered. The first is qualitative: generating synthetic extreme examples helps illustrate the limits of a classifier and better understand what causes it to fail. The second aspect is quantitative: selective classification allows the model to abstain in cases of high uncertainty, and calibration helps better quantify prediction uncertainty. Finally, the third aspect involves semantics: multimodal models that associate images and text are used to provide textual descriptions of images likely to lead to incorrect or, conversely, to correct predictions.
Les réseaux de neurones profonds ont révolutionné le domaine de la vision par ordinateur. Ces modèles apprennent une tâche de prédiction à partir d'exemples. La classification d'images consiste à identifier l'objet principal présent dans l'image. Malgré de très bonnes performances des réseaux de neurones sur cette tâche, il arrive fréquemment qu'ils se trompent de façon imprévue. Cette limitation est un frein à leur utilisation pour de nombreuses applications. L'objectif de cette thèse est d'explorer des moyens de définir un domaine de fiabilité qui expliciterait les conditions pour lesquelles un modèle est fiable. Trois aspects ont été considérés. Le premier est qualitatif : générer des exemples extrêmes synthétiques permet d'illustrer les limites d'un classifieur et de mieux comprendre ce qui le fait échouer. Le second aspect est quantitatif : la classification sélective permet au modèle de s'abstenir en cas de forte incertitude, et la calibration permet de mieux quantifier l'incertitude de prédiction. Enfin, le troisième aspect est d'inclure de la sémantique : des modèles multimodaux qui associent images et texte sont utilisés pour décrire textuellement les images susceptibles de provoquer de mauvaises, ou inversement, de bonnes prédictions.
Origine | Version validée par le jury (STAR) |
---|