Équilibrer qualité et quantité : comparaison de stratégies d’annotation pour la reconnaissance d’entités nommées en cardiologie
Abstract
This article explores training named entity recognition models to analyze electronic health records. Faced with a lack of high-quality annotations, we study three types of annotations, expert, non-expert, and pre-annotation, and their combinations. We look for an optimal combination of annotations that leads to training a high-performing Transformer model. We observe that a large number of preannotated texts leads to a better-performing model than a limited number of pre-annotated then expert-reviewed texts, and that adding a moderate number of pre-annotated then non-expert-reviewed texts further increases this performance.
Cet article explore l’entraînement de modèles de reconnaissance d’entités nommées pour l’analyse de dossiers médicaux électroniques. Face au manque d’annotations de qualité, nous étudions trois types d’annotations, expert, non-expert et pré-annotation, et leurs combinaisons. Nous cherchons la combinaison optimale d’annotations menant à l’entraînement d’un modèle transformeur performant. Nous constatons que de nombreux textes pré-annotés mènent à un modèle plus performant qu’une quantité limitée de textes pré-annotés, puis corrigés par un expert, et que l’ajout d’une quantité modérée de textes pré-annotés puis corrigés par un non-expert augmente encore cette performance.
| Origin | Files produced by the author(s) |
|---|
