Vers un résumé automatique de séries télévisées basé sur une recherche multimodale d'histoires

摘要

Les séries télévisées récentes multiplient les personnages principaux, développant ainsi des intrigues complexes présentées à travers plusieurs histoires entremêlées. Nous proposons une approche de détection automatique de ces histoires afin de générer un résumé vidéo par extraction de scènes représentatives de ces dernières, et nous présentons un outil de visualisation rapide des histoires et du résumé obtenus. A partir d'une segmentation des épisodes en scènes (présentant une unité de temps, d'action et de contenu sémantique), les histoires s'obtiennent en regroupant les scènes, non nécessairement contigu?s, qui présentent une similarité sémantique forte. Les modalités utilisées sont visuelles, audio et textuelles. Nos expérimentations sont menées sur deux séries télévisées de formats différents.%Modern TV series have complex plots made of several intertwined stories following numerous characters. In this paper, we propose an approach for automatically detecting these stories in order to generate video summaries and we propose a visualization tool to have a quick and easy look at TV series. Based on automatic scene segmentation of each TV series episode (a scene is defined as temporally and spatially continuous and semantically coherent), scenes are clustered into stories, made of (non necessarily adjacent) semantically similar scenes. Visual, audio and text modalities are combined to achieve better scene segmentation and story detection performance. An extraction of salient scenes from stories is performed to create the summary. Experimentations are conducted on two TV series with different formats.rnmots-CLES : detection d'histoires, resume de series televisees, classification spectrale, regrou-pement hierarchique, multimodalite.