{"id":35626,"date":"2026-07-23T16:02:18","date_gmt":"2026-07-23T14:02:18","guid":{"rendered":"https:\/\/pba.mmsh.fr\/?p=35626"},"modified":"2026-07-23T16:02:19","modified_gmt":"2026-07-23T14:02:19","slug":"realisations-des-stagiaires","status":"publish","type":"post","link":"https:\/\/pba.mmsh.fr\/?p=35626","title":{"rendered":"R\u00e9alisations des stagiaires"},"content":{"rendered":"\n

Dans le cadre de notre stage IA et analyse des donn\u00e9es du Web archiv\u00e9 : entre sciences de l\u2019informatique et histoire num\u00e9rique<\/a> en collaboration avec le LIS, nos brillants stagiaires Dang, Sasha et Allan ont eu l’occasion d’entreprendre de brillantes r\u00e9alisations. Les voici !<\/p>\n\n\n\n

Dang Nguyen<\/h2>\n\n\n\n

WARChat\u00a0: une interface d\u2019exploration augment\u00e9e pour les archives web de Marsactu<\/strong><\/h4>\n\n\n\n

Dans le cadre de mon stage au LIS en collaboration avec TELEMMe, j\u2019ai travaill\u00e9 sur la valorisation de corpus d\u2019archives web destin\u00e9s \u00e0 des usages de recherche en sciences humaines et sociales. Les donn\u00e9es \u00e9tudi\u00e9es, fournies par la BnF et l\u2019INA, concernent notamment les archives du Marsactu<\/em> et du francetvinfo.fr<\/em>. Disponibles sous diff\u00e9rents formats (WARC, CSV, NDJSON) et repr\u00e9sentant des volumes importants, ces donn\u00e9es n\u00e9cessitent plusieurs \u00e9tapes de pr\u00e9paration avant de pouvoir \u00eatre exploit\u00e9es.<\/p>\n\n\n\n

Une premi\u00e8re partie du travail a consist\u00e9 \u00e0 d\u00e9velopper des scripts de nettoyage et de transformation afin de construire des corpus exploitables. Les lots fournis par la BnF contenaient de nombreuses ressources non pertinentes pour l\u2019analyse scientifique (pages techniques, pages de navigation, doublons, fichiers statiques, pages fonctionnelles, etc.). Des traitements adapt\u00e9s aux diff\u00e9rents formats ont donc \u00e9t\u00e9 mis en place : extraction et filtrage du contenu \u00e9ditorial depuis les fichiers WARC du corpus Marsactu J1, nettoyage et normalisation des listes d\u2019URLs issues des lots CSV J2 et J3, ainsi qu\u2019une r\u00e9duction du bruit avant les \u00e9tapes d\u2019indexation. En parall\u00e8le, un script de conversion NDJSON vers WARC a \u00e9t\u00e9 d\u00e9velopp\u00e9 afin d\u2019exp\u00e9rimenter l\u2019utilisation d\u2019un \u00e9chantillon du corpus INA avec l\u2019outil SolrWayback.<\/p>\n\n\n\n

\u00c0 partir du corpus Marsactu nettoy\u00e9 (3 979 articles index\u00e9s couvrant la p\u00e9riode 2011\u20132015), j\u2019ai d\u00e9velopp\u00e9 WARChat, une interface permettant d\u2019explorer les archives web selon plusieurs approches compl\u00e9mentaires. L\u2019outil propose une recherche plein texte bas\u00e9e sur SQLite FTS5 et le classement BM25, un assistant conversationnel reposant sur une approche RAG (Retrieval-Augmented Generation) combinant recherche documentaire et mod\u00e8le de langage local ex\u00e9cut\u00e9 via Ollama, ainsi qu\u2019un module d\u2019analyse statistique permettant d\u2019explorer l\u2019\u00e9volution du corpus, les auteurs principaux et la pr\u00e9sence d\u2019entit\u00e9s au fil du temps.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n
\"\"<\/figure>\n\n\n\n
\"\"<\/figure>\n\n\n\n

Ce projet montre comment des archives web complexes peuvent \u00eatre transform\u00e9es en ressources accessibles aux chercheurs gr\u00e2ce \u00e0 une combinaison entre pr\u00e9paration des donn\u00e9es, recherche documentaire et intelligence artificielle. Les perspectives d\u2019\u00e9volution concernent notamment l\u2019am\u00e9lioration de la recherche hybride combinant approches lexicales et s\u00e9mantiques, ainsi que le renforcement de la tra\u00e7abilit\u00e9 des r\u00e9ponses g\u00e9n\u00e9r\u00e9es par l\u2019ajout de m\u00e9canismes de citation des sources.<\/p>\n\n\n\n

Code source : https:\/\/gitlab.huma-num.fr\/weblab\/iawarc.git<\/a><\/p>\n\n\n\n

Sasha Sutton<\/h2>\n\n\n\n

Analyser un corpus de presse locale \u00e0 partir d\u2019une
archive web<\/strong><\/h4>\n\n\n\n

Ce que j\u2019ai fait :
Pendant ce stage, j\u2019ai travaill\u00e9 sur une archive web du journal marseillais Marsactu, que la BnF nous a fournie au format WARC (un gros fichier de 419 Mo).
Mon but \u00e9tait de partir de ce fichier brut et d\u2019arriver \u00e0 une analyse des th\u00e8mes abord\u00e9s par le journal entre 2011 et 2015.
J\u2019ai commenc\u00e9 par explorer l\u2019archive pour comprendre ce qu\u2019elle contenait vraiment. C\u2019est l\u00e0 que j\u2019ai vu que la BnF avait tout aspir\u00e9 en une seule fois d\u00e9but 2012, ce qui rendait la date de capture inutilisable pour suivre l\u2019\u00e9volution dans le
temps. J\u2019ai donc d\u00fb aller chercher la vraie date de publication directement dans le code des pages. \u00c7a m\u2019a permis de faire une petite analyse diachronique, ann\u00e9e par ann\u00e9e, m\u00eame si elle reste limit\u00e9e : une bonne partie des anciens articles n\u2019avaient pas de texte exploitable, seulement de la navigation WordPress.<\/p>\n\n\n\n

Ensuite j\u2019ai construit le corpus proprement (2 656 articles), nettoy\u00e9 les textes, puis test\u00e9 deux fa\u00e7ons de rep\u00e9rer les grands th\u00e8mes : la LDA, une m\u00e9thode classique, et BERTopic, plus r\u00e9cente. Les deux donnent des r\u00e9sultats int\u00e9ressants \u00e0 comparer. La LDA sort 5 th\u00e8mes assez larges, BERTopic en trouve 14, beaucoup plus pr\u00e9cis (la crise de la SNCM, la French Tech, l\u2019affaire Kem One, la p\u00eache en M\u00e9diterran\u00e9e). J\u2019ai aussi rep\u00e9r\u00e9 les personnes les plus cit\u00e9es, et sans
surprise ce sont surtout des politiques : Gaudin, Mennucci, Gu\u00e9rini.<\/p>\n\n\n\n

Tout le travail est organis\u00e9 en quatre notebooks Python qu\u2019on peut relire dans l\u2019ordre, avec les donn\u00e9es et les figures.<\/p>\n\n\n\n

Quelques r\u00e9sultats :
Le code
Tout le projet est disponible sur le d\u00e9p\u00f4t.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n
\"\"<\/figure>\n\n\n\n
\"\"<\/figure>\n\n\n\n

Allan Diny<\/h2>\n\n\n\n

Nettoyage de fichiers et extraction d’informations<\/h4>\n\n\n\n

Dans le cadre de mon stage, j’ai r\u00e9alis\u00e9 trois livrables :<\/p>\n\n\n\n