Quels usages du “Retrieval-augmented generation” en SHS ?
Le “retrieval-augmented generation” (RAG) est une technique issue du domaine de l’intelligence articielle dans le domaine du traitement des langages (pour natural language processing, NLP) et des textes qui combine la capacité de récupération d’informations avec la génération de texte. Cette approche, novatrice, permet de créer des systèmes de traitement des connaissances performants et polyvalents. Ils ouvrent la voie à de nombreuses applications dans les disciplines des sciences humaines et sociales. Dans cette court log1, nous allons en introduire les principes généraux à destination des communautés SHS. Nous reviendrons prochainement avec des expérimentations plus précises, illustrées d’exemple, en contexte SHS, du RAG.
Le RAG, à la croisé des chemins des IA.
L’un des principaux usages du RAG se place dans le domaine de la recherche d’informations. En combinant des modèles de génération de langage (via les grands modèles de langage ou Large language models, LLM) avec des technologies plus classique de moteurs de recherche, le RAG peuvent répondre à des requêtes complexes en fournissant des réponses plus précises, car appuié sur un apprentissage au travers d’une documentation, et plus pertinentes, car entrainé sur un corpus bien défini. Par exemple, dans le domaine de l’histoire, un système RAG peut être utilisé pour répondre à des questions sur des imbrications de faits historiques ou sur des évolutions des courants de pensée des historiens et historiennes en récupérant des informations à partir de bases de données de connaissances, de faits, de publications, de chronologies et en générant des réponses pouvant être interfacées dans un chatbot2 ou un moteur de recherche plus conventionnel.
Une autre utilisation importante du RAG est dans le domaine de l’assistance aux chercheurs et de la génération de contenu scientifique et techniques (dans le domaine du traitement et organisation des bibliographies par exemple). Le RAG (qui regroupe à lui seul, plusieurs familles de techniques) peuvent être construire autour d’une documentation méthodologique par exemple et entrainés pour répondre automatiquement aux questions des étudiants, en récupérant des informations à partir de bases de connaissances internes, et en générant des réponses personnalisées et utiles, qui peuvent être ensuite capitalisées pour ré-alimenter la base de connaissance. Dans ce domaine, les travaux du HN Lab au sein de l’infrastructure de recherche Huma-Num ont montré que même les lacunes d’une documentation révélées par les réponses erronées d’un RAG pouvaient être exploitées pour améliorer les contenus3.
Potentiel du RAG et des Large language models
Le RAG est également largement utilisé dans le domaine de la génération de contenu, notamment pour la création automatique de résumés, d’articles et même de fiction (avec un certains nombres de limites). En intégrant des modèles de génération de langage avec des bases de données de documents, les systèmes de RAG peuvent produire des contenus secondaire — en particulier des résumés analytiques et/ou appareils critiques d’un texte par entrainement secondaire (ou fine-tunning) de LLM. Par exemple, les documentalistes peuvent utiliser du RAG pour créer rapidement des résumés d’articles ou des rapports sur des questions scientifiques (nous pensons en particulier aux controverses en histoire des sciences) en récupérant des informations pertinentes à partir de réservoir de données tel que HAL, Zenodo, NAKALA, etc.
En outre, le RAG est également utilisé dans des applications telles que la traduction automatique et la création de chatbots avancés. En exploitant la puissance de la récupération d’informations et de la génération de texte, les systèmes de RAG peuvent fournir des traductions plus précises et des conversations plus naturelles dans plusieurs langues. Ce point change la façon de concevoir les systèmes d’information documentaire des SHS4.
En résumé, le “retrieval-augmented generation” est une technologie dans le domaine du traitement du langage naturel qui ouvre de nouvelles perspectives dans de nombreux domaines, de la recherche d’informations à la création de contenu. Avec son potentiel pour combiner la récupération d’informations et la génération de texte, le RAG promet de transformer radicalement la manière dont nous interagissons avec la langue écrite et parlée dans les dispositifs socio-techniques utilisés par les sciences humaines et sociales.
-
Cet Log a été co-écrit avec l’aide d’un LLM (LLAMA2 via une intégration Ollama dans un notebook JupyterLab). ↩
-
Nous renvoyons le lecteur au travaux du HN Lab sur le sujet : Nicolas Sauret, « Le bot comme pratique d’écriture », 2022 et Juliette DeMaeyer, « Portraits de bots », 2022. ↩
-
Le HN Lab va publier prochainement sur le sujet au travers de communication dans des colloques et congrès. Donc le colloque organisé par le Centre de recherche interuniversitaire sur les humanités numériques de l’Université de Montréal dans le cadre de l’ACFAS 2024. ↩
-
Cette dimension est au cœur du programme ISIDORE 2030 mené par le HN Lab au sein d’Huma-Num IR*. Lire sur le sujet : Stéphane Pouyllau, « Refonder ISIDORE », 2022. https://doi.org/10.5281/zenodo.8086278 ↩