STAGE RÉMUNÉRÉ - Feedback implicite pour l'évaluation automatique d'agents IA F/H
CDI
BERGER LEVRAULT
Fonction
—
Lieu
—
Rémunération
Non précisée
Début
Thu, 19 Nov 2026 09:53:13 Z
Fin
19 12 2026
Expérience
—
Description de l'offre
Au sein de la Direction de la Recherche et de l'Innovation Technologique (DRIT), vous contribuerez à l'amélioration d'ATHENA, notre plateforme agentique qui mobilise plusieurs agents IA spécialisés pour répondre aux besoins des utilisateurs.
Aujourd'hui, les utilisateurs peuvent évaluer explicitement les réponses des agents, mais ces retours restent facultatifs et ne couvrent qu'une partie des interactions. Pourtant, leurs comportements au fil d'une conversation fournissent de nombreux indices : reformulation d'une question, demande de précision, correction d'une information, changement d'agent ou encore consultation de sources.
Votre défi ? Exploiter ces signaux pour mieux comprendre si une réponse a été utile, sans tirer de conclusions hâtives sur les utilisateurs ou sur la qualité du service rendu.
Réaliser un état de l'art sur le feedback implicite, l'analyse des dialogues multi-tours, la satisfaction utilisateur et l'évaluation continue des assistants conversationnels.
Définir une typologie de signaux comportementaux observables dans ATHENA.
Concevoir un schéma de données reliant les réponses, les actions observables et le contexte des conversations, en veillant à la minimisation et à la traçabilité des données.
Constituer un corpus d'étude associant des interactions, des feedbacks explicites lorsqu'ils existent et des annotations de référence.
Étudier et comparer différentes approches : règles interprétables, modèles de classification, analyse séquentielle et combinaison de plusieurs signaux.
Développer un protocole d'évaluation permettant de mesurer la précision, la calibration, la stabilité et la capacité de généralisation des indicateurs.
Concevoir un prototype intégrable à ATHENA pour générer, stocker et visualiser les indicateurs de feedback implicite.
Rendre les estimations explicables en identifiant les signaux qui ont conduit à chaque résultat et en permettant leur correction ou leur invalidation.
Prendre en compte les enjeux de confidentialité, de biais et d'incertitude en privilégiant des analyses agrégées.
L'objectif sera notamment de faire émerger des indicateurs probabilistes et explicables : besoin d'approfondissement, réponse potentiellement incomplète, ambiguïté non levée ou encore tâche vraisemblablement aboutie.
NB : Stage à pourvoir à partir de Janvier / Février 2027 pour une durée de 6 mois.
Profil du candidat
Cette offre vous correspond ?
Postulez en quelques clics auprès de BERGER LEVRAULT.
Dernières offres publiées
316 offres accessibles
- Technicien support logiciel - Solution RH F/H
- Stage non rémunéré - Chargé de communication interne et évènementiel F/H
- Technicien formateur logiciel F/H
- Développeur Fullstack Java/Angular F/H
- Gerente de Cuentas (SaaS)
- Technicien formateur logiciel F/H
- STAGE RÉMUNÉRÉ - Auto-complétion métier pour un moteur de réponses F/H
- STAGE RÉMUNÉRÉ - Feedback implicite pour l'évaluation automatique d'agents IA F/H
- STAGE RÉMUNÉRÉ - Greener Code : vers des prompts plus responsables pour générer du code avec l'IA F/H
- STAGE RÉMUNÉRÉ - Observabilité des usages de l'IA : coût financier et impact environnemental F/H
Toutes nos actualités
- [BL’Come] Retour en images sur notre programme d'intégration. Le BL'Come, c'est quoi ?
- [L'Égalité professionnelle femmes-hommes au travail]
- De nombreuses opportunités sont à pouvoir chez Berger-Levrault !
- [Secrétaires de mairies] Le saviez-vous ? Il manque déjà 1 900 secrétaires de mairie sur tout le territoire et 1/3 des agents exerçant cette fonction vont partir à la retraite d’ici 2030.
- [#BLRecrute des alternants] Etudiantes et étudiants, votre alternance de rêve vous attend chez Berger-Levrault