Stage : Ingénieur benchmarking des grands modèles de langage
Stage
Stellantis
Fonction
—
Lieu
—
Rémunération
Non précisée
Début
Thu, 12 Nov 2026 15:47:38 Z
Fin
12 12 2026
Expérience
—
Description de l'offre
Vous intégrerez l'équipe l'IT qui accompagne les activités de Qualité et de Planification du Développement Produit chez Stellantis.
L'équipe intervient dans le développement logiciel, la gestion des connaissances d'ingénierie, la qualité, la planification des programmes & la productivité individuelle. La disponibilité croissante des grands modèles de langage nécessite une méthode objective &reproductible permettant d'évaluer leur adéquation aux cas d'usage métier réels.
L'objectif de ce stage est de concevoir &de mettre en œuvre une solution de benchmarking comparant des grands modèles de langage à partir de cas de test représentatifs recueillis auprès des équipes Qualité & Planification du Développement Produit.
Il consistera à créer une solution de benchmarking structurée & reproductible afin d'évaluer les grands modèles de langage sur des cas d'usage réels de Qualité & de Planification du Développement Produit.
- Identifier les principales parties prenantes et équipes impliquées
- Définir un modèle standard pour recueillir les cas d'usage métier et techniques.
- Organiser des entretiens et ateliers afin de comprendre les besoins, processus actuels, résultats attendus et critères d'évaluation.
- Recueillir et documenter des cas d'usage couvrant notamment le codage, la recherche de connaissances, l'analyse documentaire, la génération de contenu, la productivité, l'analyse de données et l'assistance technique.
- Classer les cas d'usage par domaine thématique, complexité, type de réponse attendu, contexte requis & criticité métier.
- Définir un ensemble représentatif et équilibré de scénarios de benchmark.
- Transformer les cas d'usage sélectionnés en cas de test reproductibles exécutables sur différents LLM.
-Préparer pour chaque cas de test les entrées de référence, les consignes d'évaluation, les résultats attendus &les critères d'acceptation.
-Définir des modèles de notation thématiques couvrant la précision, l'exhaustivité, la pertinence, la qualité du raisonnement, le respect des consignes, le format de sortie, la fiabilité &la cohérence.
-Définir les pondérations thématiques et une note globale du modèle, en distinguant l'évaluation automatique de l'évaluation humaine structurée.
-Mettre en œuvre, lorsque cela est possible, un cadre automatisé pour soumettre les cas de test et recueillir les réponses des modèles.
-Mesurer la latence, le délai avant le premier token, la vitesse de génération, le débit et le taux d'échec.
-Mesurer la consommation de tokens en entrée et en sortie et calculer le coût de chaque cas de test et domaine thématique.
-Effectuer des exécutions répétées afin d'évaluer la stabilité et la reproductibilité.
-Comparer les modèles selon la qualité, les performances, la consommation de tokens, le coût et l'adéquation à chaque catégorie de cas d'usage.
-Créer des rapports et tableaux de bord visuels, documenter la méthodologie et presenter des recommandations aux parties prenantes
Profil du candidat
Cette offre vous correspond ?
Postulez en quelques clics auprès de Stellantis.
Toutes leurs offres
313 offres accessibles
- Finance Project Manager Officer CDI Toute la France Publiée le 22/06/2026
- R&D archetype cost Toute la France Publiée le 22/06/2026
- Apprentissage : Analyse et pilotage de processus Prototype Toute la France Publiée le 22/06/2026
- Subscription and Customer Engagement Platform Operations Engineer CDI Toute la France Publiée le 22/06/2026
- BUSINESS COACH LEAPMOTOR CDI Toute la France Publiée le 22/06/2026