Stage : Ingénieur benchmarking des grands modèles de langage
Stage
Stellantis
Fonction
—
Lieu
—
Rémunération
Non précisée
Début
Thu, 12 Nov 2026 15:47:38 Z
Fin
12 12 2026
Expérience
—
Description de l'offre
Vous intégrerez l'équipe l'IT qui accompagne les activités de Qualité et de Planification du Développement Produit chez Stellantis.
L'équipe intervient dans le développement logiciel, la gestion des connaissances d'ingénierie, la qualité, la planification des programmes & la productivité individuelle. La disponibilité croissante des grands modèles de langage nécessite une méthode objective &reproductible permettant d'évaluer leur adéquation aux cas d'usage métier réels.
L'objectif de ce stage est de concevoir &de mettre en œuvre une solution de benchmarking comparant des grands modèles de langage à partir de cas de test représentatifs recueillis auprès des équipes Qualité & Planification du Développement Produit.
Il consistera à créer une solution de benchmarking structurée & reproductible afin d'évaluer les grands modèles de langage sur des cas d'usage réels de Qualité & de Planification du Développement Produit.
- Identifier les principales parties prenantes et équipes impliquées
- Définir un modèle standard pour recueillir les cas d'usage métier et techniques.
- Organiser des entretiens et ateliers afin de comprendre les besoins, processus actuels, résultats attendus et critères d'évaluation.
- Recueillir et documenter des cas d'usage couvrant notamment le codage, la recherche de connaissances, l'analyse documentaire, la génération de contenu, la productivité, l'analyse de données et l'assistance technique.
- Classer les cas d'usage par domaine thématique, complexité, type de réponse attendu, contexte requis & criticité métier.
- Définir un ensemble représentatif et équilibré de scénarios de benchmark.
- Transformer les cas d'usage sélectionnés en cas de test reproductibles exécutables sur différents LLM.
-Préparer pour chaque cas de test les entrées de référence, les consignes d'évaluation, les résultats attendus &les critères d'acceptation.
-Définir des modèles de notation thématiques couvrant la précision, l'exhaustivité, la pertinence, la qualité du raisonnement, le respect des consignes, le format de sortie, la fiabilité &la cohérence.
-Définir les pondérations thématiques et une note globale du modèle, en distinguant l'évaluation automatique de l'évaluation humaine structurée.
-Mettre en œuvre, lorsque cela est possible, un cadre automatisé pour soumettre les cas de test et recueillir les réponses des modèles.
-Mesurer la latence, le délai avant le premier token, la vitesse de génération, le débit et le taux d'échec.
-Mesurer la consommation de tokens en entrée et en sortie et calculer le coût de chaque cas de test et domaine thématique.
-Effectuer des exécutions répétées afin d'évaluer la stabilité et la reproductibilité.
-Comparer les modèles selon la qualité, les performances, la consommation de tokens, le coût et l'adéquation à chaque catégorie de cas d'usage.
-Créer des rapports et tableaux de bord visuels, documenter la méthodologie et presenter des recommandations aux parties prenantes
Profil du candidat
Cette offre vous correspond ?
Postulez en quelques clics auprès de Stellantis.
Dernières offres publiées
313 offres accessibles
- Stage : Chargé(e) de mission RH - Employabilité & Mobilité
- Stage : Towards Fully Integrated Multi-Physics Vhl Structures Enabled by Additive Manufacturing Bio-Ins
- Stage : Ingénieur Essais & Analyse Électronique Véhicule & Données connectées
- Stage : Amélioration de la plateforme de simulation pour gérer des différents modes de recharge
- Stage : Creation d'agents IA pour le support au déploiement du processus de développement logiciel
- STAGE EN LOGISTIQUE OPERATIONNEL
- Stage : Ingénieur informatique pour developper une solution digitale
- Stage : Digital Experience & Engagement Insights
- Stage - Assistant Product/Pricing manager PEUGEOT
- Stage : Chargé de Communication – Refonte de l'identité et des outils du CSE
Toutes nos actualités
- At the April 3 hashtag#FreedomofMobilityForum 2024, students from leading universities – Brandeis University, HEC Paris and ENSA Kénitra – encouraged the exchange of ideas by bringing questions from the younger generation to the debate
- #WorldDay #CulturalDiversity: #Stellantis is an inclusive environment that spans 170 nationalities across all six of our regions, creating a #workplace in which everyone can achieve their best, free of prejudice and with equal opportunities for all.
- #Apprentissage chez #Stellantis : c'est parti !
- #StellantisDareForward 2030
- A l’occasion de la Journée Internationale des Droits des femmes, Bruno Bertin, Directeur des Ressources Humaines #Stellantis France précise