Tag Archives: Language Models

Les hallucinations des modèles de langage ne sont pas des anomalies mystérieuses mais le produit de leur entraînement et surtout de leur évaluation. Le pré-entraînement conduit à des erreurs sur les faits rares, impossibles à généraliser statistiquement. Le post-entraînement aggrave le phénomène car les benchmarks dominants notent comme à un QCM : mieux vaut deviner qu’admettre son ignorance. La solution proposée est de modifier ces évaluations pour récompenser l’expression d’incertitude et réduire les réponses fausses mais assurées. Lire la suite →