InstructGPT : la puissance cachée derrière ChatGPT

Name

Kana Mikami

Updated on 06/06/2023

Avez-vous déjà imaginé un monde où l'intelligence artificielle pourrait être guidée par les commentaires humains pour suivre des instructions avec précision ? Si c'est le cas, votre imagination est devenue réalité, grâce à InstructGPT. Développé par OpenAI, ce modèle frère de ChatGPT (également connu sous le nom de GPT-3.5) aligne les modèles de langage avec les utilisateurs pour surmonter certaines des limitations courantes que nous observons souvent dans les grands modèles de langage (LLMs), tels que des sorties mensongères, toxiques ou non utiles. Mais comment InstructGPT parvient-il à réaliser cet exploit ? Plongeons plus profondément dans son fonctionnement interne fascinant.

Analyse d'InstructGPT

InstructGPT emploie un processus en trois étapes pour s'aligner sur les utilisateurs : le réglage fin supervisé (SFT), l'entraînement du modèle de récompense (RM) et l'apprentissage par renforcement via l'optimisation de police proximale (PPO). Cela peut sembler complexe au début, mais suivez-moi alors que nous examinons chacune de ces étapes.

Étape 1 : Réglage fin supervisé (SFT)

Au cœur d'InstructGPT se trouve un modèle de langage pré-entraîné, GPT-3, qui sert de point de départ. La première étape de ce processus révolutionnaire consiste à collecter des données de démonstration et à former une politique supervisée. En termes simples, des étiqueteurs humains fournissent des démonstrations du comportement souhaité sur la distribution des demandes d'entrée. Ensuite, GPT-3 est affiné à l'aide de ces données par apprentissage supervisé, ce qui le rend plus apte à imiter les réponses humaines.

Étape 2 : Entraînement du modèle de récompense (RM)

Avec le modèle GPT-3 affiné, le processus passe à la deuxième étape : l'entraînement du modèle de récompense. Ici, des données de comparaison sont collectées et les étiqueteurs indiquent leur sortie préférée pour chaque entrée donnée. Un modèle de récompense est ensuite entraîné pour prédire cette sortie préférée par les humains, affinant ainsi davantage la compréhension du modèle des réponses de haute qualité.

Étape 3 : Apprentissage par renforcement via l'optimisation de police proximale (PPO)

Enfin, la politique affinée est optimisée par rapport au modèle de récompense à l'aide d'une approche appelée Optimisation de police proximale (PPO). Il s'agit d'une technique d'apprentissage par renforcement où la sortie du modèle de récompense est utilisée comme récompense scalaire. PPO permet à InstructGPT d'optimiser ses sorties en fonction de l'apprentissage précédent, s'améliorant constamment avec le temps.

La puissance de l'itération

Ce qui rend InstructGPT vraiment remarquable, c'est son processus itératif. Les étapes 2 et 3 - l'entraînement du modèle de récompense et l'apprentissage par renforcement - peuvent être répétées en continu. À mesure que de nouvelles données de comparaison sont collectées, un nouveau modèle de récompense est entraîné, puis une nouvelle politique est optimisée. Cette itération continue rend InstructGPT incroyablement polyvalent et adaptable, toujours en train d'apprendre et de s'améliorer à partir de nouvelles données.

Génération de jeu de données : le carburant pour InstructGPT

InstructGPT est alimenté par un jeu de données de demandes, principalement composé de demandes de texte soumises à l'API OpenAI. Ces demandes sont principalement destinées à des cas d'utilisation génératifs, fournissant une large gamme de scénarios sur lesquels le modèle peut apprendre.

Ce processus d'apprentissage itératif basé sur les commentaires confère à InstructGPT une capacité unique à améliorer ses réponses au fil du temps, en alignant continuellement sa sortie sur les attentes humaines. Et bien que cela constitue un développement passionnant dans le domaine de l'IA, c'est également le fruit d'un effort considérable de la part d'une équipe de professionnels dévoués. Environ 40 contractuels ont été recrutés pour créer des données de démonstration et de comparaison, ainsi que pour évaluer les performances du modèle.

Maintenant que vous en savez un peu plus sur le fonctionnement interne d'InstructGPT et son processus d'apprentissage itératif, dans la section suivante, nous verrons comment ce modèle se comporte et comment il se compare à son prédécesseur, GPT-3.

InstructGPT Vs GPT-3 : Une analyse comparative

Pour vraiment apprécier le génie d'InstructGPT, il est essentiel de comparer ses performances avec celles de son prédécesseur, GPT-3. Voyons comment InstructGPT se compare à GPT-3 dans plusieurs domaines clés.

Compréhension contextuelle améliorée

L'une des améliorations les plus significatives observées dans InstructGPT est sa compréhension contextuelle. Comparé à GPT-3, InstructGPT fournit des sorties qui sont plus appropriées sur le plan contextuel, respectant mieux les contraintes explicites définies dans l'instruction, telles que "Rédigez votre réponse en deux paragraphes maximum".

Fiabilité et contrôle améliorés

InstructGPT s'est avéré plus fiable et plus facile à contrôler que GPT-3. Il a une probabilité plus faible de s'écarter de l'instruction prévue ou de générer de fausses informations, communément appelées "hallucinations" dans les tâches à domaine clos.

Meilleure véracité et contrôle de la toxicité

InstructGPT a également montré des améliorations dans les domaines de la véracité et de la toxicité. Selon les évaluations sur l'ensemble de données TruthfulQA, les modèles InstructGPT sont plus véridiques que leurs homologues GPT-3. De plus, lorsqu'on leur demande de produire une sortie sûre et respectueuse, les modèles InstructGPT génèrent des résultats moins toxiques que GPT-3, selon l'API Perspective. Cependant, tout n'est pas toujours facile. InstructGPT fait encore des erreurs. Par exemple, il pourrait incorrectement supposer qu'une fausse prémisse est vraie, ou exagérer dans ses réponses. Ces petites erreurs nous rappellent que même si l'IA a parcouru un long chemin, elle n'est pas exempte de défauts, et l'amélioration continue est essentielle.

En conclusion, il est clair qu'InstructGPT présente de nombreux avantages par rapport à GPT-3, et son développement témoigne du pouvoir du retour d'information humain pour améliorer les modèles d'IA. Son processus itératif et piloté par les retours d'information humains en fait un modèle polyvalent et dynamique qui promet de révolutionner l'avenir de l'IA.

FAQ

Maintenant, abordons quelques questions fréquemment posées sur InstructGPT:

Qu'est-ce qu'InstructGPT?

InstructGPT est un modèle d'IA développé par OpenAI. Il utilise un processus unique en trois étapes, comprenant l'ajustement fin supervisé (SFT), l'entraînement du modèle de récompense (RM) et l'apprentissage par renforcement via l'optimisation des politiques proximales (PPO), pour améliorer sa capacité à suivre des instructions.

Comment InstructGPT diffère-t-il de GPT-3?

InstructGPT présente des améliorations significatives par rapport à GPT-3 dans plusieurs domaines. Celles-ci incluent une meilleure compréhension contextuelle, une meilleure fiabilité et un meilleur contrôle, ainsi qu'un meilleur contrôle de la véracité et de la toxicité.

Est-ce qu'InstructGPT fait des erreurs?

Oui, InstructGPT, comme tout modèle d'IA, n'est pas parfait et peut commettre des erreurs. Cependant, il est conçu pour apprendre de ces erreurs et améliorer continuellement ses performances au fil du temps.