InstructGPT: o Poder Oculto por Trás do ChatGPT

Name

Kana Mikami

Updated on 06/06/2023

Você já imaginou um mundo onde a inteligência artificial pudesse ser guiada pelo feedback humano para seguir instruções com precisão? Se sim, sua imaginação se tornou realidade, graças ao InstructGPT. Desenvolvido pela OpenAI, este modelo irmão do ChatGPT (também conhecido como GPT-3.5) alinha modelos de linguagem com usuários para superar algumas das limitações comuns que frequentemente vemos em modelos de linguagem grandes, como resultados imprecisos, tóxicos ou inúteis. Mas como o InstructGPT alcança essa façanha? Vamos mergulhar mais a fundo em seus fascinantes mecanismos internos.

Descobrindo o InstructGPT

O InstructGPT usa um processo de três etapas para se alinhar com os usuários: refinamento supervisionado (SFT), treinamento do modelo de recompensa (RM) e aprendizado por reforço via otimização de política proximal (PPO). Isso pode parecer complicado a princípio, mas acompanhe-me enquanto exploramos cada uma dessas etapas.

Etapa 1: Refinamento Supervisionado (SFT)

No centro do InstructGPT está um modelo de linguagem pré-treinado, o GPT-3, que é usado como ponto de partida. O primeiro passo neste processo revolucionário envolve a coleta de dados de demonstração e o treinamento de uma política supervisionada. Em termos simples, os rotuladores humanos fornecem demonstrações do comportamento desejado na distribuição de prompt de entrada. Então, o GPT-3 é refinado usando esses dados através de aprendizado supervisionado, tornando-o mais capaz de imitar respostas humanas.

Etapa 2: Treinamento do Modelo de Recompensa (RM)

Com o modelo GPT-3 refinado, o processo passa para a segunda etapa: treinamento do modelo de recompensa. Aqui, os dados de comparação são coletados, e os rotuladores indicam sua saída preferida para cada entrada fornecida. Um modelo de recompensa é, então, treinado para prever essa saída preferida pelos humanos, refinando ainda mais a compreensão do modelo de respostas de alta qualidade.

Etapa 3: Aprendizado por Reforço via Otimização de Política Proximal (PPO)

Por fim, a política refinada é otimizada em relação ao modelo de recompensa usando uma abordagem conhecida como Otimização de Política Proximal (PPO). Essa é uma técnica de aprendizado por reforço em que a saída do modelo de recompensa é usada como uma recompensa escalar. O PPO permite que o InstructGPT otimize sua saída com base no aprendizado anterior, melhorando constantemente ao longo do tempo.

O Poder da Iteração

O que torna o InstructGPT verdadeiramente notável é seu processo iterativo. As etapas 2 e 3 - treinamento do modelo de recompensa e aprendizagem por reforço - podem ser repetidas continuamente. À medida que mais dados de comparação são coletados, um novo modelo de recompensa é treinado e, consequentemente, uma nova política é otimizada. Essa iteração contínua torna o InstructGPT incrivelmente versátil e adaptável, sempre aprendendo e melhorando com novos dados.

Geração de Dados: O Combustível para o InstructGPT

O InstructGPT é alimentado por um conjunto de dados do prompt, composto principalmente de prompts de texto enviados para a API da OpenAI. Esses prompts estão principalmente dentro de casos de uso generativos, fornecendo uma ampla variedade de cenários para o modelo aprender.

Esse processo de aprendizado iterativo baseado em feedback dá ao InstructGPT uma habilidade única de melhorar suas respostas ao longo do tempo, alinhando continuamente sua saída com as expectativas humanas. E embora seja um desenvolvimento emocionante no campo da inteligência artificial, é também o resultado de um esforço considerável de uma equipe de profissionais dedicados. Um grupo de aproximadamente 40 contratados foi recrutado para criar dados de demonstração e comparação, bem como avaliar o desempenho do modelo.

Então, agora você sabe um pouco sobre os mecanismos internos do InstructGPT e seu processo de treinamento iterativo. Na próxima seção, veremos como esse modelo se sai em comparação com seu predecessor, o GPT-3.

InstructGPT Vs. GPT-3: Uma Análise Comparativa

Para realmente apreciar o gênio do InstructGPT, é essencial comparar seu desempenho com seu predecessor, o GPT-3. Vamos considerar como o InstructGPT se destaca em áreas-chave em comparação com o GPT-3.

Entendimento Contextual Melhorado

Uma das melhorias mais significativas vistas no InstructGPT é o seu entendimento contextual. Em comparação com o GPT-3, o InstructGPT fornece saídas mais contextualmente apropriadas, aderindo melhor às restrições explícitas definidas na instrução, como "escreva sua resposta em dois parágrafos ou menos".

Confiabilidade e Controle Aprimorados

InstructGPT tem demonstrado ser mais confiável e fácil de controlar do que o GPT-3. Ele tem uma menor probabilidade de se afastar da instrução pretendida ou gerar fatos falsos, comumente referidos como 'alucinações' em tarefas de domínio fechado.

Melhor controle da veracidade e toxicidade

InstructGPT também mostrou melhorias nas áreas de veracidade e toxicidade. De acordo com avaliações no conjunto de dados TruthfulQA, modelos InstructGPT são mais verdadeiros do que seus equivalentes GPT-3. Além disso, quando instruídos a produzir saída segura e respeitosa, modelos InstructGPT geram saídas menos tóxicas do que o GPT-3, de acordo com o Perspective API.

No entanto, nem tudo são flores. InstructGPT ainda comete erros. Por exemplo, pode erroneamente assumir uma premissa falsa como verdadeira ou apresentar suas respostas de forma excessivamente cautelosa. Essas pequenas falhas nos lembram que, embora a IA tenha percorrido um longo caminho, ela não é perfeita e a melhoria contínua é fundamental.

Em conclusão, embora esteja claro que InstructGPT tem inúmeras vantagens sobre o GPT-3, seu desenvolvimento é um testemunho do poder do feedback humano na melhoria dos modelos de IA. Seu processo iterativo e orientado pelo feedback humano torna-o um modelo versátil e dinâmico que promete revolucionar o futuro da IA.

FAQ

Agora, vamos abordar algumas perguntas frequentes sobre o InstructGPT:

O que é InstructGPT?

InstructGPT é um modelo de IA desenvolvido pela OpenAI. Ele usa um processo único de três etapas, incluindo ajuste fino supervisionado (SFT), treinamento de modelo de recompensa (RM) e aprendizado por reforço via otimização de política proximal (PPO), para melhorar sua capacidade de seguir instruções.

Como InstructGPT é diferente do GPT-3?

InstructGPT mostra melhorias significativas em relação ao GPT-3 em várias áreas. Estas incluem melhor entendimento contextual, controle aprimorado de confiabilidade e controle aprimorado de veracidade e toxicidade.

InstructGPT comete erros?

Sim, InstructGPT, como qualquer modelo de IA, não é perfeito e pode cometer erros. No entanto, é projetado para aprender com esses erros e melhorar continuamente seu desempenho ao longo do tempo.