GPT-J: Una guía completa con ejemplos

Name

Nikki Lopez

Updated on 4/6/2023

La inteligencia artificial (IA) ha experimentado avances rápidos en los últimos años. Uno de esos desarrollos destacados es GPT-J, un potente modelo de lenguaje que está revolucionando el campo del procesamiento del lenguaje natural (NLP, por sus siglas en inglés). Esta guía tiene como objetivo brindar una comprensión profunda de GPT-J, explorar sus diversas capacidades y mostrar cómo puedes aprovechar su potencial con ejemplos de código concretos.

Un acercamiento a GPT-J

GPT-J, introducido por Eleuther AI, es un modelo de 6 mil millones de parámetros que ha cambiado el juego en el ámbito de la IA. Si bien su cantidad de parámetros es inferior a la de su predecesor, GPT-3 de OpenAI (175 mil millones de parámetros), supera a GPT-3 en tareas de generación de código. Este logro es posible gracias al amplio entrenamiento en diversos textos de internet, lo que le permite predecir secuencias de texto subsiguientes. Esta habilidad única le permite manejar diversas tareas, como traducción de idiomas, completado de código, chat, redacción de publicaciones de blog y más.

Usos prácticos de GPT-J

Generación de código

GPT-J es excepcional en la generación de código funcional y de alta calidad. Dado un breve texto de entrada sobre la función del programa, puede construir el código correspondiente. Por ejemplo, puedes indicarle a GPT-J que cree una red neuronal convolucional (CNN) de 4 capas para el conjunto de datos MNIST utilizando TensorFlow, de la siguiente manera:

input = """
import tensorflow
# CNN de 4 capas con una salida softmax
# prueba en el conjunto de datos MNIST
"""

GPT-J generará el resto del código, produciendo un programa detallado para lograr la tarea.

Desarrollo de chatbots

GPT-J puede alimentar chatbots, simulando conversaciones con apariencia humana de manera efectiva. Al ingresar el diálogo de manera similar a un guion, GPT-J puede construir respuestas que mantengan el contexto de la conversación.

Considera el siguiente ejemplo:

input = """
Usuario: Hola, ¿cómo está el clima hoy?
Bot:
"""

Según la entrada, GPT-J generará una respuesta adecuada para continuar la conversación.

Escritura de historias

GPT-J también puede ayudar en tareas de escritura creativa. Si comienzas una historia, GPT-J puede continuarla en un estilo similar, convirtiéndose en una herramienta útil para escritores. Aquí tienes un ejemplo:

input = """
Érase una vez en un pueblo lejano...
"""

GPT-J generará la parte posterior de la historia, manteniendo el flujo narrativo.

Traducción de idiomas y recuperación de información

El entrenamiento de GPT-J en diversos textos, incluidos numerosos artículos científicos, le permite traducir idiomas y recuperar información específica de manera efectiva. Por ejemplo, si deseas traducir una palabra del inglés al francés o recopilar información detallada sobre un tema, GPT-J puede ayudarte. Así es cómo:

input = """
Inglés: Hola
Francés: 
"""

input = """
Entrelazamiento cuántico
"""

GPT-J proporcionará la traducción y la información respectivamente en función de estas entradas.

Interacción con GPT-J

GPT-J a través del navegador

Eleuther AI ha incorporado una API para GPT-J en su página web. Esta interfaz fácil de usar te permite ingresar texto y observar cómo el modelo lo completa. También proporciona ajustes personalizables como 'temperatura', que controla el nivel de confianza del modelo, y 'Top-P', que determina la distribución de probabilidad de la selección de la siguiente palabra.

Accede a la API a través de este enlace (opens in a new tab).

Uso de GPT-J en Google Colab

Si bien el sitio web de Eleuther AI ofrece una forma fácil de interactuar con GPT-J, restringe la longitud del texto de salida. Si deseas controlar la longitud de la salida, considera utilizar un cuaderno de Google Colab.

Aquí tienes un cuaderno de Google Colab (opens in a new tab) con GPT-J instalado. Una vez que abras el cuaderno, ejecuta todas las celdas hasta la última. La celda final te permite ajustar configuraciones como 'Top-P', 'temperatura' y texto de entrada. También puedes establecer la longitud de salida según tu preferencia.

Ejecución de GPT-J con Transformers de HuggingFace

La biblioteca de Python transformers, proporcionada por HuggingFace, ofrece una forma de ejecutar GPT-J en tu computadora. Sin embargo, ten en cuenta que esto requiere recursos computacionales sustanciales: una GPU NVIDIA con al menos 16 GB de VRAM y un mínimo de 16 GB de RAM de la CPU.

Aquí están los comandos de instalación:

pip install tensorflow # or pytorch
pip install transformers

Después de instalar los paquetes necesarios, puedes cargar el modelo y ejecutar la inferencia con el siguiente código en Python:

from transformers import GPTJForCausalLM, GPT2Tokenizer
 
tokenizer = GPT2Tokenizer.from_pretrained("EleutherAI/gpt-j-6B")
model = GPTJForCausalLM.from_pretrained("EleutherAI/gpt-j-6B")
 
prompt = "Érase una vez"
input_ids = tokenizer.encode(prompt, return_tensors="pt")
 
output = model.generate(input_ids, max_length=100, num_return_sequences=5)
 
for i in range(5):
    print(tokenizer.decode(output[i], skip_special_tokens=True))

Conclusion

Con sus poderosas capacidades y aplicaciones variadas, GPT-J está dando forma al futuro de la inteligencia artificial. Ya sea que seas un desarrollador, un escritor o un investigador, comprender y utilizar efectivamente GPT-J puede amplificar enormemente tu trabajo. Esta guía brinda los conocimientos y las herramientas necesarias para explorar y aprovechar el potencial de GPT-J. Comienza a experimentar hoy mismo y descubre las posibilidades que este modelo de IA innovador tiene para ofrecer.