Arquitectura y funcionamiento de BERT (Representaciones de codificador bidireccional de transformadores)

Vista previa del material en texto

Recursos lingüísticos y corpus etiquetados: Arquitectura y funcionamiento de BERT (Representaciones de codificador bidireccional de transformadores)
BERT (Bidireccional Encoder Representaciones de Transformadores) es un modelo de lenguaje contextual preentrenado que ha logrado un gran éxito en diversas tareas de Procesamiento del Lenguaje Natural (PLN). Fue propuesto por Jacob Devlin y sus colegas de Google AI Language en 2018. La arquitectura de BERT es una variante de los transformadores que ha demostrado ser altamente eficiente para aprender representaciones contextualizadas de palabras y oraciones.
1. Arquitectura de BERT
BERT utiliza la arquitectura de codificador bidireccional de transformadores. Esta arquitectura difiere del modelo de lenguaje de izquierda a derecha tradicional al procesar la información en ambos sentidos (de izquierda a derecha y de derecha a izquierda) simultáneamente. Esto le permite capturar tanto el contexto anterior como el posterior para cada palabra, lo que mejora significativamente la comprensión contextual de las palabras en una oración.
2. Mecanismo de atencion de transformadores
Para entender el funcionamiento de BERT, es esencial comprender el mecanismo de atención de los transformadores, que es la base de su arquitectura. La atención es un mecanismo mediante el cual el modelo asigna pesos a cada palabra en función de su relevancia para una palabra objetivo dentro de una secuencia. Los pesos de atención determinan qué palabras contribuyen más a la representación de la palabra objetivo.
El mecanismo de atención de BERT utiliza tres tipos de representaciones clave:
Representación de consulta (Query) : Es la representación de la palabra objetivo para la cual se está calculando la atención.
Representación de clave (Key) : Son las representaciones de las palabras dentro de la secuencia que se están comparando con la palabra objetivo para calcular su relevancia.
Representación de valor (Value) : Son las representaciones finales que se utilizan en el cálculo del resultado de la atención.
3. Proceso de codificación de BERT
El proceso de codificación de BERT se divide en dos etapas: preentrenamiento y ajuste fino (fine-tuning).
Preentrenamiento : En esta etapa, BERT se entrena en un gran corpus de texto sin etiquetar. El objetivo es aprender representaciones contextualizadas de palabras. El modelo se entrena para predecir las palabras enmascaradas en una oración usando la atención bidireccional. Además, BERT también se entrena en una tarea de clasificación binaria que implica discernir si dos oraciones son contiguas o no. Este preentrenamiento captura el conocimiento general sobre el lenguaje.
Ajuste fino (Fine-tuning) : Después del preentrenamiento, BERT se ajusta a tareas utilizando datos especificados etiquetados. Por ejemplo, para la traducción automática, el modelo se ajusta a un conjunto de datos de pares de oraciones en diferentes idiomas. Durante el ajuste fino, las últimas capas del modelo se adaptan para que se adapten mejor a la tarea específica, mientras que las capas anteriores se conservan intactas, ya que han aprendido representaciones contextuales generales del lenguaje.
4. Ejemplo de aplicación de BERT
# Ejemplo de uso de BERT para clasificación de texto utilizando la biblioteca Transformers en Python
from transformers import BertTokenizer, BertForSequenceClassification
import torch
# Oraciones de ejemplo
sentence1 = "Este restaurante tiene la mejor comida."
sentence2 = "El servicio fue pésimo y la comida no estaba buena."
# Cargar el tokenizador y el modelo BERT preentrenado en español para clasificación de texto
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')
# Tokenizar las oraciones
tokens1 = tokenizer.tokenize(sentence1)
tokens2 = tokenizer.tokenize(sentence2)
# Convertir los tokens en ids numéricos
input_ids1 = tokenizer.convert_tokens_to_ids(tokens1)
input_ids2 = tokenizer.convert_tokens_to_ids(tokens2)
# Convertir los ids en tensores de PyTorch
input_ids1 = torch.tensor([input_ids1])
input_ids2 = torch.tensor([input_ids2])
# Obtener la salida del modelo para las dos oraciones
with torch.no_grad():
 outputs1 = model(input_ids1)
 outputs2 = model(input_ids2)
# Obtener la etiqueta predicha (0 o 1) y la probabilidad de la clasificación
label1 = torch.argmax(outputs1[0]).item()
prob1 = torch.softmax(outputs1[0], dim=1).max().item()
label2 = torch.argmax(outputs2[0]).item()
prob2 = torch.softmax(outputs2[0], dim=1).max().item()
# Imprimir los resultados
print(f"Oración 1: {sentence1}")
print(f"Etiqueta predicha: {label1}, Probabilidad: {prob1:.2f}")
print(f"\nOración 2: {sentence2}")
print(f"Etiqueta predicha: {label2}, Probabilidad: {prob2:.2f}")
En este ejemplo, utilizamos BERT para clasificar dos oraciones como positivas o negativas en función del sentimiento. El modelo asigna una etiqueta predicha (0 o 1) y una probabilidad de clasificación para cada oración. Los modelos de lenguaje contextual como BERT han demostrado un alto rendimiento en tareas de clasificación de texto como esta.
En resumen, BERT es un modelo de lenguaje contextual preentrenado que ha revolucionado el campo del Procesamiento del Lenguaje Natural. Su arquitectura de codificador bidireccional de transformadores y su capacidad para capturar el contexto y la semántica del lenguaje humano lo han convertido en una poderosa herramienta para una amplia gama de aplicaciones en PLN. Con BERT y otros modelos de lenguaje contextual similares, las aplicaciones de PLN se han vuelto más precisas y mejoradas, abriendo nuevas posibilidades para la inteligencia artificial en el procesamiento y comprensión del lenguaje humano.