Attention MechanismUn componente de red neuronal que permite que el modelo se centre en partes relevantes de la entrada al producir resultados. En los modelos de visión y lenguaje, los mecanismos de atención cruzada permiten que el modelo preste atención a regiones relevantes de la imagen al procesar texto y viceversa.
Contrastive LearningUn enfoque de aprendizaje autosupervisado que entrena modelos contrastando pares positivos (muestras coincidentes) con pares negativos (muestras no coincidentes), alentando al modelo a aprender representaciones discriminativas.
Embedding SpaceUn espacio vectorial continuo donde los puntos de datos se representan como vectores numéricos densos. En los modelos de visión-lenguaje, las imágenes y el texto se asignan a un espacio de incrustación compartido donde la similitud semántica corresponde a la proximidad geométrica.
Zero-Shot LearningLa capacidad de un modelo para realizar tareas o reconocer categorías en las que no fue entrenado explícitamente, aprovechando el conocimiento transferido del entrenamiento en tareas o datos relacionados.
Fine-TuningEl proceso de tomar un modelo previamente entrenado y entrenarlo aún más en una tarea posterior o conjunto de datos específico, adaptando sus representaciones aprendidas a nuevos requisitos.
Encoder-Decoder ArchitectureUna estructura de red neuronal que consta de un codificador que comprime la entrada en una representación latente y un decodificador que genera una salida a partir de esa representación. Se utiliza en subtítulos de imágenes donde el codificador procesa la imagen y el decodificador genera texto.
TokenizationEl proceso de dividir el texto en unidades más pequeñas (tokens), como palabras, subpalabras o caracteres que pueden ser procesados por una red neuronal. La tokenización visual divide de manera similar las imágenes en parches.
Cross-Modal TransferLa capacidad de transferir el conocimiento aprendido en una modalidad (p. ej., texto) para mejorar el desempeño en otra modalidad (p. ej., visión), aprovechando conceptos semánticos compartidos entre modalidades.
Visual GroundingLa tarea de localizar o identificar regiones específicas en una imagen que corresponden a una determinada expresión del lenguaje natural, conectando referencias textuales con contenido visual.
Multimodal FusionTécnicas para combinar información de múltiples modalidades en una representación unificada. Los enfoques comunes incluyen la fusión temprana (que combina entradas sin procesar), la fusión tardía (que combina características de alto nivel) y la fusión de atención cruzada.
Image PatchUna pequeña región rectangular de una imagen utilizada como unidad de entrada en Vision Transformers. La imagen se divide en una cuadrícula de parches que no se superponen, cada uno de los cuales se trata como un token similar a las palabras en PNL.
Pre-trainingLa fase inicial de entrenamiento de un modelo en un conjunto de datos general grande antes de realizar ajustes en tareas específicas. Los modelos de visión y lenguaje a menudo se entrenan previamente con millones de pares de imágenes y texto de Internet.
Prompt EngineeringLa práctica de elaborar indicaciones de entrada para guiar un modelo hacia los resultados deseados. En los VLM, las indicaciones de texto cuidadosamente diseñadas pueden mejorar significativamente la clasificación de disparo cero y otras tareas.
Semantic SimilarityUna medida de cuán estrechamente relacionados están los significados de dos contenidos, independientemente de su representación superficial. En los VLM, una imagen de un perro y el texto "un perro" tendrían una gran similitud semántica.
Feature ExtractionEl proceso de aprender e identificar automáticamente patrones y características importantes a partir de datos sin procesar. Los codificadores de visión extraen características visuales como bordes, texturas y formas de objetos de las imágenes.
Cosine SimilarityMétrica utilizada para medir qué tan similares son dos vectores calculando el coseno del ángulo entre ellos. En los VLM, la similitud coseno entre las incrustaciones de imagen y texto determina qué tan bien coinciden semánticamente, con valores que van desde -1 (opuesto) a 1 (idéntico).
Batch NormalizationUna técnica que normaliza las entradas a cada capa de una red neuronal, estabilizando y acelerando el entrenamiento. Ampliamente utilizado en codificadores de visión para mejorar el flujo de gradiente y permitir el entrenamiento de redes más profundas.
Transfer LearningUna técnica de aprendizaje automático en la que un modelo entrenado en una tarea se reutiliza para una tarea diferente pero relacionada. Los VLM como CLIP sobresalen en el aprendizaje por transferencia porque sus representaciones visuolingüísticas generales se pueden aplicar a muchas tareas posteriores sin capacitación específica para la tarea.
Image CaptioningLa tarea de generar automáticamente una descripción en lenguaje natural de una imagen. Esto requiere que el modelo identifique objetos, sus atributos, relaciones espaciales y actividades, y luego componga una oración gramaticalmente correcta que transmita esta información.
Self-Supervised LearningUn paradigma de entrenamiento donde el modelo aprende representaciones de datos sin etiquetar resolviendo tareas de pretexto derivadas de los datos mismos. El aprendizaje contrastivo en pares imagen-texto es una forma de aprendizaje autosupervisado que ha demostrado ser muy eficaz para los VLM.
Multimodal EmbeddingUna representación vectorial aprendida que captura información de múltiples modalidades (como imagen y texto) en un espacio compartido. Las incrustaciones multimodales permiten la recuperación intermodal, donde una consulta de texto puede encontrar imágenes relevantes o una consulta de imágenes puede encontrar descripciones de texto relevantes.
Diffusion ModelUn modelo generativo que aprende a crear datos (a menudo imágenes) eliminando gradualmente el ruido aleatorio mediante un proceso de difusión inversa aprendido. Modelos como DALL-E 2 y Stable Diffusion utilizan incrustaciones de texto CLIP para guiar la generación de imágenes a partir de descripciones de texto.
Region of Interest (ROI)Un área específica dentro de una imagen que es relevante para una tarea particular. En los modelos de visión-lenguaje, el modelo puede atender a regiones específicas de interés al responder preguntas o generar descripciones sobre contenido localizado dentro de una imagen.
Instruction TuningEntrenar un modelo de lenguaje para que siga instrucciones en lenguaje natural, haciéndolo más controlable y útil para diversas tareas. El ajuste de instrucciones visuales extiende esto a pares de instrucciones de imagen y texto.
Adapter LayerUn módulo de red neuronal liviano insertado en un modelo previamente entrenado para adaptarlo a nuevas tareas o modalidades con actualizaciones mínimas de parámetros, preservando el conocimiento del modelo original.
Vision-Language Pre-trainingEl proceso de entrenar un modelo con datos de imagen y texto a gran escala para aprender representaciones intermodales generales antes de realizar ajustes en tareas posteriores específicas.
Generative Pre-trained Transformer (GPT)Una familia de modelos de lenguaje autorregresivos que generan texto token por token. GPT-4V amplió la arquitectura para procesar también entradas visuales, creando un potente modelo de visión y lenguaje.
RLHF (Reinforcement Learning from Human Feedback)Una técnica de entrenamiento que utiliza las preferencias humanas para ajustar los modelos de IA, mejorando su utilidad y seguridad. Aplicado a modelos multimodales para mejorar la calidad de comprensión de la imagen.
Multimodal Large Language Model (MLLM)Un modelo de lenguaje grande extendido para procesar múltiples tipos de entrada (texto, imágenes, audio, video). Los ejemplos incluyen GPT-4V, Gemini y Claude, que pueden comprender y razonar sobre contenido visual junto con texto.
Few-Shot LearningLa capacidad de un modelo para aprender una nueva tarea a partir de unos pocos ejemplos, sin un reentrenamiento extenso. Los VLM como Flamingo demostraron capacidades notables de pocos disparos en diversas tareas visuales.
Visual Instruction TuningEntrenar un modelo de visión-lenguaje para que siga instrucciones en lenguaje natural sobre imágenes, como 'Describe esta imagen en detalle' o '¿Qué hay de malo en esta imagen?', iniciado por LLaVA.
Cross-AttentionUn mecanismo transformador que permite que una modalidad atienda a otra. En los VLM, la atención cruzada permite que el modelo de lenguaje preste atención a regiones relevantes de la imagen al generar respuestas de texto.
DALL-EUn sistema de inteligencia artificial de OpenAI que genera imágenes a partir de descripciones de texto, utilizando incrustaciones CLIP para guiar el proceso de generación. Demuestra la dirección inversa de la comprensión visión-lenguaje.
GroundingEl proceso de conectar conceptos del lenguaje abstracto con elementos visuales específicos en una imagen, como identificar a qué objeto en una fotografía se hace referencia mediante una frase descriptiva.
HallucinationCuando un VLM genera descripciones de objetos, atributos o relaciones que en realidad no existen en la imagen de entrada. Reducir las alucinaciones es un importante desafío de investigación en curso.
Object DetectionLa tarea de identificar y localizar objetos dentro de una imagen mediante la predicción de cuadros delimitadores y etiquetas de clase. Los VLM modernos amplían esto a la detección de vocabulario abierto mediante descripciones en lenguaje natural.
Image SegmentationDividir una imagen en regiones significativas a nivel de píxel. La segmentación semántica etiqueta cada píxel con una clase, mientras que la segmentación de instancias distingue objetos individuales de la misma clase.
Caption GenerationLa tarea de producir automáticamente una descripción en lenguaje natural del contenido de una imagen. Los sistemas de subtítulos modernos utilizan VLM para generar descripciones detalladas y contextualmente ricas que van más allá de una simple lista de objetos.
Multimodal ReasoningLa capacidad de realizar inferencias lógicas que requieren información de múltiples modalidades. Por ejemplo, responder "¿Es probable que se caiga la taza?" requiere comprender tanto la geometría de la escena visual como el razonamiento físico.
LAIONRed abierta de inteligencia artificial a gran escala: una organización sin fines de lucro que creó conjuntos masivos de datos de imágenes y texto de código abierto (LAION-5B con 5,85 mil millones de pares) utilizados para entrenar muchos modelos de visión y lenguaje.
Visual EncoderEl componente de un VLM que procesa imágenes y extrae características visuales. Las arquitecturas comunes incluyen Vision Transformers (ViT), ConvNeXt y el codificador visual CLIP.
Q-FormerUn módulo transformador liviano utilizado en BLIP-2 que une un codificador de imágenes congeladas y un modelo de lenguaje grande congelado, aprendiendo a extraer las características visuales más informativas para la generación del lenguaje.
Masked Image ModelingUna técnica de preentrenamiento autosupervisada en la que partes de una imagen se enmascaran (ocultan) y el modelo debe predecir el contenido que falta, aprendiendo representaciones visuales ricas en el proceso.