<aside> 🎯

El Gran Porqué — Contexto de Negocio y Tecnológico

Construir un modelo de Inteligencia Artificial que funcione en un entorno de laboratorio es solo la mitad del trabajo. En el mundo real, un modelo que no se evalúa correctamente o que no se monitorea tras su despliegue puede colapsar en producción, generar alucinaciones costosas o arruinar la experiencia del cliente.

</aside>

En la certificación AWS Certified AI Practitioner, el Ciclo de vida de IA/ML y las Métricas de Evaluación te enseñan a tomar decisiones técnicas y de negocio para responder preguntas cruciales: ¿Cómo sabemos si un modelo es adecuado antes de lanzarlo? ¿Cómo medimos la calidad de un resumen o una traducción? ¿Por qué un modelo con un desempeño técnico perfecto puede ser un fracaso de negocio si su costo por interacción es desmedido?

🔑 Conceptos Clave

CICLO DE VIDA DE UN FOUNDATION MODEL

📚 Datos ──► 🧠 Modelo ──► 🏋️ Preentrenamiento ──► 🎯 Fine-Tuning
   ▲                                                  │
   │                                                  ▼
💬 Retroalimentación ◄── 🚀 Despliegue ◄── 📊 Evaluación

🔄 El Ciclo de Vida de un Foundation Model — Un Proceso Cíclico e Iterativo

🧠 Lo que debes entender realmente: Operar un modelo no es solo "entrenar código"; es un ciclo continuo compuesto por 7 etapas interconectadas:

  1. Selección de Datos: Recopilar datos considerando su calidad, diversidad y volumen.
  2. Selección del Modelo: Decidir la arquitectura y tamaño según el balance entre capacidad, costo y objetivo.
  3. Preentrenamiento: El entrenamiento inicial masivo donde el modelo aprende patrones generales. Es la etapa más costosa en tiempo y cómputo.
  4. Fine-tuning: Especializar el modelo preentrenado con un dataset más pequeño y específico.
  5. Evaluación: Medir el desempeño mediante benchmarks y métricas antes de ir a producción.
  6. Despliegue: Poner el modelo a disposición mediante APIs administradas o autoalojadas.
  7. Retroalimentación: Recopilar calificaciones de usuarios, correcciones y fallas en producción para alimentar futuros ciclos de mejora.

💡 Analogía

Imagina a un atleta profesional. Primero selecciona su dieta y disciplina (Selección de datos y modelo), hace años de preparación física general desde niño (Preentrenamiento), luego se especializa en salto con garrocha (Fine-tuning), compite en torneos locales para medir sus tiempos (Evaluación), va a los Juegos Olímpicos (Despliegue) y analiza los videos de sus saltos fallidos con su entrenador para ajustar su técnica para la siguiente temporada (Retroalimentación).

<aside> ⚠️

Ojo para el examen: El ciclo de vida es iterativo, no lineal. La retroalimentación de producción sirve para activar nuevos ciclos de ajuste y reentrenamiento.

</aside>

📝 Métricas de Texto Generativo — ROUGE, BLEU y BERTScore

🧠 Lo que debes entender realmente: No existe una sola métrica para medir la calidad de un modelo generativo. Debes conocer el propósito exacto de cada un: