<aside> 🎯

Contexto

Utilizar un Foundation Model tal como viene de fábrica no siempre es suficiente para resolver los problemas reales de una organización. En muchos escenarios, el modelo necesita comprender la jerga profunda de una industria, seguir formatos de respuesta estrictos o ser mucho más rápido y económico para operar a gran escala.

</aside>

En la certificación AWS Certified AI Practitioner, este bloque evalúa tu capacidad para decidir cuándo y cómo adaptar un modelo (desde la curación de datos hasta la selección de técnicas como Instruction Tuning o Model Distillation) y cómo medir rigurosamente si los cambios funcionan, distinguiendo la calidad técnica del modelo del impacto financiero y la efectividad de la aplicación completa en producción.

🔑 Conceptos Clave

ESPECTRO DE ADAPTACIÓN Y PERSONALIZACIÓN

Menor Costo/Esfuerzo ─────────────────────────────────────────► Mayor Costo/Esfuerzo
[ In-Context Learning ] ──► [ RAG ] ──► [ Fine-Tuning ] ──► [ Distillation ] ──► [ Pre-Training ]
   (In-Prompt / No Mod)       (Información)   (Comportamiento)    (Maestro/Est.)      (Desde Cero)

🧠 Pre-training vs. Continuous Pre-training vs. Fine-tuning

Lo que debes entender realmente: Entrenar un modelo no es un proceso único; existen tres etapas en el espectro de aprendizaje:

• Pre-training: Es el entrenamiento inicial y masivo donde el modelo aprende patrones generales del lenguaje con cantidades masivas de datos. Es la etapa más costosa en tiempo y cómputo de todo el ciclo de vida y no tiene sentido repetirla desde cero para la mayoría de las organizaciones.
• Continuous Pre-training: Consiste en continuar entrenando un modelo preentrenado con datos adicionales masivos para ampliar o actualizar su base de conocimiento general.
• Fine-tuning: Toma un modelo preentrenado y utiliza un conjunto de datos más pequeño y específico para especializar su comportamiento, estilo o tono.

💡 Analogía

• Pre-training: Cursar la educación básica y la secundaria para aprender a leer, escribir, razonar y adquirir cultura general del mundo.
• Continuous Pre-training: Leer la biblioteca entera de derecho constitucional para incorporar un volumen masivo de conocimiento legal antes de ejercer.
• Fine-tuning: Hacer una residencia supervisada para aprender a redactar demandas judiciales siguiendo el formato y estilo estricto de un tribunal.

<aside> 📌

Atajo mental para el examen

Pre-training → Crear el conocimiento general inicial.

Continuous pre-training → Ampliar o actualizar el conocimiento general.

Fine-tuning → Especializar el comportamiento en una tarea o dominio.

</aside>

🎯 Enfoques de Fine-tuning — Instruction Tuning, Transfer Learning, Domain Adaptation y RLHF

Lo que debes entender realmente: Cuando decides hacer fine-tuning, el método depende de lo que quieras lograr con el modelo:

• Instruction Tuning: Utiliza datasets estructurados del tipo Instrucción → Respuesta esperada para que el modelo aprenda a seguir instrucciones en lenguaje natural y respetar formatos específicos.
• Domain Adaptation: Especializa al modelo en el vocabulario, estilo de redacción y patrones propios de una industria específica (salud, finanzas, seguros).
• Transfer Learning: Es el principio científico de reutilizar conocimiento adquirido previamente para aprender una nueva tarea relacionada sin empezar desde cero (una técnica clásica de ML).
• RLHF (Reinforcement Learning from Human Feedback): Incorpora las preferencias expresadas por revisores humanos como señal para alinear y mejorar el comportamiento del modelo.