<aside> 🧠
Cómo usar este cuestionario
Antes de desplegar la respuesta, intenta justificar tu decisión en voz alta. No basta con nombrar el concepto: explica por qué aplica y, cuando corresponda, por qué descartarías las alternativas.
</aside>
Escenario: Una startup quiere crear un asistente conversacional para resolver dudas sobre trámites municipales. El desarrollador sugiere comenzar el proyecto realizando el preentrenamiento inicial de un modelo de lenguaje desde cero usando miles de GPUs durante tres meses.
Pregunta: ¿Por qué esta propuesta es ineficiente dentro del ciclo de vida de un Foundation Model y qué etapa deberías proponer en su lugar?
Escenario: Un centro de atención telefónica utiliza un modelo generativo para crear resúmenes de las llamadas de reclamos de sus clientes. El equipo técnico necesita seleccionar una métrica automática para evaluar la superposición de información entre el resumen generado y las notas del operador.
Pregunta: ¿Qué métrica automática de evaluación de texto es la opción estándar recomendada para evaluar resúmenes?
Escenario: Evalúas la respuesta de un chatbot médico. La referencia oficial dice: "El paciente debe suspender el consumo de azúcar". El modelo genera: "Es necesario que el enfermo evite ingerir carbohidratos simples". Una métrica tradicional de palabras exactas le asigna un puntaje muy bajo a la respuesta.
Pregunta: ¿Qué métrica basada en representaciones semánticas (embeddings) se debe utilizar para capturar que ambas frases comparten el mismo significado a pesar de no usar las mismas palabras?
Escenario: Un científico de datos te muestra que un modelo fundacional obtuvo el primer lugar en un benchmark estandarizado de razonamiento lógico general. El científico asegura que este resultado garantiza que el modelo funcionará de manera impecable analizando contratos de seguros de auto en la empresa.
Pregunta: ¿Por qué confiar únicamente en la calificación del benchmark es un riesgo de evaluación?