Módulo 1: Decision Framework para Acceso a LLMs

Mini-Proyecto: Evaluación de Requisitos - E-commerce Chatbot

Descripción del proyecto

Este es el proyecto integrador del Módulo 1. Aplicarás todo el framework de decisión aprendido (5 dimensiones, panorama de opciones, matriz de decisión, trade-offs) a un caso real completo.

No escribirás código en este proyecto. El objetivo es que tomes una decisión informada sobre qué proveedor usar ANTES de implementar. Esta es la habilidad más valiosa: decidir bien la primera vez.

El proyecto simula una situación real: eres el tech lead de una startup y debes elegir proveedor LLM para el chatbot de soporte. Tienes requisitos específicos, stakeholders con opiniones diferentes, y budget limitado.

Al finalizar este proyecto:

✅ Habrás aplicado el framework completo (no solo teoría)
✅ Tendrás scorecard documentado con decisión justificada
✅ Sabrás defender tu elección con datos
✅ Tendrás plan de fallback para contingencias

🎯 Objetivo del proyecto

Objetivo: Evaluar requisitos de un proyecto e-commerce y elegir proveedor LLM óptimo usando el framework de decisión del Módulo 1.

Entregables:

Scorecard de evaluación (5 dimensiones completadas)
Decisión final justificada (proveedor + por qué)
Trade-offs aceptados (qué ganas, qué pierdes)
Plan de fallback (qué haces si falla)

📋 Contexto del Proyecto

Empresa: ShopFast (E-commerce mediano)

Descripción:

E-commerce de electrónica en LATAM
50,000 usuarios registrados
5,000 transacciones/mes
Equipo: 15 personas (3 devs backend, 2 frontend, 1 DevOps junior)
Fundada hace 2 años, Series A ($2M funding)

Situación actual:

Soporte por email: ~300 tickets/día
Tiempo respuesta: 12-24 horas
Customer satisfaction: 6.5/10
Costo soporte: $15k/mes (2 agentes full-time)

Problema:

Usuarios quieren respuestas instantáneas
Competencia tiene chatbots 24/7
Perdiendo conversiones por soporte lento

🎯 Objetivo del Chatbot

Funcionalidad esperada:

Preguntas frecuentes (80% de tickets)
- "¿Cuál es el estado de mi pedido?"
- "¿Tienen el iPhone 14 en stock?"
- "¿Cuáles son los métodos de pago?"
- "¿Hacen envíos a [ciudad]?"
Recomendaciones de productos (15% de tickets)
- "Necesito laptop para diseño, ¿cuál me recomiendas?"
- "¿Qué diferencia hay entre modelo X y Y?"
Escalación a humano (5% de tickets complejos)
- "Quiero devolver un producto defectuoso"
- "No llegó mi pedido después de 15 días"

Métricas de éxito:

Resolver 70% de consultas sin humano
Reducir tiempo respuesta a <30 segundos
Aumentar customer satisfaction a 8/10
Reducir costo soporte a $10k/mes (recuperar 1 agente)

📊 Requisitos Técnicos

Volumen esperado:

Usuarios activos: 5,000/día
Queries al chatbot: ~15,000/día (3 queries/usuario promedio)
Pico: Black Friday (10x tráfico normal = 150,000 queries/día)
Crecimiento: 20% mensual esperado

Características necesarias:

Respuestas en español (LATAM)
Integración con sistema de inventario (API REST)
Integración con sistema de órdenes (tracking)
Contexto conversacional (recordar mensajes anteriores)
Escalación automática a agente humano si no resuelve

Restricciones:

Latency: <2 segundos (usuarios no esperan más)
Accuracy: 85%+ (soporte no crítico, pero debe ser útil)
Disponibilidad: 99.5% uptime (24/7 excepto mantenimientos)

💰 Budget y Recursos

Budget disponible:

Setup inicial: $5,000 (one-time)
Operativo mensual: $1,500/mes
Total primer año: $23,000 ($5k setup + $1.5k × 12 meses)

Justificación del budget:

Costo actual soporte: $15k/mes
Costo objetivo con chatbot: $10k/mes (ahorro $5k/mes)
Budget chatbot: $1.5k/mes
ROI: Ahorro neto $3.5k/mes = $42k/año

Equipo disponible:

Lead dev backend: María (5 años exp, Python/FastAPI expert)
Dev backend junior: Carlos (1 año exp, Python básico)
DevOps junior: Ana (2 años exp, Docker/AWS básico)
Disponibilidad: 2 semanas full-time para setup, luego mantenimiento 20% time

Skills del equipo:

Python: ✅ Fuerte (María), ⚠️ Básico (Carlos)
FastAPI: ✅ Fuerte (María)
Docker: ⚠️ Básico (Ana)
AWS: ⚠️ Básico (Ana)
DevOps avanzado: ❌ No tienen
ML/AI: ❌ Cero experiencia

🔐 Datos y Privacidad

Tipo de datos:

Queries de usuarios: NO sensibles (preguntas sobre productos)
Datos de órdenes: Parcialmente sensibles (número orden, status)
- NO incluye: Tarjetas, direcciones completas, datos personales
- Solo: Order ID, status, fecha estimada entrega
Inventario: NO sensible (público en web)

Compliance:

GDPR: NO aplica (usuarios LATAM, no EU)
LGPD: Aplica (Brasil), pero datos procesados son públicos
Contratos: Sin cláusulas especiales de privacidad con clientes

Política interna:

Preferencia por data on-premise (no obligatorio)
Legal aprobó uso de cloud providers USA (OpenAI, Google, etc.)
Restricción: No enviar PII (emails, teléfonos, direcciones)

Conclusión: Privacidad es IMPORTANTE pero NO crítica (datos mayormente públicos).

⚡ Expectativas de Stakeholders

CEO (Pedro):

"Necesito esto RÁPIDO, tenemos que lanzar antes de fin de trimestre"
Timeline: 4-6 semanas máximo
Prioridad: Simplicidad y velocidad de implementación

CFO (Laura):

"Budget de $1.5k/mes es límite estricto, no podemos pasarnos"
ROI debe ser positivo primer año
Prioridad: Costo bajo y predecible

CTO (Roberto, tu jefe):

"Prefiero solución que el equipo pueda mantener sin contratar"
Preocupación: Complejidad operativa
Prioridad: Mantenibilidad y team skills match

Head of Support (Claudia):

"Debe responder bien, si da respuestas malas perdemos clientes"
Accuracy mínimo: 85%
Prioridad: Calidad de respuestas

Tu rol: Balancear expectativas y elegir opción que cumpla la mayoría.

📝 Tu Tarea: Evaluación Completa

Paso 1: Scorecard de 5 Dimensiones

Completa este scorecard:

## Scorecard: ShopFast E-commerce Chatbot

### 1. Costo
**Presupuesto disponible:**
- Setup: $______
- Mensual: $______/mes
- Límite estricto: SÍ / NO

**Volumen esperado:**
- Queries/día: ______
- Queries/mes: ______
- Picos: ______ (Black Friday)

**Cálculo de costo estimado por proveedor:**

OpenAI API (GPT-3.5):
- 15k queries × 500 tokens × $0.002/1k × 30 días = $____/mes
- Black Friday (10x): $____/mes (1 día)
- ¿Dentro de budget?: SÍ / NO

Ollama local:
- Costo operativo: $0
- Hardware upfront: $______ (¿dentro de $5k setup?)
- Mantenimiento (DevOps time): $____/mes
- ¿Dentro de budget?: SÍ / NO

[Repite para OpenRouter, Modal...]

**Prioridad:** CRÍTICA / IMPORTANTE / SECUNDARIA

**Justificación:**
[Escribe por qué es crítica/importante/secundaria para este proyecto]

---

### 2. Calidad
**Accuracy necesario:** _____%
**¿Necesito reasoning complejo?:** SÍ / NO
**Context window necesario:** ____ tokens
**Idioma:** Español (LATAM)

**Evaluación por modelo:**

GPT-3.5 (OpenAI):
- Accuracy: ~90% (benchmark público)
- Español: ✅ Excelente
- Context: 16k tokens
- ¿Cumple 85% requirement?: SÍ / NO

Mistral 7B (Ollama local):
- Accuracy: ~80-85%
- Español: ✅ Bueno (entrenado con español)
- Context: 8k tokens
- ¿Cumple 85% requirement?: SÍ / NO (borderline)

[Repite para otros modelos...]

**Prioridad:** CRÍTICA / IMPORTANTE / SECUNDARIA

**Justificación:**
[Escribe por qué]

---

### 3. Privacidad
**Tipo de datos:** SENSIBLES / NORMALES / PÚBLICOS
**Compliance obligatorio:** GDPR / HIPAA / LGPD / NINGUNO
**¿Puede ir a cloud?:** SÍ / NO
**Restricciones:**
- [Lista restricciones específicas]

**Evaluación:**

OpenAI API:
- Data retention: 30 días
- Training: NO (opt-out default)
- ¿Cumple requisitos?: SÍ / NO

Ollama local:
- Data retention: NUNCA (local)
- Training: NUNCA
- ¿Es overkill para este proyecto?: SÍ / NO

**Prioridad:** CRÍTICA / IMPORTANTE / SECUNDARIA

**Justificación:**
[Escribe por qué]

---

### 4. Velocidad
**Latency aceptable:** ____ segundos
**Requests simultáneos:** ______
**¿Necesito streaming?:** SÍ / NO

**Evaluación:**

OpenAI API:
- Latency: ~1.5s (GPT-3.5)
- ¿Cumple <2s?: SÍ / NO
- Throughput: Alto (rate limits 3500 req/min)

Ollama local:
- Latency: ~5-10s (depende hardware)
- ¿Cumple <2s?: SÍ / NO
- Throughput: Bajo (necesita múltiples instancias)

**Prioridad:** CRÍTICA / IMPORTANTE / SECUNDARIA

**Justificación:**
[Escribe por qué]

---

### 5. Simplicidad
**Tiempo disponible:** ____ semanas
**Skills del equipo:** JUNIOR / MID / SENIOR
**¿Quién mantiene?:** NADIE / EQUIPO PEQUEÑO / DEDICADO

**Evaluación:**

OpenAI API:
- Setup time: <1 semana (María puede hacerlo)
- Mantenimiento: Bajo (managed)
- ¿Equipo puede mantenerlo?: SÍ / NO

Ollama local:
- Setup time: 2-3 semanas (necesita DevOps avanzado)
- Mantenimiento: Alto (monitoring, updates)
- ¿Equipo puede mantenerlo?: SÍ / NO (Ana es junior)

**Prioridad:** CRÍTICA / IMPORTANTE / SECUNDARIA

**Justificación:**
[Escribe por qué]

Paso 2: Identifica Dimensiones Críticas

De las 5 dimensiones, elige 2-3 que son NO NEGOCIABLES:

## Dimensiones CRÍTICAS (2-3 máximo):

1. _____________ es CRÍTICA porque _______________________
2. _____________ es CRÍTICA porque _______________________
3. _____________ es CRÍTICA porque _______________________

## Dimensiones IMPORTANTES (las demás):

- _____________ es importante pero negociable
- _____________ es importante pero negociable

## Dimensiones SECUNDARIAS:

- _____________ es nice-to-have

Paso 3: Aplica Matriz de Decisión

Busca en la matriz de decisión (cápsula 04) la combinación que match:

## Búsqueda en Matriz

**Mis dimensiones CRÍTICAS:** _______ + _______

**Match en matriz:**
- Caso X: _______ + _______ → Proveedor: _______

**¿Hay match exacto?:** SÍ / NO

**Si NO hay match exacto, candidatos:**
1. Proveedor: _______ (cumple dimensión 1 + 2)
2. Proveedor: _______ (cumple dimensión 1 + 3)
3. Proveedor: _______ (cumple dimensión 2 + 3)

Paso 4: Evalúa Trade-offs

Para tu opción recomendada, lista trade-offs:

## Opción Recomendada: _____________

### ✅ Qué GANAS:
- Dimensión 1: _______________________
- Dimensión 2: _______________________
- Dimensión 3: _______________________

### ⚠️ Qué PIERDES (trade-offs):
- Dimensión A: _______________________ (aceptable porque _______)
- Dimensión B: _______________________ (aceptable porque _______)

### 🤔 ¿Trade-offs son aceptables?
[Escribe análisis: por qué los trade-offs son OK dado el contexto]

Paso 5: Decisión Final Justificada

## DECISIÓN FINAL

**Proveedor elegido:** _____________

**Justificación en 3 párrafos:**

[Párrafo 1: Por qué esta opción cumple dimensiones críticas]

[Párrafo 2: Cómo los trade-offs son aceptables dado contexto]

[Párrafo 3: Por qué otras opciones NO funcionan]

**Stakeholders:**
- CEO (velocidad): ✅ / ❌ [Cómo cumple/no cumple su expectativa]
- CFO (costo): ✅ / ❌ [Dentro/fuera de budget]
- CTO (mantenibilidad): ✅ / ❌ [Equipo puede/no puede mantenerlo]
- Head Support (calidad): ✅ / ❌ [Accuracy suficiente/insuficiente]

**Balance:** __/4 stakeholders satisfechos

Paso 6: Plan de Fallback

## Plan de Fallback

**Opción principal:** _____________

**Triggers para activar fallback:**
1. Si _______________ (ej: OpenAI sube precio 50%)
2. Si _______________ (ej: Latency > 5s por 10 min)
3. Si _______________ (ej: Budget se reduce a $500/mes)

**Opción de fallback:** _____________

**Cómo migrarías:**
- Tiempo estimado: ____ semanas
- Costo de migración: $______
- Código reutilizable: ____%
- Risk: BAJO / MEDIO / ALTO

✅ Rúbrica de Auto-Evaluación

Evalúa tu trabajo:

1. Scorecard completo (30 puntos)

(10 pts) Las 5 dimensiones tienen valores cuantitativos (no "alto/bajo", sino números)
(10 pts) Calculé costo estimado para AL MENOS 2 proveedores
(10 pts) Justifiqué por qué cada dimensión es crítica/importante/secundaria

2. Decisión justificada (40 puntos)

(15 pts) Identifiqué 2-3 dimensiones críticas con razón clara
(15 pts) Decisión final tiene 3 párrafos de justificación (no solo "elegí X")
(10 pts) Evalué satisfacción de 4 stakeholders (CEO, CFO, CTO, Support)

3. Trade-offs explícitos (20 puntos)

(10 pts) Listé QUÉ gano con mi elección
(10 pts) Listé QUÉ pierdo (trade-offs) y POR QUÉ son aceptables

4. Plan de fallback (10 puntos)

(5 pts) Tengo opción B clara
(5 pts) Tengo triggers específicos (no "si algo sale mal")

Total: ___/100 puntos

Interpretación:

90-100: ✅ Excelente, entendiste el framework completamente
70-89: ⚠️ Bueno, pero falta profundidad en justificación
50-69: ⚠️ Aceptable, revisita cápsulas 02-04
<50: ❌ Insuficiente, vuelve a leer módulo completo

📊 Solución de Referencia

Ver solución recomendada (solo después de completar tu evaluación)

Solución de Referencia: ShopFast Chatbot

Scorecard Completado:

1. Costo:

Budget: $5k setup + $1.5k/mes (LÍMITE ESTRICTO)
Volumen: 15k queries/día × 30 = 450k queries/mes
Tokens promedio: 500 tokens/query

Cálculos:

OpenAI GPT-3.5:

450k queries × 500 tokens = 225M tokens/mes
225M tokens × $0.002/1k = $450/mes
Black Friday (10x): $4500 ese día
✅ DENTRO DE BUDGET ($450 << $1500)

Ollama Mistral 7B local:

Operativo: $0
Hardware: $2000 (GPU) ✅ Dentro de $5k setup
Mantenimiento (Ana 20% time): ~$800/mes
✅ DENTRO DE BUDGET ($800 < $1500)

Prioridad: IMPORTANTE (CFO exige, pero hay margen)

2. Calidad:

Accuracy necesario: 85%+
Español: Obligatorio

GPT-3.5: ~90% accuracy, español excelente ✅ Mistral 7B: ~80-85% accuracy, español bueno ⚠️ (borderline)

Prioridad: IMPORTANTE (Head Support exige 85%+)

3. Privacidad:

Datos: Mayormente públicos (FAQs, productos)
Order IDs: No sensibles (solo status, no PII)
Legal: Aprobó cloud USA

Prioridad: SECUNDARIA (nice-to-have on-premise, NO obligatorio)

4. Velocidad:

Latency: <2s (usuarios e-commerce no esperan)
Queries simultáneos: ~200 peak hour

OpenAI: ~1.5s ✅ Ollama local: ~5-10s ❌ (con hardware modesto)

Prioridad: CRÍTICA (UX e-commerce requiere respuestas instantáneas)

5. Simplicidad:

Timeline: 4-6 semanas (CEO deadline)
Equipo: María (senior), Carlos (junior), Ana (junior DevOps)

OpenAI: Setup 1 semana ✅ Ollama: Setup 2-3 semanas ⚠️ (Ana es junior, necesita ayuda)

Prioridad: CRÍTICA (deadline apretado, equipo con skills gap)

Dimensiones CRÍTICAS:

Velocidad (<2s latency, no negociable para UX e-commerce)
Simplicidad (deadline 6 semanas, equipo junior en AI)

Dimensiones IMPORTANTES:

Costo ($1.5k/mes límite, pero $450-800 está OK)
Calidad (85%+ necesario)

Dimensiones SECUNDARIAS:

Privacidad (nice-to-have, NO crítica)

Búsqueda en Matriz:

Dimensiones críticas: Velocidad + Simplicidad

Match: Caso 2 (Calidad + Velocidad) → OpenAI API

(No hay match exacto "Velocidad + Simplicidad", pero Caso 2 es el más cercano)

Decisión Final: OpenAI API (GPT-3.5-turbo)

Justificación:

Párrafo 1 - Cumple dimensiones críticas:

OpenAI API cumple las 2 dimensiones críticas sin compromiso. Velocidad: ~1.5s latency (dentro de <2s requirement) con infraestructura global que garantiza baja latency en LATAM. Simplicidad: María puede implementar en 1 semana (setup OpenAI SDK + FastAPI wrapper + integración con inventario), cumpliendo deadline de 6 semanas con margen. El equipo junior (Carlos, Ana) puede mantenerlo porque es servicio managed (cero DevOps, cero GPU tuning, cero Linux avanzado).

Párrafo 2 - Trade-offs aceptables:

Los trade-offs son mínimos y aceptables. Costo: $450/mes está muy por debajo del límite de $1.5k/mes (70% de margen). Calidad: GPT-3.5 tiene ~90% accuracy, superando el 85% mínimo requerido por Head of Support. Privacidad: Datos van a cloud USA, pero Legal aprobó explícitamente y los datos procesados son mayormente públicos (FAQs, inventario, order status sin PII). Black Friday (10x tráfico) cuesta $4.5k ese día, pero sigue siendo break-even vs costo actual de soporte ($15k/mes).

Párrafo 3 - Por qué otras opciones NO:

Ollama local fue considerado pero rechazado por 3 razones: (1) Latency de 5-10s con hardware modesto NO cumple <2s requirement crítico, (2) Setup de 2-3 semanas consume mitad del timeline y Ana (DevOps junior) necesitaría mentoría que no tenemos, (3) Mistral 7B tiene 80-85% accuracy (borderline del mínimo). OpenRouter fue considerado pero OpenAI directo es más simple (una API menos, latency 100ms menor). Modal fue descartado porque añade complejidad innecesaria (cold starts) cuando OpenAI managed ya escala automáticamente.

Satisfacción de Stakeholders:

✅ CEO (Pedro): Cumple deadline (1 semana setup vs 6 disponibles)
✅ CFO (Laura): $450/mes << $1.5k budget ($1050/mes de margen)
✅ CTO (Roberto): Equipo puede mantenerlo sin contratar
✅ Head Support (Claudia): 90% accuracy > 85% mínimo

Balance: 4/4 stakeholders satisfechos ✅

Plan de Fallback:

Opción principal: OpenAI API (GPT-3.5)

Triggers:

Si OpenAI sube precio 3x: ($450/mes → $1350/mes acerca al límite)
- Acción: Migrar a OpenRouter con modelos económicos ($0.001/1k = $225/mes)
- Timeline: 1 semana (API compatible, drop-in replacement)
Si latency degrada >3s por 24hrs:
- Acción inmediata: Switch a OpenRouter con GPT-3.5 (mismo modelo, infraestructura diferente)
- Acción long-term: Evaluar Modal serverless (warm instances ~1s)
Si requisitos de privacidad cambian (nuevo cliente enterprise con cláusula on-premise):
- Acción: Migrar a Ollama local (plan B ya evaluado)
- Timeline: 4-6 semanas
- Costo: $2k hardware + contratar DevOps senior temp ($5k/mes por 2 meses)

Preparación:

Abstraer llamadas a OpenAI en interface LLMProvider (facilita swap)
Monitorear latency y costo diariamente (alertas automáticas)
Tener cuenta OpenRouter pre-configurada (activar en <1 hora si needed)

📝 Reflexión Final

Después de completar tu evaluación y comparar con la solución de referencia:

Preguntas de reflexión:

¿Tu decisión final fue diferente?
- Si SÍ: ¿Por qué priorizaste dimensiones diferentes?
- Si NO: ¿Llegaste a la misma conclusión por el mismo razonamiento?
¿Identificaste las mismas dimensiones críticas?
- Si NO: ¿Por qué consideraste otras más importantes?
¿Tu justificación incluyó números específicos?
- Ejemplo bueno: "$450/mes está 70% por debajo del límite de $1.5k"
- Ejemplo malo: "El costo es aceptable"
¿Evaluaste satisfacción de stakeholders?
- Muchas decisiones "técnicamente correctas" fallan porque ignoran stakeholders
¿Tienes plan de fallback viable?
- O asumiste que tu primera opción funcionará siempre?

🎯 Criterios de Éxito

Completaste exitosamente este proyecto cuando:

✅ Aplicaste el framework sistemáticamente:

No elegiste por "feeling" o popularidad
Usaste scorecard estructurado
Identificaste dimensiones críticas con razón

✅ Decisión está justificada con datos:

Números específicos ($/mes, latency ms, accuracy %)
No solo "OpenAI es bueno"
Comparaste AL MENOS 2 opciones

✅ Trade-offs son explícitos:

Sabes QUÉ ganas y QUÉ pierdes
Justificas POR QUÉ trade-offs son aceptables

✅ Plan de fallback existe:

Tienes opción B clara
Triggers específicos (no vagos)
Sabes cómo migrar si necesario

Si cumples los 4 criterios: ✅ APROBASTE el Módulo 1

Estás listo para módulos 2-8 (implementación técnica con proveedores específicos).

🔗 Recursos adicionales

Decision Framework Template (Google Doc) - Template reutilizable para futuros proyectos
ShopFast Case Study (Full) - Análisis extendido con más escenarios
LLM Decision Calculator - Herramienta interactiva
ROI Calculator for AI Projects - Calcula retorno inversión

➡️ Próximo paso

¡Felicitaciones! Completaste el Módulo 1: Decision Framework

Ahora sabes:

✅ Evaluar proyectos según 5 dimensiones
✅ Aplicar matriz de decisión
✅ Justificar decisiones con datos
✅ Identificar trade-offs
✅ Crear planes de fallback

Siguiente módulo: Módulo 2: OpenAI API

En Módulo 2, aprenderás a IMPLEMENTAR tu decisión. Si elegiste OpenAI API en tu proyecto, empezarás con setup, API keys, primeros requests, y construirás el chatbot funcionando.

Si elegiste otro proveedor (Ollama, Modal, etc.), puedes saltar directamente a ese módulo. O seguir secuencialmente para aprender todas las opciones.

Tiempo estimado: 60-90 minutos
Siguiente: Módulo 2: OpenAI API

← AnteriorErrores Comunes al Elegir Proveedor LLM Siguiente →Módulo 2: OpenAI API - Introducción