Módulo 1: Why Ethics Matters in AI Engineering

5. Las 4 dimensiones del costo de ignorar ética en AI

Descripción de la cápsula

Tres case studies te dieron evidencia. Ahora viene la síntesis: cuando ignorás ética en AI, ¿qué cuesta exactamente?

La respuesta tiene cuatro dimensiones, cada una con su propia lógica y cada una con su propio orden de magnitud:

Legal/regulatoria — multas, demandas, prohibiciones.
Reputacional — daño a marca, pérdida de contratos, dificultad de hiring.
Técnica — refactoring tardío, deuda arquitectónica, reescritura completa.
Humana — daño a personas afectadas, daño al equipo que construyó el sistema.

Esta cápsula te da la herramienta argumentativa para defender inversión en ethics process frente a un PM, un C-level, un VC, o un cliente. Porque "es lo correcto" no convence presupuestos. "Te va a costar $40M si no lo hacés" sí.

Al terminar, vas a poder decir: "ignorar ethics tiene este costo en cada dimensión, esta probabilidad, este timeframe; y este es el costo de prevenirlo. La inversión es proporcional".

Dimensión 1: Legal y regulatoria

Qué incluye

Multas regulatorias: GDPR, EU AI Act, FCRA, ECOA, sector-specific (HIPAA en salud, FCRA en crédito).
Demandas civiles: class actions, individual lawsuits, enforcement actions.
Sanciones operativas: cease-and-desist orders, prohibición de uso del sistema, requirement de undo automatizado.
Costos de compliance retroactivo: cuando regulación cambia y tu sistema no la cumple, hay que adaptar.

Magnitudes reales

GDPR (Europa):

Máximo: 4% del revenue global anual O €20M, lo que sea mayor.
Para Amazon (revenue $574B en 2023): potencial $23B en multa.
Casos reales: Meta multado €1.2B en 2023 (transferencia de datos US-EU).

EU AI Act (efectivo 2024-2026):

Para sistemas "prohibidos": hasta €35M o 7% del revenue global.
Para sistemas "high-risk" con incumplimiento: hasta €15M o 3%.
Para violaciones administrativas: hasta €7.5M o 1%.

US FCRA (Fair Credit Reporting Act):

Civil penalties por violación willful: hasta $1,000 por violación.
Class actions: con miles de affected → multimillones agregados.
Apple Card investigation: settlement no público, estimado en orden de $XM-$XXM.

EEOC (Equal Employment Opportunity Commission, US):

Investigación de hiring algorithm puede llevar años.
Settlements típicos: $1M-$50M dependiendo de scale del impact.

State-level (US):

NYC AEDT Law (2023): bias audits obligatorias para hiring AI. Multas hasta $500/día/violación.
Illinois BIPA (Biometric Information Privacy Act): $1,000-$5,000 por violación individual. Class actions han llegado a settlements de $500M+ contra Facebook/Meta.

Probabilidad

La probabilidad de enfrentar algún costo legal es alta para sistemas que:

Procesan datos de UE (GDPR aplica si tenés un user europeo).
Toman decisiones de hiring, crédito, vivienda, seguros, salud (sector regulado).
Procesan datos biométricos (rostro, voz, huella).
Operan en jurisdicciones con regulación AI específica (EU, NY, IL, CA).

Para un startup que lanza un sistema AI sin compliance review:

Probabilidad de sufrir algún costo legal en primeros 3 años: ~30-50%, dependiendo del sector.
Probabilidad de costo > $1M: ~10%.
Probabilidad de costo catastrófico (> $50M): ~1-3%, pero con consecuencias terminales.

Timeframe

Investigación regulatoria: 6 meses - 3 años desde primera complaint.
Class action: 1-5 años desde filing hasta settlement.
Multa GDPR: 1-4 años desde incidente a decisión final.
EU AI Act enforcement: aún temprano, pero se espera 6-18 meses desde detección.

Dimensión 2: Reputacional

Qué incluye

Coverage de prensa negativa: NYT, WSJ, FT, BBC, medios especializados.
Daño a marca: deterioración de "trust score" público y de inversores.
Pérdida de contratos B2B: clientes corporativos cancelan o no renuevan.
Pérdida de partnerships: empresas no quieren asociarse.
Dificultad de hiring: candidatos top no aplican o rechazan ofertas.
Daño a moral interna: empleados existentes consideran salir.
Daño en stock price (para empresas públicas).

Magnitudes reales

Amazon Hiring:

Coverage durante semanas en docenas de medios top-tier.
Caso de estudio canónico en cada curso de ML ethics. Citado en cientos de papers.
Daño difícil de cuantificar pero permanente: cualquier nuevo hiring system de Amazon ahora opera bajo escrutinio extra.

IBM Facial Recognition:

Eventualmente IBM abandonó toda la línea. Decision parcialmente reputacional: el costo de seguir asociándose con uso problemático superaba el revenue.
Otros productos de IBM (Watson) también afectados por asociación.

Apple Card / Goldman Sachs:

Coverage durante semanas en finance media.
Trust en algoritmos financieros dañado en consumer mind.
Goldman ahora opera bajo regulatory scrutiny aumentado. Costos compliance permanentes mayores.

Cambridge Analytica / Facebook (2018):

Stock price -7% en una semana ($50B+ en market cap perdido).
$5B FTC fine.
Multiple parliamentary hearings.
"Delete Facebook" movement.
Coverage continua durante 12+ meses.

Probabilidad

Para sistemas AI con problemas éticos detectables:

Probabilidad de coverage si scale es relevante: muy alta. Twitter/X, journalism investigativo, regulators activos.
Velocidad: incidente puede convertirse en crisis en 24-72 horas.

Una vez que coverage empieza, el daño se acumula. No es lineal — es exponencial. Coverage en NYT lleva a coverage en 50 medios, a Reddit, a memes, a Hill testimony.

Timeframe

Crisis aguda: 1-4 semanas.
Coverage de larga cola: 6-24 meses.
Daño permanente a marca: indefinido. Algunas empresas no se recuperan completamente (Cambridge Analytica disolvió).

Dimensión 3: Técnica

Qué incluye

Refactoring tardío: cuando descubrís problemas éticos en producción, fix retrofit es 10x-100x más caro que prevención.
Reescritura completa: en algunos casos, el sistema entero debe reemplazarse.
Migración de datos: si usaste datos sin consent adecuado, hay que purgar.
Re-entrenamiento: si el modelo aprendió bias, hay que re-entrenar (a veces from scratch).
Deuda de arquitectura: integraciones con el sistema problemático también requieren cambio.

Magnitudes reales

Amazon Hiring:

3 años de desarrollo por ~12 personas → abandonado. Costo: $7-10M directo + costo de oportunidad enorme.
Los engineers tuvieron que ser reasignados, talento perdido en transitions.

IBM Facial Recognition:

Producto entero abandonado en 2020. Costo: años de R&D escritos off.
Equipos tuvieron que reasignarse o salir de la empresa.

Cambridge Analytica / Facebook data:

Facebook tuvo que rebuild app permission systems entirely.
Data deletion proyecto: meses de eng work + auditing + legal review.

General: "ethical debt" funciona como deuda técnica — interés compuesto. Cuanto más tiempo antes de pagar, más caro.

Etapa de detección	Costo relativo de fix
Antes de training	1x
Durante training	5x
Antes de deploy	10x
Después de deploy, pre-incidente	50x
Después de incidente público	500x+

Esto es matemática conocida en software engineering (Boehm 1981, refined desde). Aplica también a ethics issues.

Probabilidad

Probabilidad de tener algún ethics issue en sistema AI sin proceso explícito: ~80-90%.
Probabilidad de issue severo (requiere refactoring mayor): ~20-30%.
Probabilidad de requerir reescritura completa: ~5-10%.

Timeframe

Refactoring tardío: meses, dependiendo del scope.
Reescritura completa: 1-2 años, en algunos casos más.
Migración de datos / purga: 3-12 meses + auditoría.

Dimensión 4: Humana

Qué incluye

Daño a personas afectadas (externas)

Personas falsamente arrestadas (facial recognition).
Mujeres rechazadas en hiring (Amazon).
Mujeres con credit limits artificialmente bajos (Apple Card).
Pacientes con diagnóstico errado (medical AI).
Solicitantes de asilo identificados erróneamente.
Borrowers a quienes se denegó crédito injustificadamente.
Cualquier individuo afectado por output del sistema.

Daño al equipo que construyó el sistema (internas)

Burnout post-crisis: meses de damage control, customer escalations, regulatory testimony.
Conflictos internos: blame entre teams, recriminations.
Salidas de empleados: ingenieros con conscience que renuncian.
Whistleblowers: empleados que denuncian internamente, luego externamente, luego enfrentan retaliation.
Talento perdido: post-crisis, hiring de talent top se vuelve más difícil.

Magnitudes reales

Robert Williams (facial recognition):

Detención 30 horas frente a sus hijas.
Cargos criminales en historial.
Trauma personal y familiar.
Demanda exitosa (settlement no público pero materialmente significativo).

Mujeres afectadas por Apple Card:

Frustration, sense de injusticia, dificultad de obtener clear explanation.
Para algunas: rechazo total que afectó capacidad de obtener servicios financieros.

Equipos internos en Cambridge Analytica era:

Christopher Wylie (whistleblower) sufrió retaliation, pero también psychological cost de exposición pública.
Engineers en Facebook que conocían los issues experienced cognitive dissonance + eventual exodus.

Equipos en startups con AI ethics issues post-crisis:

Patrón típico: 30-50% de engineering team rota en los 12 meses post-crisis.
Talent que sale lleva conocimiento institucional.

Probabilidad

Para personas afectadas: si el sistema es high-stakes y no testeado, probabilidad de causar daño individual es prácticamente cierta a alguna escala.
Para el equipo interno: si hay crisis pública, probabilidad de attrition aumentada es muy alta.

Timeframe

Daño a personas afectadas: inmediato, en algunos casos permanente.
Burnout interno post-crisis: 6-18 meses post-crisis.
Loss de talento: 6-12 meses post-crisis.

La interacción entre las 4 dimensiones

Las dimensiones no son aditivas — son multiplicativas. Un incidente activa todas a la vez, y cada una refuerza a las otras.

Incidente ético detectado externamente
            ↓
    ┌───────┴───────┐
    │               │
LEGAL (multas)   REPUTACIONAL (coverage)
    │               │
    │               ↓
    │           Pérdida de contratos
    │               │
    ↓               ↓
TÉCNICA (refactor)  HUMANA (burnout, attrition)
    │               │
    └───────┬───────┘
            ↓
      Costo TOTAL

Ejemplo concreto: Cambridge Analytica → Facebook (2018):

Legal: $5B FTC fine, multiple regulatory investigations, ongoing litigation.
Reputacional: $50B+ stock cap perdido in week 1, "Delete Facebook" movement.
Técnica: rebuild de permission systems, data deletion projects, ongoing audit infrastructure.
Humana: whistleblowers (Wylie), employee exodus, public shaming of execs (Zuckerberg testimony).

El costo total no es la suma. Cada dimensión amplifica las otras. Coverage reputacional aumenta probabilidad de regulación más estricta. Costo técnico aumenta cuando reputational pressure exige fixes rápidos. Burnout humano aumenta costos de delivery de fixes técnicos.

El argumento de inversión

Cuando alguien dice "no tenemos tiempo/budget para ethics process", el argumento de respuesta tiene esta forma:

COSTO DE PREVENCIÓN
─────────────────
- Bias testing en CI: ~1-2 personas-semana de setup
- Disparate impact testing: ~0.5 personas-semana por feature
- Documentation (model cards): ~1 persona-día por modelo
- Internal review process: ~5-10% overhead a velocity
- External audit anual: $20K-$100K para sistema complejo

TOTAL conservador: $50K-$500K/año + 5-10% overhead

COSTO ESPERADO DE INCIDENTE
──────────────────────────
P(incidente) × Costo_si_ocurre

P(incidente sin ethics process): 30-50% en 3 años
Costo_si_ocurre (sistema mediano): $1M-$50M (legal + reputacional + técnico + humano)

Costo esperado: 0.4 × $10M = $4M

ROI de ethics process: 8x-50x

Esta no es teoría. Es la conversación literal que tenés que tener con el PM/C-level. Con números. El argumento moral es válido, pero el argumento de risk management es lo que mueve presupuesto.

Trampas y errores comunes

1. "Eso pasa a empresas grandes, no a nosotros"

Falso. Startups son MÁS vulnerables porque:

No tienen reservas legales para defender.
No tienen brand equity para absorber daño.
Un incidente puede ser terminal para un startup.

2. "Pasamos compliance, estamos bien"

Compliance es el piso, no el techo. Apple Card pasó compliance legal de NYDFS y aun así sufrió daño reputacional severo + costos operativos.

3. "Eso es problema de legal/PR/comms, no eng"

Falso. Las decisiones técnicas (datasets, features, testing) determinan si el sistema causa los problemas. Engineering tiene responsabilidad técnica primaria.

4. "Lo arreglamos cuando pase"

Math contra esta posición:

Fix antes de deploy: 1x.
Fix después de incidente: 500x+.

Económicamente irracional postpone.

Auto-verificación

1. ¿Por qué las 4 dimensiones no son aditivas?

Porque se amplifican mutuamente:

Coverage reputacional → más scrutinio regulatorio → mayor costo legal.
Costo legal → presión técnica para fix rápido → mayor costo técnico.
Costo técnico → presión sobre engineers → burnout → mayor costo humano.
Burnout/exodus → menos capacidad de fix → más coverage → más reputación dañada.

El costo total es no lineal. Una empresa puede absorber un golpe en una dimensión. Cuatro dimensiones simultaneously activadas pueden ser terminal.

Implicación: el threshold de "vale la pena prevenir" es mucho más bajo que el costo de un incidente single-dimension.

2. ¿Cómo argumentás inversión en ethics process a un C-level escéptico?

Argumento financiero, no moral:

Datos: P(incidente) × Costo_esperado.
Comparables: Amazon Hiring ($7-10M directo), Apple Card ($XM regulatorio + reputacional), Cambridge Analytica ($5B fine + $50B market cap).
Costo de prevención: $50K-$500K/año + 5-10% velocity.
ROI: 8x-50x conservadoramente.
Probabilidad de competidores con ethics process: en 2-3 años, será diferenciador competitivo.

Cierre: "Sin ethics process, somos one-incident away from existential risk. Con, somos 8x más eficientes en risk-adjusted terms."

Si el C-level no responde a esto, no es un problema de communication — es un problema de incentives alignment que requiere intervención más alta.

3. ¿Por qué fix retrofit es 500x más caro que prevention?

Combinación:

Costo técnico directo: rebuild código + data + tests bajo time pressure.
Costo legal concurrente: respuesta regulatoria + litigation simultaneously.
Costo reputacional concurrente: damage control + comms + executive testimony.
Costo humano: burnout, attrition, dificultad de hiring.
Costo de oportunidad: features futuras retrasadas.
Costo de scrutiny permanente: compliance overhead inflado para siempre post-crisis.

Es la diferencia entre fixing un bug en feature branch (1 hora) y rolling back un breaking change que ya está en producción y rompe a 10M users (semanas + post-mortem + compensation).

Y a diferencia de bugs técnicos, ethics issues llevan costo reputacional residual que no se arregla con un patch.

4. ¿Cuáles son los 5 elementos mínimos de un ethics process?

Para cualquier sistema AI que afecte a personas:

Ethics Impact Analysis antes de comenzar (qué cubrirás en M1/07-08).
Bias testing automatizado en CI (M2 cubre técnicas).
Privacy review de datos de entrenamiento (M3).
Compliance review según jurisdicciones aplicables (M4-M6).
Monitoring post-deploy + revisión periódica (M7-M8).

Estos 5 elementos, cuando se aplican, reducen P(incidente) de 30-50% a < 5%. ROI: gigantesco.

Resumen y siguiente paso

Cuatro dimensiones de costo: legal, reputacional, técnica, humana. Cada una con su propio orden de magnitud, probabilidad, y timeframe.
No son aditivas — son multiplicativas. Un incidente activa todas, cada una amplifica a las otras.
Costo de prevención << costo esperado de incidente. ROI conservador 8x-50x.
Fix retrofit es 500x más caro que prevención. Math contra postpone.
Argumento financiero gana presupuesto, argumento moral no.

Checkpoint: deberías poder articular el ROI de ethics process en términos cuantitativos, no morales.

Puente a la siguiente cápsula: la cápsula 06 ataca de frente la pregunta "¿es responsabilidad del engineer o del PM/legal?". Vas a ver por qué la respuesta correcta es del engineer principalmente, basado en información asimétrica, convergencia regulatoria, y causalidad técnica. Es la cápsula que cierra el cambio de mentalidad antes de que aprendas la herramienta concreta (Ethics Impact Analysis) en cápsulas 7 y 8.

Recursos

GDPR Article 83 — Penalties — fines structure.
EU AI Act — Penalty schedule — referencia.
Boehm — Software Engineering Economics (1981) — origen del cost-of-fix multiplier.
Cambridge Analytica timeline — case study completo.
BIPA — Illinois Biometric Act — referencia legal.

Siguiente: 06-responsabilidad-engineer.md — Por qué la responsabilidad ética es del engineer, no del PM.

Cápsula 05 de 08 — Módulo 1 — AI Ethics & Compliance Guide

← Anterior4. Case Study #3: Apple Card y Credit Scoring Siguiente →6. La responsabilidad ética del engineer