Definición operativa
Lo que el concepto abarca — y lo que no.
El protocolo parte de las decisiones que hay que respaldar y distingue recogida, modelización, validación, escenarios, gobernanza, exportación y coste de salida. Una comparación real exige pruebas fechadas aplicadas a cada solución con la misma rejilla.
Autorizar una preselección solo tras una prueba documentada cuyos datos de entrada, resultados esperados, desviaciones y condiciones de salida se conserven.
Cobertura funcional, transparencia, pruebas, exportación, interoperabilidad, coste total y dependencia.
Una interfaz convincente puede ocultar transformaciones, priors o reglas de asignación imposibles de auditar.
Marco de decisión
Un método que mantiene auditables las hipótesis.
Escribir tres casos de prueba representativos y sus resultados esperados antes de cualquier demostración del proveedor.
Ejecutar la misma entrada en cada solución y conservar parámetros, transformaciones, diagnósticos y exportaciones.
Calcular licencia, integración, explotación, competencias, migración y coste de salida en el mismo periodo.
Separar capacidades observadas, declaradas y no evaluadas, con una fecha de control y un responsable.
Parámetros no negociables
La unidad, el horizonte y el comparador deben fijarse antes del cálculo.
Estos cinco parámetros determinan lo que el resultado significa realmente. Si cambian durante el análisis, los escenarios dejan de ser comparables y la recomendación debe recalcularse.
Observación o recurso identificado por su fuente, su población, su unidad, su periodo, su versión y sus derechos de uso.
Indicar fecha de recogida, actualidad pertinente para la decisión y cadencia de revisión; una fecha reciente no corrige una definición inadecuada.
Comparar distribuciones y métodos con un perímetro homogéneo; nunca tratar un benchmark externo como objetivo local automático.
Publicar tamaño de muestra, dispersión, exclusiones, transformaciones, sesgo de selección y límites de reproducibilidad.
Un recurso entra en una decisión solo si su procedencia, su aplicabilidad y sus transformaciones pueden auditarse.
Expediente de decisión
Lo que el comité debe recibir — más allá de un resultado central.
El entregable debe permitir rehacer el razonamiento, cuestionar una hipótesis y saber cuándo la conclusión deja de ser válida. Una cifra aislada, por precisa que sea, no cumple esa función.
Preparar una evaluación verificable. Escribir las opciones realmente abiertas, el statu quo y la persona responsable de la elección.
Cobertura funcional, transparencia, pruebas, exportación, interoperabilidad, coste total y dependencia. Precisar unidad, numerador, denominador, población y periodo.
Calcular licencia, integración, explotación, competencias, migración y coste de salida en el mismo periodo. Conservar la misma definición de coste y de resultado para cada opción.
Separar capacidades observadas, declaradas y no evaluadas, con una fecha de control y un responsable. Informar de los controles que fallan con la misma claridad que de los que se superan.
Una interfaz convincente puede ocultar transformaciones, priors o reglas de asignación imposibles de auditar. Cifrar el impacto de una hipótesis demasiado optimista y de una decisión aplazada.
Revisión trimestral. Definir la señal, el umbral y la fecha que activarán mantener, corregir o detener.
Ejemplo cifrado
Ejemplo pedagógico de coste completo
Situación. Se comparan dos soluciones ficticias únicamente para ilustrar la fórmula. A cuesta 40 k€ y exige 80 días de integración; B cuesta 70 k€ y 20 días. La jornada interna se valora en 700 €.
Cálculo. Coste pedagógico del primer año: A = 40 000 + 80 × 700 = 96 000 €; B = 70 000 + 20 × 700 = 84 000 €.
Lectura. Este ejemplo no clasifica ningún software real. Auditabilidad, mantenimiento y coste de salida quedan por medir con un protocolo fechado.
Reglas de decisión
Cuándo considerar el análisis suficientemente sólido.
- Autorizar una preselección solo tras una prueba documentada cuyos datos de entrada, resultados esperados, desviaciones y condiciones de salida se conserven.
- Medir como mínimo: cobertura funcional, transparencia, pruebas, exportación, interoperabilidad, coste total y dependencia.
- Condición de validación: separar capacidades observadas, declaradas y no evaluadas, con una fecha de control y un responsable.
Límites
Lo que los datos y el método no permiten afirmar.
- Una interfaz convincente puede ocultar transformaciones, priors o reglas de asignación imposibles de auditar.
- Una referencia sectorial no es un objetivo normativo.
- Un dato público puede estar documentado y ser impropio para una decisión local.
Referencias bibliográficas
Los trabajos en los que se apoya este análisis.
- Peng, R. D. (2011), Science.
- Sculley, D. et al. (2015), « Hidden Technical Debt in Machine Learning Systems ».
- Wilkinson, M. D. et al. (2016), « The FAIR Guiding Principles for Scientific Data Management », Scientific Data.
- Peng, R. D. (2011), « Reproducible Research in Computational Science », Science.
Puesta en práctica
El canvas que hay que producir para decidir
Decisión · objetivo de público · objetivo · horizonte · opciones · restricciones · interacciones · unidad económica · prueba · umbral de revisión. El documento asociado conserva además las hipótesis, los límites, la versión y la fecha de reexamen.
Ver la herramienta o el documento asociado →