Operative Definition
Was der Begriff abdeckt — und was nicht.
Das Protokoll geht von den zu stützenden Entscheidungen aus und trennt Erhebung, Modellierung, Validierung, Szenarien, Governance, Export und Ausstiegskosten. Ein echter Vergleich verlangt datierte Tests, die auf jede Lösung mit demselben Raster angewandt werden.
Eine Vorauswahl erst nach einem dokumentierten Test freigeben, dessen Eingaben, erwartete Ergebnisse, Abweichungen und Ausstiegsbedingungen aufbewahrt werden.
Funktionsabdeckung, Transparenz, Tests, Export, Interoperabilität, Gesamtkosten und Abhängigkeit.
Eine überzeugende Oberfläche kann Transformationen, Priors oder Allokationsregeln verbergen, die sich nicht prüfen lassen.
Entscheidungsrahmen
Eine Methode, die die Annahmen prüfbar hält.
Drei repräsentative Testfälle und ihre erwarteten Ergebnisse vor jeder Anbieterdemonstration schriftlich festhalten.
Dieselbe Eingabe in jeder Lösung ausführen und Parameter, Transformationen, Diagnosen und Exporte aufbewahren.
Lizenz, Integration, Betrieb, Kompetenzen, Migration und Ausstiegskosten über denselben Zeitraum berechnen.
Beobachtete, behauptete und nicht bewertete Fähigkeiten trennen, mit Prüftermin und verantwortlicher Person.
Nicht verhandelbare Parameter
Einheit, Horizont und Komparator sind vor der Berechnung festzulegen.
Diese fünf Parameter bestimmen, was das Ergebnis tatsächlich bedeutet. Ändern sie sich während der Analyse, sind die Szenarien nicht mehr vergleichbar und die Empfehlung ist neu zu berechnen.
Beobachtung oder Ressource, gekennzeichnet durch Quelle, Population, Einheit, Zeitraum, Version und Nutzungsrechte.
Erhebungsdatum, entscheidungsrelevante Aktualität und Überprüfungsrhythmus angeben; ein jüngeres Datum korrigiert keine unzureichende Definition.
Verteilungen und Methoden auf einheitlichem Perimeter vergleichen; einen externen Benchmark nie als automatisches lokales Ziel behandeln.
Stichprobengröße, Streuung, Ausschlüsse, Transformationen, Selektionsverzerrung und Reproduzierbarkeitsgrenzen veröffentlichen.
Eine Ressource geht erst in eine Entscheidung ein, wenn Herkunft, Anwendbarkeit und Transformationen prüfbar sind.
Entscheidungsdossier
Was das Gremium erhalten muss — über ein zentrales Ergebnis hinaus.
Die Unterlage muss erlauben, die Argumentation nachzuvollziehen, eine Annahme zu bestreiten und zu erkennen, wann die Schlussfolgerung nicht mehr gilt. Eine isolierte Zahl leistet das nicht, so genau sie auch sei.
Eine überprüfbare Bewertung vorbereiten. Die tatsächlich offenen Optionen, den Status quo und die für die Wahl verantwortliche Person festhalten.
Funktionsabdeckung, Transparenz, Tests, Export, Interoperabilität, Gesamtkosten und Abhängigkeit. Einheit, Zähler, Nenner, Population und Zeitraum angeben.
Lizenz, Integration, Betrieb, Kompetenzen, Migration und Ausstiegskosten über denselben Zeitraum berechnen. Für jede Option dieselbe Definition von Kosten und Ergebnis beibehalten.
Beobachtete, behauptete und nicht bewertete Fähigkeiten trennen, mit Prüftermin und verantwortlicher Person. Fehlgeschlagene Prüfungen ebenso deutlich berichten wie bestandene.
Eine überzeugende Oberfläche kann Transformationen, Priors oder Allokationsregeln verbergen, die sich nicht prüfen lassen. Die Wirkung einer zu optimistischen Annahme und einer verzögerten Entscheidung beziffern.
Vierteljährliche Überprüfung. Signal, Schwelle und Datum festlegen, die Beibehalten, Korrigieren oder Abbrechen auslösen.
Rechenbeispiel
Didaktisches Beispiel für die Vollkosten
Situation. Zwei fiktive Lösungen werden allein zur Veranschaulichung der Formel verglichen. A kostet 40 T€ und erfordert 80 Integrationstage; B kostet 70 T€ und 20 Tage. Ein interner Tag wird mit 700 € bewertet.
Berechnung. Didaktische Kosten des ersten Jahres: A = 40 000 + 80 × 700 = 96 000 €; B = 70 000 + 20 × 700 = 84 000 €.
Lesart. Dieses Beispiel bewertet keine reale Software. Prüfbarkeit, Wartung und Ausstiegskosten bleiben mit einem datierten Protokoll zu messen.
Entscheidungsregeln
Wann die Analyse als tragfähig genug gilt.
- Eine Vorauswahl erst nach einem dokumentierten Test freigeben, dessen Eingaben, erwartete Ergebnisse, Abweichungen und Ausstiegsbedingungen aufbewahrt werden.
- Mindestens messen: Funktionsabdeckung, Transparenz, Tests, Export, Interoperabilität, Gesamtkosten und Abhängigkeit.
- Validierungsbedingung: beobachtete, behauptete und nicht bewertete Fähigkeiten trennen, mit Prüftermin und verantwortlicher Person.
Grenzen
Was Daten und Methode nicht zu behaupten erlauben.
- Eine überzeugende Oberfläche kann Transformationen, Priors oder Allokationsregeln verbergen, die sich nicht prüfen lassen.
- Ein Branchenrichtwert ist kein normatives Ziel.
- Öffentliche Daten können gut dokumentiert und dennoch für eine lokale Entscheidung ungeeignet sein.
Literaturhinweise
Die Arbeiten, auf denen diese Analyse beruht.
- Peng, R. D. (2011), Science.
- Sculley, D. et al. (2015), „Hidden Technical Debt in Machine Learning Systems“.
- Wilkinson, M. D. et al. (2016), „The FAIR Guiding Principles for Scientific Data Management“, Scientific Data.
- Peng, R. D. (2011), „Reproducible Research in Computational Science“, Science.
In die Praxis bringen
Die Vorlage, die für die Entscheidung zu erstellen ist
Entscheidung · Zielgruppe · Ziel · Horizont · Optionen · Restriktionen · Wechselwirkungen · wirtschaftliche Einheit · Evidenz · Überprüfungsschwelle. Das zugehörige Dokument bewahrt außerdem Annahmen, Grenzen, Version und Datum der Neubewertung.
Werkzeug oder zugehöriges Dokument ansehen →