Im Sommer 2025 veröffentlichte die Forschungsorganisation METR eine Studie, die in der Tech-Branche für Unruhe sorgte. Sie ist ein Lehrstück dafür, warum Unternehmen AI-Effekte messen sollten, statt sie zu erfragen.
Das Experiment
Von Februar bis Juni 2025 bearbeiteten 16 erfahrene EntwicklerS 246 echte AufgabenS in großen Software-Projekten, die sie gut kannten. Jede Aufgabe wurde zufällig zugeteilt: mit AI-Werkzeugen, vor allem Cursor Pro mit Claude 3.5 und 3.7 Sonnet, oder ohne. Ein klassisches randomisiertes Experiment.
Vorher erwarteten die Entwickler eine Beschleunigung um 24 %S. Gemessen brauchten sie mit AI 19 % längerS. Und nach dem Experiment schätzten sie, AI habe sie um rund 20 % schnellerS gemacht.
Was das bedeutet und was nicht
Die Studie hat klare Grenzen: eine kleine Stichprobe, ein breites Konfidenzintervall und ein sehr spezielles Umfeld, nämlich Profis in vertrauten, komplexen Codebasen. METR hat im Februar 2026 neue Daten veröffentlicht und bezeichnet die Ergebnisse von 2025 selbst als überholt. Die Werkzeuge haben sich seither stark verändert.
Die Kernlehre bleibt trotzdem gültig: Gefühlte und gemessene Produktivität können weit auseinanderliegen. Die Studie von Harvard Business School und Boston Consulting Group zeigt die andere Seite. Bei Aufgaben innerhalb der AI-Fähigkeitsgrenze waren die Gewinne groß. Welche Aufgaben in deinem Team wohin gehören, beantwortet nur eine Messung.
Der Ablauf: Ein Mini-Experiment für dein Team
- 01Start10 wiederkehrende Aufgaben auswählen
- 02SystemZufällig zuteilen: mit AI oder ohne
- 03MenschBearbeiten und Zeit messen
- 04MenschQualität blind bewerten lassen
- 05PrüfungUnterschied deutlich?nein: weitere Runde oder Aufgabe ohne AI lassen
- 06ErgebnisEntscheidung je Aufgabentyp festhalten
So kann dein Messbogen aussehen:
| Aufgabe | Mit AI? | Minuten | Qualität 1–5 (blind) | Nacharbeit |
|---|---|---|---|---|
| Angebot entwerfen | ja | |||
| Angebot entwerfen | nein | |||
| Monatsreport | ja |
Grenzen und Risiken
- Beobachtungseffekt: Wer gemessen wird, arbeitet anders. Messe über mehrere Wochen.
- Kleine Stichproben: Zehn Aufgaben zeigen eine Richtung, keinen Beweis.
- Lernkurve: Die ersten Wochen mit einem neuen Werkzeug sind langsamer. Plane das ein.
So startest du
- Wähle zehn Aufgaben, die regelmäßig vorkommen und ähnlich groß sind.
- Lass einen Zufallsgenerator entscheiden, welche mit AI bearbeitet werden.
- Lass die Ergebnisse von einer Person bewerten, die nicht weiß, wie sie entstanden sind.
- Entscheide pro Aufgabentyp, nicht pauschal.