Dokumentiertes Testlabor

Wie gut sind aktuelle KI-Agenten als CAD-Ingenieure?

Wir messen, wie gut KI-Agenten in unserer Umgebung eine echte Ingenieuraufgabe lösen: eine technische Zeichnung lesen, daraus ein 3D-Modell entwickeln und die eigene Arbeit nachvollziehbar belegen. Offen dokumentierte Methode, fester Bewertungsmaßstab, ausschließlich eigene Ergebnisse — der Bewertungscode selbst bleibt intern.

Zu den Ergebnissen Ein Fall Schritt für Schritt

Das Kurzurteil der Kampagne

78/78
Modelle abgeliefert — das beste System (claude-opus-5) ließ in drei Läufen keinen Fall aus.
0,935
Formtreue im Mittel über drei Läufe: die Körper stimmen fast deckungsgleich mit der Referenz überein (bester Lauf: 0,954).
60/78
Fälle über drei Läufe erfüllten alle automatisch prüfbaren Anforderungen — im Mittel 20 von 26 je Lauf. Rohwert-Vergleichszahl: 17/78 — bei 16 der 26 Fälle liegt die Messgrenze unter der festen Schwelle.
CAD
Getestet ist die Rekonstruktion aus der Zeichnung — Simulation, Fertigung und Toleranzen nicht.

Kurz gesagt: Das beste System rekonstruiert Bauteile aus technischen Zeichnungen bereits bemerkenswert formtreu — als Werkzeug mit menschlicher Prüfung, nicht als Ersatz für die Freigabe durch eine Fachkraft. CAD-Kenntnisse bleiben nötig: Ansichten zuordnen, unklare Bemaßung erkennen, das Ergebnis prüfen (FAQ). Die zwei Bestehens-Quoten sind in den Ergebnissen erklärt.

Beste Rekonstruktionen

Sechs Beispiele aus den zwölf Fällen, in denen claude-opus-5 (Lauf 1) die Form der Referenz exakt getroffen hat (Formtreue 1,00). Klick auf eine Kachel lädt die interaktive 3D-Ansicht – frei in alle Richtungen drehen (Maus), zoomen (Rad), verschieben (rechte Maustaste bzw. zwei Finger).

Alle gezeigten 3D-Modelle sind KI-Rekonstruktionen aus den technischen Zeichnungen — nicht die Originalmodelle.

Fall 045Claude Code · opus-5 · Lauf 1 · Formtreue 1,00→ Fallkarte
Fall 014Claude Code · opus-5 · Lauf 1 · Formtreue 1,00→ Fallkarte
Fall 027Claude Code · opus-5 · Lauf 1 · Formtreue 1,00→ Fallkarte
Fall 033Claude Code · opus-5 · Lauf 1 · Formtreue 1,00→ Fallkarte
Fall 080Claude Code · opus-5 · Lauf 1 · Formtreue 1,00→ Fallkarte
Fall 900 · LagerbockClaude Code · opus-5 · Lauf 1 · Formtreue 1,00 · eigener Demo-Fall→ Fallkarte

Alle 26 Fälle im Vergleich — Video neben 3D Zu den Messzahlen

Von der Zeichnung zur Bewertung

Gesamtworkflow in fünf Stationen: technische Zeichnung, KI-Agent in isolierter Umgebung, CAD-Aufbau, Ablieferung, Bewertung mit festem Maßstab
Jede Messung durchläuft dieselben fünf Stationen – vom Blatt bis zur Bewertung mit festem Maßstab.
Der Agent

KI liest die Zeichnung

Ein Kommandozeilen-Agent (codex oder Claude Code) erhält eine technische Zeichnung und die Aufgabe, das Bauteil parametrisch zu modellieren – ohne Zugriff auf die Lösung.

Der CAD-Kern

FreeCAD als Werkbank

Gearbeitet wird über eine REST-Befehlsschnittstelle auf einem echten CAD-Kernel: Primitive, boolesche Operationen, semantische Selektoren, TechDraw-Projektion und -Messung, B-Rep-Validierung.

Die Verifikationsschicht

Messung in fünf Dimensionen

Das Ergebnis wird gegen ein Referenzmodell in fünf Dimensionen gemessen – mit einem über die gesamte Kampagne unveränderten Bewertungsmaßstab und je Fall ausgewiesenen Obergrenzen.

Was dieses Testlabor ist – und was nicht

Es ist

  • ein dokumentiertes Testlabor mit offen beschriebener Methode;
  • eine Messung ausschließlich eigener Ergebnisse in unserer Umgebung (FreeCAD, REST-Befehlsschnittstelle, Regelwerk);
  • so präzise beschrieben, dass Metrik und Umgebung inhaltlich nachvollziehbar sind — der Code selbst bleibt intern;
  • vollständig in beide Richtungen ausgewiesen – einschließlich abweichender Interpretationen der Agenten.

Es ist nicht

  • keine offene Bestenliste – fremde Einreichungen werden nicht angenommen;
  • keine Veröffentlichung von Fremddaten – keine Zeichnungen, keine Referenzmodelle, keine abgeleiteten Maßdateien;
  • kein Produkt und keine Dienstleistung – dieses Labor misst und berichtet; es gibt nichts zu kaufen oder zu beauftragen;
  • keine Code-Veröffentlichung – Bewertungs- und Schnittstellen-Code bleiben intern, beschrieben statt abgedruckt;
  • kein Platzierungsanspruch: Einzelläufe streuen, deshalb weisen wir Spannweiten und getrennte Teilmengen aus.

Die Idee hinter CAD-Agents

Ein Agent, der ein echtes Fachwerkzeug bedient, an derselben Sache mitarbeitet und seine Arbeit gegen überprüfbare Kriterien verantworten muss – das ist der Kern dieses Ansatzes. Für CAD heißt das: kein freies Erzeugen nicht nachvollziehbarer Einzellösungen, sondern sichere Operationen auf hoher Abstraktionsebene, ausgeführt auf einem echten Geometrie-Kernel plus eine Verifikationsschicht, die beurteilt, ob ein Ergebnis nicht nur topologisch gültig, sondern fachlich richtig ist.

Dieses Labor bildet die erste Stufe ab: Zeichnung → Modell → Selbstdokumentation. Simulation (FEM) und Fertigung (CAM) sind Ausbaustufen und nicht Teil der hier gezeigten Zahlen.

Zur Methodik

Methodik im Detail ansehen

Fünf Dimensionen, Obergrenzen je Fall, Isolations-Protokoll und die Grenzen der Aussagekraft.

Methodik öffnen