Fallbeispiel
- Kunde
- LDED (Eigenentwicklung)
- Branche
- KI und Computer Vision
- Technologien
- PyTorch
- ONNX Runtime Web
- MobileNetV3-Small
- WebGPU
- WASM
- Ecken innerhalb 5 % der Bilddiagonale
- 93,0 %
- Überlappung mit der Dokumentfläche
- 97,4 %
- Modellgrösse INT8-quantisiert
- < 5 MB
- Inferenz je Bild über WebGPU
- ~ 60 ms
Wer ein Dokument mit dem Smartphone erfasst, erwartet, dass der Rahmen sofort und sauber sitzt. Genau diese Randerkennung ist im Browser bis heute eine Lücke — und LDED (Lightweight Document Edge Detection) schliesst sie.
Ausgangslage
Klassische Bildverarbeitung erkennt Dokumentenkanten über Kontraste und Linien. Das funktioniert im Labor, aber nicht in der Realität: wechselndes Licht, unruhige Hintergründe und perspektivische Verzerrung bringen solche Verfahren schnell an ihre Grenzen.
iOS und Android bringen dafür längst optimierte Modelle auf Betriebssystemebene mit — nur sind diese aus einer Web-Anwendung heraus in aller Regel nicht ansprechbar. Und die verfügbaren Deep-Learning-Modelle sind zu gross oder zu rechenintensiv, um in einem mobilen Browser in Echtzeit zu laufen. Der übliche Ausweg: Das Bild wird an einen Server geschickt. Damit verlässt genau das Dokument das Gerät, das man eigentlich schützen will — Ausweis, Rechnung, Vertrag.
Lösung
LDED ist ein neuronales Netz, das klein genug ist, um komplett clientseitig zu laufen. Es liefert nicht nur eine Maske, sondern direkt die vier Eckpunkte plus einen Confidence-Wert:
| Architektur | MobileNetV3-Small als Backbone, FPN-Lite als Neck, Heatmap-Head mit Soft-Argmax für die Koordinaten — rund 2,5 Mio. Parameter |
| Ein- und Ausgabe | 512 × 512 px hinein, vier Eckpunkte (x, y) plus Confidence hinaus |
| Deployment | In PyTorch 2.x trainiert, nach ONNX exportiert, im Browser über ONNX Runtime Web (WebGPU oder WASM) ausgeführt |
| Grösse | Rund 10 MB als FP32, unter 5 MB INT8-quantisiert |
| Datenschutz | Gesamte Inferenz auf dem Gerät — kein Bild-Upload, kein Backend-Betrieb, keine Latenz durch Server-Roundtrips |
Trainiert wurde in einem dreistufigen Curriculum — eingefrorenes Backbone, Fine-Tuning, dann Quantization-Aware Training — auf rund 8’100 Rohbildern aus DocCorner, MIDV-500/2020 und dem Mendeley-Corner-Datensatz, per Augmentierung auf etwa 24’300 Beispiele erweitert.
Ergebnis
Auf dem Validierungssplit liegt LDED durchweg über den gesetzten Zielwerten:
| Metrik | Wert | Bedeutung |
|---|---|---|
| PCK@5 | 93,0 % | Anteil der Ecken, die höchstens 5 % der Bilddiagonale danebenliegen |
| PCK@10 | 98,2 % | dasselbe mit 10 % Toleranz |
| IoU | 97,4 % | Überlappung der erkannten mit der tatsächlichen Dokumentfläche |
| NME | 0,39 % | mittlerer normalisierter Abstand der Eckpunkte |
Bei der Geschwindigkeit ist das Bild differenzierter:
| Laufzeitumgebung | Inferenz je Bild |
|---|---|
| WebGPU, Desktop-Browser | ~ 60 ms |
| WebGPU, iPhone | ~ 237 ms |
| WASM-Fallback | ~ 500 ms |
Das Projekt ist ausdrücklich als «in development» gekennzeichnet, der WASM-Pfad bleibt die nächste Optimierungsbaustelle.
Typische Einsatzszenarien:
- browserbasierte Dokumentenscanner,
- Beleg- und Rechnungserfassung auf dem Mobilgerät,
- Erkennung von Ausweisen und Pässen,
- Einbindung in bestehende Web-Anwendungen ohne zusätzliches Backend.
Warum wir das teilen
LDED ist als CAS-Projektarbeit in unserem Team entstanden. Wir haben uns entschieden, Code, Architekturbeschreibung, Trainingsleitfaden und eine lauffähige Browser-Demo öffentlich einsehbar zu machen — als Beitrag zu Forschung und Lehre, nicht als fertiges Produkt.
Beides lässt sich direkt ausprobieren: Die Browser-Demo erkennt Dokumentenecken live über Kamera oder hochgeladenes Bild — die Verarbeitung bleibt dabei auf Ihrem Gerät. Modell, Trainingscode und Dokumentation liegen im Repository auf GitHub.
Inhaltlich passt das Projekt zu einer Haltung, die sich durch unsere Arbeit zieht: Sensible Daten sollen dort verarbeitet werden, wo sie entstehen. Mit ExeoAI verfolgen wir dasselbe Prinzip auf Unternehmensebene — die souveräne, lokale Analyse sensibler Dokumente statt Verarbeitung in fremder Infrastruktur. LDED zeigt, dass der Ansatz auch am anderen Ende der Kette funktioniert: schon beim Erfassen, im Browser, auf dem Gerät des Nutzers.
Zum Projekt
Über den Autor
Engineering