VFRAME: Computer Vision for OSINT / OSI Research / Adam Harvey (US), Josh Evans (US), Jules LaPlace (US), Photo: Adam Harvey, Josh Evans, Jules LaPlace

VFRAME: Computer Vision for OSINT / OSI Research

Adam Harvey (US), Josh Evans (US), Jules LaPlace (US)

Honorary Mention

VFRAME ist ein Computer-Vision-Projekt, das Open-Source-Bildbearbeitungssoftware und Modelle neuronaler Netzwerke für menschenrechtsbezogene Forschung und die Überwachung von Konfliktgebieten entwickelt. VFRAME wurde 2017 mit dem Ziel ins Leben gerufen, die Lücke zwischen kommerziell ausgerichteter KI und den Bedürfnissen bei investigativen Recherchen zu schließen. Heute leistet VFRAME Pionierarbeit bei der Entwicklung und Anwendung neuer Techniken, die 3D-Fotogrammetrie, 3D-Rendering und 3D-Druck kombinieren, um synthetische Daten für das Training neuronaler Netze zu generieren. Statt dem Branchentrend folgend Daten aus Online-Quellen zu scrapen, die problematische Verzerrungen aufweisen können, verwendet VFRAME einen künstlerischen Ansatz, der digitale Fabrikation, Bildhauerei, Fotografie und 3D-Kunst kombiniert, um eine praktisch unbegrenzte Quelle für Trainingsdaten zu schaffen. Das Ergebnis sind leistungsstarke Computer-Vision-Modelle, die die Erkennung von illegaler Streumunition in Millionen von Videodaten aus Konfliktgebieten automatisieren können.

VFRAME ist von Anfang an eine Partnerschaft mit Mnemonic eingegangen, um diese Technologie auf deren umfangreiche Archive anzuwenden. In einem Pilotprojekt im Jahr 2022 wurden im aus Syrien stammenden Archivmaterial, das mehr als drei Millionen Videos und etwa zehn Milliarden Einzelbildern umfasst, mehr als 1.000 Videos mit der Streumunitionsbombe RBK-250 entdeckt. Das vergangene Jahr markierte den Beginn einer neuen Zusammenarbeit mit der Nichtregierungsorganisation Tech 4 Tracing, um direkten Zugang zu echter Munition für 3D-Scans zu erhalten. Dieser wichtige Schritt ermöglicht es dem VFRAME-Projekt, die Entwicklungsbemühungen zu erweitern und weitere Open-Source-Modelle für Computer Vision Detection für die Überwachung von Konfliktgebieten zu entwickeln.

Credits

Director, founder, computer vision: Adam Harvey

3D design and emerging 3D technologies: Josh Evans

Information architecture and front-end development: Jules LaPlace

With support from: Prototype Fund (Bundesministerium für Bildung und Forschung); NLNet Foundation and Next Generation Internet (NGI0); NESTA; SIDA; Tech 4 Tracing