vu7 vs. XBOW, Aikido und Hacktron Pentests

Doyensec hat Ende Mai einen direkten Vergleich von Aikido und XBOW veröffentlicht; zwei AI-gestützte Pentesting-Plattformen, welche je 4.000 Dollar pro Scan gekostet haben. Kurz darauf hat Hacktron denselben Scan für 350 Dollar nachgebaut und die Ergebnisse publiziert.

Also haben wir den gleichen vu7 Scan um 11,89 Euro gemacht.

Das Benchmark-Setup

Doyensec hat zwei Open-Source-Projekte für den Vergleich ausgewählt: Fider und Photoview. Beide Repos wurden auf beiden Plattformen gescannt; Aikido Standard Pentest und XBOW Plus, um je 4.000 Dollar pro Repo.

Auch wir haben uns auf Fider v0.33.0 konzentriert, die auch XBOW, Aikido und Hacktron verwendet haben.

Tool	Kosten	Laufzeit	Ansatz
Aikido	$4.000	~8h40m	Whitebox
XBOW	$4.000	~1 Woche	Greybox
Hacktron	$350	27min	Whitebox
vu7	€11,89	126min	Whitebox

Erste Erkennung: Hacktron ist hier noch deutlich schneller. Bei vu7 laufen alle Agents aktuell sequentiell; jeder Agent baut auf dem Output des vorherigen auf. Wir arbeiten daran, relevante Teile der Pipeline zu parallelisieren, was die Laufzeit weiter reduzieren wird.

Was vu7 gefunden hat

Hacktron hat ihren Scan manuell gegen die Patches validiert, die Fider seit den kombinierten Scans von Aikido und Xbow um 8.000 Dollar auf Github bereinigt hat. Da die genauen Outcomes unbekannt sind, ist das ein trotzdem relativ genauer Scope, weil diese Patches verschiedener Schwachstellen in dem Zeitraum passiert sind. Die folgende Tabelle zeigt die Schwachstellen, die Fider in den letzten Versionen gepatcht hat und ob vu7 sie gefunden hat.

Severity	Schwachstelle	Gepatcht	Doyensec*	Hacktron	vu7
Critical	Mass-Assignment / Pre-Auth Account Takeover	74a26a31	✅	✅	✅
Critical	Cross-Tenant Verification Key Reuse, Tenant Takeover	ce4f44bb	✅	✅	✅
Critical	Kein Rate-Limit auf Sign-In-Code, Brute-Force ATO	b41d1b83	✅	✅	✅
High	SSRF in Webhook-URLs	f7db8603	✅	✅	✅
High	Server-Side JS Injection in React SSR	d5a80ea5	✅	✅	✅
Medium	XSS in Markdown-Rendering und ATOM-Feed	d28a838d	✅	✅	✅
Medium	DoS via Unbounded HTTP Response Read	da89c502	✅	✅	✅
Low	HTML Escaping in Rendered Emails	2f7aa747	✅	✅	✅
Low	IDOR / Moderation Bypass	d74a643d	✅	❌	❌
Low	Authenticated Arbitrary Blob Overwrite	7b047158	✅	❌	❌

Jedes Critical, High und Medium Finding auf der Liste wurde von vu7 erkannt; den Pre-Auth Account Takeover, beide SSRFs, den Cross-Tenant Tenant Takeover, den Brute-Force ATO, den Markdown/ATOM XSS und die Server-Side JS Injection. Das sind die wichtigen Findings, für die ein Unternehmen zahlt.

Die zwei Bugs die wir nicht gefunden haben sind dieselben zwei, die Hacktron nicht gefunden hat; beide Low Severity mit begrenztem Impact.

Der IDOR ist ein Moderation Bypass auf einem einzelnen Kommentar: limitierter Impact, kein Account Takeover, kein Datenleak. Der Blob Overwrite (GHSA-vxp5-mf8m-grg9) ist authenticated arbitrary blob overwrite; was einen bereits authentifizierten User benötigt und Blobs überschreiben kann.

Wie bei anderen Plattformen gilt auch bei vu7; AI-Scanner neigen aktuell noch dazu, Severities zu überschätzen. Ein Finding das als Critical oder High gemeldet wird, kann nach manuellem Triage auf Medium oder Low fallen, etwa wenn ein XSS durch CSP blockiert wird oder ein SSRF keine sinnvollen internen Targets erreicht. Zusätzlich gab es in unserem Scan False Positives, die manuell aussortiert wurden. Beide Punkte sind bekannte Schwächen des gesamten AI-Pentesting-Felds und aktive Arbeitsbereiche bei vu7.

Takeaway

Für 11,89 Euro und zwei Stunden Laufzeit haben wir die selbe Critical-, High- und Medium-Coverage wie Aikido und XBOW für je 4.000 Dollar, und die genau die gleichen Ergebnisse wie Hacktron um 350 Dollar.

Die zwei Bugs die wir nicht gefunden haben sind dieselben zwei, die Hacktron nicht gefunden hat – beide Low Severity mit begrenztem Impact.

vu7 ist (noch) langsamer als Hacktron. 126 Minuten gegen 27 Minuten sind noch ein klarer Unterschied der Laufzeit. Dafür kostet ein vu7-Scan auf der gleichen Codebasis rund 30x weniger.