Встав публічний URL - витягуємо структуру. Безпечно: внутрішні адреси заблоковано (SSRF), robots.txt дотримано.
// ssrf-guard · robots.txt
Лише публічні URL (внутрішні адреси заблоковано - SSRF), із дотриманням robots.txt + лімітів.ssrf-guard · robots.txt
Приклади сайтів: