Ressources pour développeur web

Théme de la semaine : Wordpress

Gau | GetAllURLs | Osint : récupérer les URLs d’un site web

Temps de lecture estimé : 5 minutes
Accueil SEO Gau | GetAllURLs | Osint : récupérer les URLs d’un site web

Avec Gau, vous pouvez récupérer des URLs cachées, anciennes ou oubliées en quelques secondes. Une grande partie des URLs d’un site ne sont plus visibles, mais existent encore quelque part sur Internet. Gau est un outil OSINT simple et puissant pour analyser un site, améliorer votre SEO et révéler des opportunités invisibles.

  • Révéler les URLs cachées et oubliées d’un site pour obtenir une vision bien plus complète que celle visible en surface
  • Savoir exploiter ces données pour améliorer un audit SEO, détecter des opportunités ou analyser la structure réelle d’un site
  • Avoir une méthode simple et efficace pour enrichir votre workflow avec des outils complémentaires et gagner en efficacité

Gau, cet outil simple en apparence, est en réalité une petite mine d’or pour découvrir des URLs oubliées, analyser un site en profondeur ou même détecter des opportunités SEO.

Dans ce tutoriel, vous allez apprendre à utiliser Gau de A à Z avec des exemples concrets et directement exploitables.

Qu’est-ce que Gau et à quoi ça sert ?

Avant de taper la moindre commande, il faut comprendre ce que vous faites. Sinon, vous allez utiliser Gau comme un bouton magique… sans vraiment savoir pourquoi.

Définition simple

Gau signifie Get All URLs. Comme son nom l’indique, il va récupérer un maximum d’URLs associées à un domaine. Mais attention, ce n’est pas un crawler classique comme Katana. Gau ne parcourt pas le site en direct.

  • Il interroge des bases de données publiques

Ces sources incluent notamment :

  • des archives web (comme Wayback Machine)
  • des index de crawl globaux
  • des bases de données d’URLs historiques
Gau l'outil OSINT pour récupérer des url de site web

Autrement dit, Gau agit comme un archéologue du web.

Pourquoi c’est puissant ?

Imaginez que vous avez un site avec 100 pages visibles. Gau peut vous en révéler… 500, 1000, parfois plus. Pourquoi ?

Parce qu’il retrouve :

  • des anciennes pages supprimées
  • des URLs non indexées
  • des endpoints techniques (API, scripts…)
  • des paramètres oubliés (?id=, ?page=…)

Et là, tout change.

Cas concrets d’utilisation

En SEO, vous pouvez :

  • retrouver des pages supprimées mais encore indexées
  • identifier des contenus oubliés à rediriger
  • cartographier un site complet pour un audit

En sécurité (pentest léger), vous pouvez :

  • découvrir des endpoints sensibles
  • trouver des paramètres exploitables
  • analyser la surface d’attaque

En développement, vous pouvez :

  • comprendre l’historique d’un projet
  • détecter des routes API
  • analyser une architecture web

En résumé : Gau est un outil de reconnaissance passive (OSINT).

Comment installer Gau (étape par étape)

L’installation est simple mais il faut passer par le terminal. Rassurez-vous, je vous guide.

Prérequis

Gau est écrit en Go. Il faut donc avoir Go installé. Pour vérifier que le langage Go est bien installé sur votre machine :

go version

Si vous avez une version affichée, tout va bien. Sinon, installez Go depuis le site officiel ou via votre gestionnaire de paquets.

Vérifier Go pour installer Gau

Go est un langage de programmation créé par Google. Son but est d’être aussi rapide que les vieux langages compliqués (comme le C++), tout en étant aussi simple à écrire que les langages modernes (comme Python).

Installation avec Go

La méthode la plus simple :

go install github.com/lc/gau/v2/cmd/gau@latest

Vérification de l’installation de Gau

Tapez :

gau --help

Si une aide s’affiche, c’est gagné. Vous venez d’installer Gau. Petit moment de fierté autorisé.

Par contre, si c’est affiché :

gau: aliased to git add --update

Cela signifie que lorsque vous tapez gau, vous exécutez en réalité :

git add --update

Et comme ce n’est pas dans un dépôt Git → 💥 erreur :

fatal: ni ceci ni aucun de ses répertoires parents n'est un dépôt git

La solution est simple et rapide. Dans votre terminal, tapez la commande suivante pour supprimer l’alias :

Formation web et informatique - Alban Guillier - Formateur

Des formations informatique pour tous !

Débutant ou curieux ? Apprenez le développement web, le référencement, le webmarketing, la bureautique, à maîtriser vos appareils Apple et bien plus encore…

Formateur indépendant, professionnel du web depuis 2006, je vous accompagne pas à pas et en cours particulier, que vous soyez débutant ou que vous souhaitiez progresser. En visio, à votre rythme, et toujours avec pédagogie.

Découvrez mes formations Qui suis-je ?
unalias gau

Comment utiliser Gau

Maintenant, on entre dans le vif du sujet.

Utilisation basique

La commande la plus simple :

gau example.com

Et là… magie. Vous obtenez une liste d’URLs.

Attention : Cette liste peut mettre plusieurs longues secondes ou minutes à apparaître suivants le nombre d’urls à rechercher.

Exemple réel

gau monsite.fr

Résultat (exemple) :

https://monsite.fr/
https://monsite.fr/blog/article-1
https://monsite.fr/api/users?id=12
https://monsite.fr/old-page.html

Vous venez déjà de découvrir :

  • une ancienne page
  • un endpoint API
  • une structure d’URL

Filtrer les résultats

Par défaut, Gau retourne beaucoup d’URLs. Parfois trop. Vous pouvez les filtrer avec la commande grep :

gau monsite.fr | grep ".php"

Ou :

gau monsite.fr | grep "="
  • Ici, vous ciblez les URLs avec paramètres (souvent intéressantes).

Sauvegarder les résultats dans un fichier

Toujours utile :

gau monsite.fr > urls.txt

Vous pouvez ensuite travailler dessus tranquillement.

Comment interpréter les résultats

C’est ici que beaucoup s’arrêtent… et passent à côté du vrai potentiel. Ce que vous devez regarder :

  1. Les anciennes pages
    → Peut-être encore indexées
  2. Les paramètres
    → ?id=, ?page=, ?search=
  3. Les dossiers cachés
    → /admin, /backup, /test
  4. Les API
    → /api/, /v1/, /data/

Exemple d’analyse

Si vous voyez une url du type :

https://site.com/product?id=45

Vous pouvez vous poser plusieurs questions :

  • Est-ce que l’ID est modifiable ?
  • Y a-t-il d’autres produits accessibles ?
  • Est-ce indexé ?

Que faire avec des résultats de Gau ?

C’est LA question importante.

En SEO

Vous pouvez :

En audit

Vous pouvez :

  • comparer avec vos pages actuelles
  • détecter des incohérences
  • analyser l’évolution du site

En sécurité

Sans aller dans du hacking :

  • identifier des zones sensibles
  • repérer des patterns d’URL
  • comprendre la structure technique

Faut-il d’autres outils pour un workflow complet ?

Oui. Gau est puissant… mais il ne fait qu’une chose.

  • Il collecte.

Pour aller plus loin, vous pouvez l’associer avec :

  • httpie → tester les endpoints
  • ffuf, dirsearch, gobuster → fuzzing
  • Nuclei → scan automatisé
  • Waybackurls → complément

Exemple de workflow simple

gau site.com > urls.txt
cat urls.txt | grep "=" > params.txt
cat params.txt | httpx
  • Vous passez de : données → tri → analyse

Tableau des commandes Gau

CommandeDescription
gau domaine.comRécupère toutes les URLs
gau -subs domaine.comInclut les sous-domaines
gau --threads 10Multithreading
gau --timeout 5Timeout
gau --blacklist png,jpgExclut certains formats
gau domaine.com > file.txtSauvegarde

FAQ – Questions les plus fréquentes à propos de Gau

Gau remplace-t-il un crawler SEO ?

Non. Il le complète. Un crawler voit le présent. Gau voit le passé.

Pourquoi je n’ai aucun résultat ?

Plusieurs raisons possibles :

  • problème réseau
  • site trop récent
  • peu d’archives disponibles

Vous venez de découvrir un outil simple… mais redoutablement efficace. Gau ne fait pas de bruit, il ne scanne pas activement, il ne “force” rien. Et pourtant, il révèle énormément de choses.

Dans un monde où tout va vite, où les sites évoluent sans cesse, savoir regarder dans le passé devient un avantage énorme. Gau vous offre justement cette capacité : voir ce que les autres ne voient plus.

Et si vous deviez retenir une seule chose, ce serait celle-ci : ce que vous ne voyez pas sur un site est souvent plus intéressant que ce que vous voyez.

Alors la prochaine fois que vous analysez un site, pensez à Gau. Vous pourriez bien être surpris.