Page d'accueilFindIt !ContactAstuces JavaAstuces Java

Astuces JavaTM

Astuces Java

Tip

 Récupérer les liens et les ancres d'un fichier HTML

 

Niveau : initié/expérimenté
Compatibilité : Java 1.1 + Swing 1.1 ou Java 2

Contexte

Que vous soyez auteur d'un site Internet personnel ou professionnel, vous avez sûrement déjà cherché à vérifier si tous les liens de votre site sont corrects ou non, pour éviter aux visiteurs du site de tomber sur la fameuse erreur HTTP 404 File Not Found, qui indique que le fichier recherché n'existe pas.
La plupart des applications qui permettent de créer l'ensemble des fichiers HTML d'un site internet ont des outils pour vérifier si tous ces liens désignent des fichiers qui existent effectivement. Par contre, ils ne permettent pas de vérifier si les liens qui utilisent des ancres (ou anchor) désignent des ancres qui existent aussi.

Dans ce but, cette astuce décrit comment utiliser le parser HTML fourni avec Swing 1.1 pour récupérer tous les liens et les ancres d'un fichier HTML. En effet, ce parser permet non seulement de parcourir un fichier HTML pour le visualiser dans un composant de classe JEditorPane, mais aussi pour récupérer toute la description du fichier pour utiliser ces renseignements dans un autre but.
L'astuce suivante décrit comment gérer l'ensemble des liens et des ancres de tout un ensemble de fichiers HTML pour vérifier la cohérence d'un site Internet.

Si vous utilisez Java 1.1, vous devez télécharger Swing 1.1 à l'adresse (Swing 1.1 est inclus dans Java 2) :
http://java.sun.com/products/jfc/download.html.

Programme HTMLDocumentLinks

La classe HTMLDocumentLinks qui suit dérive de la classe HTMLDocument du package javax.swing.text.html. Voici les caractéristiques du parser HTML de Swing utilisées dans cet exemple :

 

/*
 * HTMLDocumentLinks.java  1.0
 *
 * Copyright (c) 1999 Emmanuel PUYBARET - eTeks.
 * All Rights Reserved.
 *
 */
 
import java.io.*;
import java.net.*;
import java.util.*;
import javax.swing.text.*;
import javax.swing.text.html.*;
 
// Classe dérivée de HTMLDocument pour permettre de spécifier
// un reader différent dans la méthode getReader ()
public class HTMLDocumentLinks extends HTMLDocument
{
  // Ensemble des ancres de ce fichier HTML
  private Vector anchors = new Vector ();
  // Ensemble des liens URLs trouvés dans ce fichier 
  private Vector urls    = new Vector ();
  // Ensemble des URLs mal écrites dans ce fichier
  private Vector malformedURLs = new Vector ();
 
  // Constructeur
  public HTMLDocumentLinks (URL file)
  {
    // Mémorisation de la base du fichier HTML
    setBase (file);
  }
 
  public final Vector getAnchors ()
  {
    return anchors;
  }
 
  public final Vector getURLs ()
  {
    return urls;
  }
 
  public final Vector getMalformedURLs ()
  {
    return malformedURLs;
  }
 
  private void addAnchor (String anchor)
  {
    // Ajout de l'ancre à l'ensemble des ancres
    anchors.addElement (anchor);
  }
 
  private boolean ignoreURL (String urlString)
  {
    // Ajout uniquement des URLs relatives à ce fichier
    // (les fichiers sans protocole défini avec ':').
    // Eventuellement vous pouvez filtrer différemment les
    // URLs (pas de cgi par exemple,...)
    return urlString.indexOf (':') >= 0;
  }
 
  private void addURL (String urlString)
  {
    if (!ignoreURL (urlString))
      try
      {
        // Fabrication de l'URL relative à ce fichier
        // pour l'ajouter à l'ensemble des URLs qu'il référence
        URL url = new URL (getBase (), urlString);
        // Sous Java 1.2.1, bug sur la construction des URLs
        // si urlString commence par # avec le protocole file 
        // => construction differente de l'URL dans ce cas
        if (urlString.startsWith ("#"))
          url = new URL (getBase ().toString () + urlString);
 
        if (!urls.contains (url))
          urls.addElement (url);
      }
      catch (MalformedURLException e)
      {
        malformedURLs.addElement (urlString);
      }
  }
 
  // Méthode outrepassée pour fournir un reader différent
  public HTMLEditorKit.ParserCallback getReader (int pos)
  {
    return new LinkReader ();
  }
 
  // Les méthodes de cette classe sont rappelées par
  // le parser HTML suivant les différents tag HTML lus.
  // Ici, le but recherché est de garder une trace de tous
  // les tags qui font appels à des URLs (fichiers HTML, images,...).
  private class LinkReader extends HTMLEditorKit.ParserCallback
  {
    // Méthode appelée quand un tag de début est rencontré
    public void handleStartTag (HTML.Tag tag, MutableAttributeSet att, int pos)
    {
      String attribute;
      if (tag.equals (HTML.Tag.A))  // Tags <A NAME=...> ou <A HREF=...>
      {
        attribute = (String)att.getAttribute (HTML.Attribute.NAME);
        if (attribute != null)
          addAnchor (attribute);
        else
        { 
          attribute = (String)att.getAttribute (HTML.Attribute.HREF);
          if (attribute != null)
            addURL (attribute);
        }
      }
      else if (tag.equals (HTML.Tag.APPLET))  // Tag <APPLET CODE=...>
      {
        attribute = (String)att.getAttribute (HTML.Attribute.CODE);
        if (attribute != null)
        {
          String archive = (String)att.getAttribute (HTML.Attribute.ARCHIVE);
          if (archive != null)
            // Branchement sur le fichier d'archive s'il existe
            attribute = archive;
          else
            if (!attribute.endsWith (".class"))
              attribute += ".class";
 
          // Recherche du répertoire éventuel relatif à l'applet
          String codebase = (String)att.getAttribute (HTML.Attribute.CODEBASE);
          if (codebase != null)
            if (codebase.endsWith ("/"))
              attribute = codebase + attribute;
            else
              attribute = codebase + '/' + attribute;
          addURL (attribute);
        }
      }
      else if (   tag.equals (HTML.Tag.BODY)  // Tag <BODY BACKGROUND=...>
               || tag.equals (HTML.Tag.TABLE) // Tag <TABLE BACKGROUND=...>
               || tag.equals (HTML.Tag.TR)    // Tag <TR BACKGROUND=...>
               || tag.equals (HTML.Tag.TD))   // Tag <TD BACKGROUND=...>
      {
        attribute = (String)att.getAttribute (HTML.Attribute.BACKGROUND);
        if (attribute != null)
          addURL (attribute);
      }
    }
 
    // Méthode appelée quand un tag simple est lu
    public void handleSimpleTag (HTML.Tag tag, MutableAttributeSet att, int pos)
    {
      String    attribute;
      if (   tag.equals (HTML.Tag.FRAME) // Tag <FRAME SRC=...>
          || tag.equals (HTML.Tag.IMG))  // Tag <IMG SRC=...>
      {
        attribute = (String)att.getAttribute (HTML.Attribute.SRC);
        if (attribute != null)
          addURL (attribute);
      }
      else if (tag.equals (HTML.Tag.AREA)) // Tag <AREA HREF=...>
      {
        attribute = (String)att.getAttribute (HTML.Attribute.HREF);
        if (attribute != null)
          addURL (attribute);
      }
    }
 
    // HTMLEditorKit.ParserCallback définit aussi d'autres méthodes
    // qu'il est inutile d'outrepasser ici (tag de fin, commentaires, 
    // corps de texte,...)
  }
 
  // Méthode main () d'exemple de mise en oeuvre, prend en argument 
  // un nom de fichier HTML sous forme d'URL, par exemple :
  // java HTMLDocumentLinks file:/disk/dir1/index.html
  public static void main (String args [])
  {
    try
    {
      // Ouverture du fichier contenu dans l'argument 0
      URL    fileURL = new URL (args [0]);
      Reader urlReader = new BufferedReader (
                           new InputStreamReader (fileURL.openStream ()));
 
      // Création d'une instance de parser
      HTMLDocumentLinks doc = new HTMLDocumentLinks (fileURL);
 
      // Parsing du fichier HTML avec Swing
      new HTMLEditorKit ().read (urlReader, doc, 0);
      urlReader.close ();
 
      // Listing des ancres et des URLs trouvées dans le fichier
      System.out.println ("Liste des ancres :");
      for (Enumeration e = doc.getAnchors ().elements ();
           e.hasMoreElements (); )
        System.out.println (e.nextElement ());
 
      System.out.println ("\nListe des URLs :");
      for (Enumeration e = doc.getURLs ().elements ();
           e.hasMoreElements (); )
        System.out.println (e.nextElement ());
    }
    catch (IOException e)
    {
      System.out.println ("Probleme d'acces a l'URL : " + args [0]);
    }
    catch (BadLocationException e)
    { }
  }
}

Compilation

Pour utiliser le programme précédent, recopiez le programme source dans le fichier HTMLDocumentLinks.java, puis compilez-le d'une des manières suivantes :

Exécution

L'exemple de ce programme prend en paramètre l'URL d'un fichier HTML et écrit sur la sortie standard la liste des ancres et des liens qu'il contient.

Si vous utilisez Java 2, vous pouvez exécuter le programme avec par exemple, la ligne de commande suivante :
java HTMLDocumentLinks http://www.sun.fr/index.html

Et après...

La prochaine astuce décrit comment utiliser cette classe pour vérifier la validité des liens et des ancres d'un ensemble de fichiers HTML.


Page d'accueilFindIt !ContactAstuces JavaAstuces JavaDébut de la page
© Copyrights 1997-2015 Emmanuel PUYBARET / eTeks
- Tous droits réservés -
Astuces Java