Tout ce qu’il faut savoir pour crawler tranquilement

Publié dans PHP | Laisser un commentaire
22 Juil 2009

Ah, avant toute chose qu’est-ce que j’entends par le mot « crawler » ? On pourrait appeler ça « scrapper », « looter », voir même « pirater ». En fait l’idée est de créer un petit programme dont le but va être de récupérer des informations sur un site Web qui se trouve en ligne (ou pas). Exactement comme fait le GoogleBot ou les autres robots de moteurs de recherche. Et comme font aussi les robots qui cherchent des adresses e-mails pour faire du spam… Bref, on voit qu’il peut y avoir un petit problème éthique derrière le scrolling, mais c’est une discipline qui peut être tout à fait noble et utile autant pour le crawleur que pour le crawlé. Mais je ne vais pas faire de débat philosophique, plutôt parler technique.
Durant le stage que j’effectue actuellement, j’ai pas mal l’occasion de crawler des sites Web, voici donc un résumé de fonctions ou de techniques qui peuvent être utiles.

Le crawling en résumé

L’idée principale est de faire automatiquement rapidement ce que l’on aurait dû faire à la main en mettant beaucoup de temps. Pour cela, on fait une petite étude des urls du site que l’on souhaite crawler. Par exemple, si c’est une liste d’article, les pages de chaque article auront peut-être un url avec quelque chose du genre : article.php?id=1452112. A partir de la :

 $url = 'article.php?id={id}'; for($i=1; $i<=$nbArticle; $i++) {
	$urlAScroller = str_replace('{id}', $i, $url);
	$content = file_get_contents($urlAScroller);
	// Regex et explode sur $content pour récupérer les informations souhaitées }

Continuer la lecture →

De la pédagogie des tutoriels sur le Web (et ailleurs)

Publié dans Geekeries | 2 commentaires
20 Juil 2009

Voilà tout de même un petit bout de temps que je me farcie des tutoriels dans le domaine de l’informatique, que ce soit dans des livres, ou sur la Toile elle même. Et je remarque quand même quelques trucs : * Quand il y a trop de gros pavés à lire, je ne lis qu’en diagonale ou je zappe tout de suite. Parfois, lorsque c’est intéressant, je reviens dessus. * Lorsqu’il n’y a pas d’exemples, il est rare que je prenne plus de quelques minutes pour essayer de comprendre. * Lorsque la mise en page et propre est aérée, lorsque des illustrations complètent les propos : j’ai tendance à plus prendre le temps de lire et de comprendre. %%% Bref, j’ai l’impression que pour faire un bon tutoriel dans le domaine de l’informatique (et ça doit fonctionner pour plein d’autres choses), il faut, idéalement : # Introduire brièvementle sujet pour savoir ce que l’on va apprendre, donner envie. # Expliquer brièvement avec des illustrations ou des schémas explicatifs. # Donner des exemples, si possible testables en ligne, expliqués et décortiqués. # Reste à expliquer en détails, avec tableaux de propriétés, tout ce que vous voulez. ((/public/Divers/schema_peda.png|De la pédagogie des tutoriels|C|De la pédagogie des tutoriels, juil. 2009)) Bref, j’ai encore beaucoup de choses à apprendre. (et d’outils à développer pour pouvoir faire tout ça en moins de 30 minutes)

Coloration syntaxique du code sous Dotclear

Publié dans Dotclear | Un commentaire
17 Juil 2009

Un autre titre aurait pu être : Comment tu fais pour [que] le code PHP il soit tout joli en couleur et tout Oo ! (comme l’a si bien dit j-b)
En fait, c’est assez simple il suffit de faire un tour sur le site officiel de Dotclear et de télécharger le plugin SyntaxeHl. Reste à l’installer dans l’administration (Système > Extensions > Installer ou mettre à jour une extension) en uploadant directement le fichier ZIP du plugin.
Gestion des extensions
Reste encore à activer le plugin (si besoin) dans le gestionnaire d’extensions (Système > Extensions > Gestion des extensions), et dans les paramètres du blog (Tableau de bord > Paramètre du blog > tout en bas) : et voilà le travail !
Lorsque vous utilisez la syntaxe Wiki, il vous suffit alors de faire précéder votre code par ///[nom du langage en minuscule] et de la faire suivre par ///.

Lorsque vous utilisez la syntaxe XHTML, en théorie c’est < nom du langage en minuscule >< / nom du langage en minuscule >, mais moi ça ne fonctionnait pas. (c’est une des raisons qui me pousse à utiliser la syntaxe Wiki)

Un petit exemple ?
///[ php ]
$var = 'PHP';
echo 'Ceci est du code '.$var;
///
donne

$var = 'PHP';
echo 'Ceci est du code '.$var;

Une fonction regex bien utile : preg_match_all

Publié dans PHP | 2 commentaires
16 Juil 2009

J’avais utilisé cette fonction il y quelques temps et je n’arrivais à mettre la main dessus. preg_match_all() est très pratique lorsque l’on souhaite récupèrer plusieurs données d’un seul coup. Que fait-elle en gros ? On lui fournit un pattern (comme pour une regex classique, c’est le patron de ce que l’on cherche), une chaine de caractères dans laquelle effectuer la recherche, un array dans lequel on mettra les données et des options si besoin.

  • Dans la case 0 de l’array de retour, on aura un array avec toutes les chaines de caractères correspondant au pattern. (ce qui correspond au $0)
  • Dans la case 1 de l’array de retour, on aura un array avec tous les $1 de chaque chaines de caractères correspondant au pattern.
  • Dans la case 2, de l’array de retour, on aura un array avec tous les $2, … et ainsi de suite.

Exemple

Dans ma variable $content, j’ai le contenu suivant :

Nom : Duck, Prénom : Donald;
Nom : Mouse, Prénom : Mickey;
Nom : Duck, Prénom : Daisy;

Pour récupèrer les noms et prénoms de chacun des personnages, je peux donc utiliser la regex suivante :

preg_match_all('!Nom : ([^,]+), Prénom : ([^,]+);\n!isU', $content, $out, PREG_PATTERN_ORDER);

Affichons l’array de retour à l’arrache pour voir le résultat :

echo '<pre>'; print_r($out); echo '<pre><br />';

On voit bien que l’on un array avec des sous array content $0, $1, etc. On peut donc afficher noms et prénoms (ou les enregistrer dans une base de données si l’on préfère) de la manière suivante :

$nb = count($out[0]); for($i=0; $i<$nb; $i++) { 
	echo 'Patron : '.$out[0][$i].'<br />'; 
	echo $out[1][$i].' '; 
	echo $out[2][$i].'<br />';
}

Tout ceci nous évite d’utiliser plein de preg_replace() couplés avec un petit explode(). Quand c’est possible, c’est tout de même bien plus simple avec preg_match_all(). Bon, comme ça, je suis sûr de ne plus oublier cette petite fonction bien pratique.

Classes abstraites et finales

Publié dans PHP objet | 2 commentaires
15 Juil 2009

Les notions de classes abstraites et classes finales permettent de sécuriser notre programmation PHP, dans le sens qu’elles permettent d’éviter qu’un programmeur, reprenant notre code, n’en contourne la logique et s’égare ainsi sur une fausse piste.
En effet :

  • Class abstraite : class qui ne peut être instanciée, il est donc OBLIGATOIRE de créer une class héritante de cette class pour s’en servir. Utile lorsque l’on créé une class générique qui ne servira qu’à créer des sous class et non à être instanciée. Une telle class ne contient donc pas de __construct() puisqu’elle n’est pas instanciée. Mot clef : abstract.
  • Class finale : class qui NE PEUT PLUS avoir de sous-class, c’est-à-dire de class héritante. Les méthodes de cette class ne pourront être surchargées (réécrites, redéfinies). Mot clef : final. De la même manière, on peut aussi déclarer des méthodes abstraites et finales.
  • Méthode abstraite : méthode qui doit OBLIGATOIREMENT être surchargée (réécrite, ou redéfinie). Une class contenant une méthode abstraite doit aussi être abstraite. Mot clef : abstract.
  • Méthode finale : méthode qui NE PEUT ÊTRE surchargée (réécrite, redéfinie). Une class finale s’applique sur toutes les méthodes ou attributs de la classe, alors qu’ici on ne touche qu’à une seule méthode. Mot clef : final. Pour bien comprendre ces 2 notions et en saisir mieux l’intérêt voici plusieurs exemples, un pour chaque cas.

Class et méthodes abstraites

 abstract class Site {
	protected $type;
	protected $name;
	public function getType()
	{
		return $this->type;
	}
	public function getName()
	{
		return $this->name;
	}
}
$monSite = new Site();
echo $monSite->getType(); // Erreur : on tente d'instancier une classe abstraite

Continuer la lecture →

Cahier des charges : Doodle like en PHP objet

Publié dans Projets | 2 commentaires
14 Juil 2009

Bon, il me semble que j’ai fait un bon tour de la théorie au sujet du PHP objet (j’ai encore au moins 2 billets théoriques à écrire), et je l’applique déjà depuis plusieurs semaines durant mon stage. Mais maintenant j’aimerai bien me faire un petit projet tout en PHP objet. Je ne sais pas si vous connaissez Doodle ? Je trouve le concept vraiment génial. Ce site permet à n’importe qui de créer des sondages classiques, ou alors des sortes de sondages permettant de fixer facilement une date d’un rendez-vous pour autant de personnes que l’on souhaite. Je vais donc réaliser dans les jours à venir (et j’espère arriver aux termes de ce projet) un Doodle like (j’ai pas encore d’idées de nom… mais ça viendra) !
Voici donc un cahier des charges d’un Doodle like.

Feuille de route

  • Version tout en PHP (orienté objet) sans aucun Javascript ou autre. Fonctionnalité : « Trouver une date ».
  • Ajout du Javascript pour la fonctionnalité « Trouver une date » et le reste du site.
  • Ajout de fonctionnalités « Faire un choix », « Sondage », « Qui prend quoi, pour un repas », ou autre, et amélioration des fonctionnalités présentes. En PHP (orienté objet) d’abord puis en améliorant avec le Javascript.

Continuer la lecture →

Générer un array de plus de 2 400 000 éléments

Publié dans PHP | Un commentaire
13 Juil 2009

Peut-être avez-vous déjà essayé de créer un array très très grand. Moi oui. Mon problème c’est que les valeurs que contenaient mon array étaient aussi très grande. En fait j’ai essayé de générer un array contenant 2 600 000 éléments allant de 1 à 2 600 000.

Naïvement avec une boucle for

 $a_cle = array();
for($i=1;$i<=2600000;$i++) {
   $a_cle[] = $i;
}

Mais là… erreur : Fatal error: Allowed memory size of 268435456 bytes exhausted (tried to allocate 16 bytes) in /var/agence.php on line 52

Un peu plus malin avec range()

$a_cle = range(1, 2600000);

Mais là… erreur : Fatal error: Allowed memory size of 268435456 bytes exhausted (tried to allocate 16 bytes) in /var/agence.php on line 52

Futé avec array_flip

En fait, je me suis aperçu que ce dont j’avais besoin c’était des numéros que je pouvais prendre au hasard (mais jamais les mêmes) allant de 1 à 2600000, mais pas forcément d’un array avec les clés allant de 1 à 2600000 et les valeurs allant de 1 à 260000. Donc j’ai créé avec array avec des clés allant de 1 à 2600000 et des valeurs toutes à 1.

$a_cle = array_flip($a_cle);
$cle = array_rand($a_cle);
echo $cle; unset($a_cle[$cle]);

Vous me direz que j’aurai pu modifier le php.ini pour augmenter l’espace mémoire utilisable par PHP, mais :

  • je n’y avais pas accès
  • je ne savais comment faire à l’époque :p

Optimiser ses requêtes MySQL

Publié dans SQL | 4 commentaires
10 Juil 2009

Je travaille actuellement sur une table MySQL qui va contenir près de 7 millions de tuples (avec une quinzaine de colonnes chacun bien sûr, ce ne serait pas drôle sinon !), il se trouve qu’elle en contient déjà près de 3 millions, et que je suis obligé de faire une vingtaine de requêtes différentes dans cette table pour chaque page et que, par conséquent, le site qui l’utilise plante à fond. La mémoire utilisable par MySQL est dépassée. Alors certes, on peut modifier la taille de la mémoire utilisable par MySQL (et il faudrait aussi sûrement modifier la durée maximum d’exécution d’un script PHP), mais le but c’est quand même de charger des pages en moins de 30 secondes. J’ai donc cherché des réponses sur le Web et auprès des développeurs de ma boîte. Voici donc quelques points que j’ai pu retenir.

Structure de la table

Il vaut mieux éviter, sauf si c’est nécessaire, l’utilisation de champ NULL par défaut. En effet, comme on peut le voir sur cet article d’Apprendre PHP NULL est une valeur spéciale qui nécessite un traitement spécial, MySQL ne peut pas le tester avec un égal et ne peut le comparer à la chaine vide ou à 0, il est obligé d’utiliser IS ou le symbole équivalent <=>. NULL par défaut est d’autant plus à bannir pour les index. Utiliser des colonnes avec le meilleur type et la meilleure taille possible. Un prénom n’a par exemple par besoin d’être en VARCHAR(255), un VARCHAR(20) suffit plus que largement. Une bonne technique pour optimiser ses tables est d’utiliser PROCEDURE ANALYSE(). On créé ses tables au feeling (je parle juste de la structure, vous ne couperez pas à la normalisation tout ça, héhé), on les remplie avec un contenu à peu près définitif est on utilise une requête du style :

SELECT id, titre, message FROM blog PROCEDURE ANALYSE()

MySQL va nous répondre un joli petit array avec la taille max et min de chaque colonne id, titre et message, quelques autres informations intéressantes et surtout une proposition de type(taille) optimisée à votre table. Encore une fois, c’est l’article d’Apprendre PHP qui en montre un exemple vraiment parlant.
Continuer la lecture →

Multilangue pour WordPress

Publié dans Wordpress | 3 commentaires
09 Juil 2009

Comment rendre WordPress multilangue (ou multilingue, comme vous voulez) ? C’est-à-dire comment faire en sorte que les billets, les tags, les catégories, les pages et les liens, (voir le titre, les titres des menus, etc…) soient accessibles en différentes langues ? Il y a plusieurs solutions :

  • Modifier soit même WordPress
  • Modifier WordPress à l’aide d’un plugin Et plusieurs modes de traduction :
  • Traduction automatisée avec Google Translate ou autre (peu recommandé)
  • Traduction à la main de chaque billets, tags, catégories, pages, liens… (recommandé) C’est en général la traduction du design, du titre, des menus, etc, qui pose le plus de problèmes.

Continuer la lecture →

Google Alertes

Publié dans Référencement | Un commentaire
08 Juil 2009

Je viens de découvrir un outils qui peut être bien utile lorsque l’on s’intéresse à un sujet en particulier, ou plus pratiquement, si l’on souhaite surveiller les sites parlant d’un thème similaire au(x) sien(s) sur la Toile. Il s’agit de Google alertes.

L’idée est toute simple : j’ai un site sur les brioches et je veux savoir l’actualité de la brioche sur le Web. J’inscris le mot clef « brioche » dans ma liste de termes recherchés de Google Alertes, et ce dernier m’indiquera au fil du temps par e-mail ou via un flux RSS (visible directement via Google reader) les derniers sites qui en parle. Cela permet, par exemple, de faire des rétro-liens sur des billets intéressants parlant du même sujet que les siens, ou de donner des compléments d’informations, ou des remarques sur le forum ou les commentaires du site en question, avec un lien vers son propre site dans la signature.

Bref, on n’arrête pas le progrès ! (et moi j’apprends de plus en plus de choses dans le domaine du référencement)