Outils personnels
User menu

AbstractExtractor

De Dbpedia.fr.

(Différences entre les versions)
(Mise en place du miroir de wikipedia en français : config apache)
(Mise en place du miroir de wikipedia en français : config de mediawiki)
Ligne 39 : Ligne 39 :
Il faut installer mediawiki avec la configuration particulière pour DBpedia (ne pas faire l'installation de mediawiki par l'interface web):
Il faut installer mediawiki avec la configuration particulière pour DBpedia (ne pas faire l'installation de mediawiki par l'interface web):
-
* installer les dépendances de mediawiki :  
+
* Installer les dépendances de mediawiki :  
** serveur web apache2 (parfois appelé httpd).
** serveur web apache2 (parfois appelé httpd).
** mysql
** mysql
Ligne 46 : Ligne 46 :
  <nowiki>git clone https://gerrit.wikimedia.org/r/p/mediawiki/core.git .</nowiki>
  <nowiki>git clone https://gerrit.wikimedia.org/r/p/mediawiki/core.git .</nowiki>
Le répertoire ''[RacineMediawiki]'' doit être accessible aux utilisateurs du groupe id utilisé par apache (souvent ''apache'' ou ''www-data'').
Le répertoire ''[RacineMediawiki]'' doit être accessible aux utilisateurs du groupe id utilisé par apache (souvent ''apache'' ou ''www-data'').
-
* configurer le serveur apache pour que l'adresse ''/mediawiki'' corresponde au dossier ''[RacineMediawiki]'', pour cela ajouter les lignes au fichier de configuration de apache (selon la configuration ''/etc/apache2/apache2.conf'' ou ''/etc/httpd/conf/httpd.conf''), voir dans un ''<nowiki><VirtualHost></nowiki>'':
+
* Configurer le serveur apache pour que l'adresse ''/mediawiki'' corresponde au dossier ''[RacineMediawiki]'', pour cela ajouter les lignes au fichier de configuration de apache (selon la configuration ''/etc/apache2/apache2.conf'' ou ''/etc/httpd/conf/httpd.conf''), voir dans un ''<nowiki><VirtualHost></nowiki>'':
  <nowiki>Alias /mediawiki [RacineMediawiki]
  <nowiki>Alias /mediawiki [RacineMediawiki]
<Directory /mediawiki>
<Directory /mediawiki>
Ligne 54 : Ligne 54 :
  <nowiki>sudo service httpd reload</nowiki>
  <nowiki>sudo service httpd reload</nowiki>
En tappant l'adresse ''http://localhost/mediawiki'' dans un navigateur, vous devez obtenir une page qui invite à poursuivre l'installation, '''il ne faut pas le faire'''.
En tappant l'adresse ''http://localhost/mediawiki'' dans un navigateur, vous devez obtenir une page qui invite à poursuivre l'installation, '''il ne faut pas le faire'''.
 +
* Copier le contenu du sous répertoire ''dump/src/main/mediawiki/'' du dépôt [https://github.com/dbpedia/extraction-framework DBpedia] dans ''[RacineMediawiki]''.
 +
* Installer les extensions listées à la fin du fichier ''[RacineMediawiki]/LocalSettings.php'', depuis le répertoire ''[RacineMediawiki]'':
 +
<nowiki>git clone https://gerrit.wikimedia.org/r/p/mediawiki/core.git; \
 +
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/Babel.git; \
 +
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/CategoryTree.git; \
 +
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/CharInsert.git; \
 +
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/Cite.git; \
 +
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/ExpandTemplates.git; \
 +
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/ImageMap.git; \
 +
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/InputBox.git; \
 +
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/Interwiki.git; \
 +
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/Math.git; \
 +
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/OggHandler.git; \
 +
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/ParserFunctions.git; \
 +
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/Poem.git; \
 +
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/StringFunctionsEscaped.git; \
 +
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/SyntaxHighlight_GeSHi.git; \
 +
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/timeline.git; \
 +
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/wikihiero.git</nowiki>

Version du 27 septembre 2013 à 13:03

Génère deux triplets par articles correspondant à un résumé court et un résumé long de l'article.


Sommaire

Triplets générés

short_abstract_fr.nt
dbr:[NomPage] rdfs:comment texte
long_abstract_fr.nt
dbr:[NomPage] dbpedia-owl:abstract texte


Produire les résumés

Pour fonctionner cet extracteur doit interroger l'API mediawiki d'une image de wikipédia. De par le nombre d'appels à l'API (une par article), il n'est pas possible d'interroger l'API de http://fr.wikipédia.org, il faut installer une version locale.

En pratique, seuls les résumés en français sont obtenus à l'aide de cet extracteur, les résumés dans d'autres langues sont importés de DBpedia.org.


Extraire les résumés en français

Les explications de cette section sont tirées de https://github.com/dbpedia/extraction-framework/wiki/Dbpedia-Abstract-Extraction-step-by-step-guide


Mise en place du miroir de wikipedia en français

Il faut installer mediawiki avec la configuration particulière pour DBpedia (ne pas faire l'installation de mediawiki par l'interface web):

  • Installer les dépendances de mediawiki :
    • serveur web apache2 (parfois appelé httpd).
    • mysql
    • php, php-xml (parfois déjà inclus dans le package php) et php-acl (parfois appelé php-pecl-acl).
  • installer la dernière version de mediawiki, dans le répertoire d'installation (noté dans la suite [RacineMediawiki]):
git clone https://gerrit.wikimedia.org/r/p/mediawiki/core.git .

Le répertoire [RacineMediawiki] doit être accessible aux utilisateurs du groupe id utilisé par apache (souvent apache ou www-data).

  • Configurer le serveur apache pour que l'adresse /mediawiki corresponde au dossier [RacineMediawiki], pour cela ajouter les lignes au fichier de configuration de apache (selon la configuration /etc/apache2/apache2.conf ou /etc/httpd/conf/httpd.conf), voir dans un <VirtualHost>:
Alias /mediawiki [RacineMediawiki]
<Directory /mediawiki>
   Allow from all
</Directory>

puis raffraîchir la configuration du serveur apache :

sudo service httpd reload

En tappant l'adresse http://localhost/mediawiki dans un navigateur, vous devez obtenir une page qui invite à poursuivre l'installation, il ne faut pas le faire.

  • Copier le contenu du sous répertoire dump/src/main/mediawiki/ du dépôt DBpedia dans [RacineMediawiki].
  • Installer les extensions listées à la fin du fichier [RacineMediawiki]/LocalSettings.php, depuis le répertoire [RacineMediawiki]:
git clone https://gerrit.wikimedia.org/r/p/mediawiki/core.git; \
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/Babel.git; \
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/CategoryTree.git; \
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/CharInsert.git; \
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/Cite.git; \
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/ExpandTemplates.git; \
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/ImageMap.git; \
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/InputBox.git; \
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/Interwiki.git; \
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/Math.git; \
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/OggHandler.git; \
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/ParserFunctions.git; \
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/Poem.git; \
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/StringFunctionsEscaped.git; \
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/SyntaxHighlight_GeSHi.git; \
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/timeline.git; \
git clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/wikihiero.git


ToDo:

  • initialisation de la bd MySQL (export MYSQL_HOME, correction script pour mysql_install_db).
  • execution du processus d'import par scala.
    • Rq on a eu besoin de supprimer "CHARACTER SET binary", ligne 60 de dump/org/dbpedia/extraction/dump/sql/Import.scala pour que ça marche.
    • Rq il faut rendre configurable l'adresse du wiki dans le code de AbsractExtractor.scala

Rq : Sous Ubuntu il a fallu modifier la configuration de apparmor pour autoriser la création d'une bd mysql dans le répertoire choisi.

Installation du Wiki

  • décompresser le fichier [rep depôt dbpedia]/bstractExtraction/mw-modified.tar.gz dans un répertoire accessible par le serveur web.
  • TODO: vérifier les droits d'accès aux fichiers
  • TODO: Ajuster les paramètres de Localhost.php


Chargement des données dans le wiki

  • Charger les outils fournis par DBpedia (peu importe le répertoire)
hg clone http://dbpedia.hg.sourceforge.net:8000/hgroot/dbpedia/dbpedia
  • Télécharger les fichiers suivants dans un répertoire [racine dumps]/frwiki/[YYYYMMDD]/ et les décompresser :
    • frwiki-[YYYYMMDD]-pages-articles.xml.bz2
    • frwiki-[YYYYMMDD]-categorylinks.sql.gz
    • frwiki-[YYYYMMDD]-imagelinks.sql.gz
    • frwiki-[YYYYMMDD]-image.sql.gz
    • frwiki-[YYYYMMDD]-langlinks.sql.gz
    • frwiki-[YYYYMMDD]-templatelinks.sql.gz

Ces fichiers se trouvent à l'adresse http://dumps.wikimedia.org/frwiki/[YYYYMMDD] où [YYYYMMDD] représente une date, p.ex. 20120917 représente le 17 septembre 2012.

TODO: expliquer l'utilisation de clean.sh et import.sh

$ ./clean.sh [racine dumps] fr
$ ./import.sh '[repertoire racine dumps]' '' 
'user=[compteMysql]&password=[mdpCompteMysql]' 
'--user=[compteMysql] --password=[mdpCompteMysql]' '[BDMysql]' 'fr'


Remarque: Pour obtenir du texte à partir du code wiki des articles de wikipédia, l'extracteur interroge le parseur de mediawiki. Il n'est pas nécessaire que l'article lui-même soit chargé dans le mediawiki interrogé. En revanche si des modèles sont utilisés, il est nécessaire que les pages modèles correspondantes aient été chargées pour que le mediawiki puisse générer leur rendu.

Á vérifier, mais à priori, il suffit juste de charger les pages de modèles (pages dont le titre commence par Modèle:, Template: en anglais) dans le wiki pour que l'extraction des abstracts fonctionne. Pour cela substituer le fichier frwiki-[YYYYMMDD]-pages-articles.xml par le résultat de l'extraction des page modèles à l'aide de Outil:WPDumpExtraction:

$ mv frwiki-[YYYYMMDD]-pages-articles.xml /
frwiki-[YYYYMMDD]-pages-articles-complete.xml
$./WPDumpExtraction.pl "<title>Modèle:" 0 0 /
frwiki-[YYYYMMDD]-pages-articles-complete.xml > frwiki-[YYYYMMDD]-pages-articles.xml


Importer les résumés d'autres langues

DBpedia.org contient les résumés dans de nombreuses langues, Ces résumés sont associés aux ressources de DBpedia.org mais on peut les importer modulo les liens d'équivalence avec les ressources de DBpedia en français. Pour importer les résumés d'une langue dont le code est [xx] (eg. fr pour le français, de pour l'allemand ...).


Préparer les liens owl:sameAs fr-en

Deux possibilités !

  • Utiliser le fichier frwiki-[AAAAMMJJ]-interlanguage-links.ttl.gz généré lors de l'extraction. Attention, les adresses des ressources de DBpedia.org doivent être dans le même format que pour les dumps de résumés que l'on va télécharger. A priori, il faut donc que les ressources de DBpedia fr soient identifiées par des URIs et celles de DBpedia en par des URIs.
$ gunzip -c frwiki-[AAAAMMJJ]-interlanguage-links.ttl.gz | grep "http://dbpedia" > same_as_fr_en.nt
  • Importer ces liens depuis DBpedia.org :
$ wget http://downloads.dbpedia.org/current/fr/interlanguage_links_same_as_fr.nt.bz2
$ bzcat interlanguage_links_same_as_fr.nt.bz2 | grep "http://dbpedia" > same_as_fr_en.nt


Ensuite trier le résultat selon les ressources de DBpedia en :

$ export LC_ALL=C (sinon les '_' sont ignorés lors du tri)
$ grep -v "^#" same_as_fr_en.nt | sort -k 3 > same_as_fr_en_sorted.nt


Préparer les résumés de la langue voulue

  • Importer les résumés associés aux ressources DBpedia.org :
$ wget http://downloads.dbpedia.org/current/[xx]/long_abstracts_en_uris_[xx].nt.bz2
$ wget http://downloads.dbpedia.org/current/[xx]/short_abstracts_en_uris_[xx].nt.bz2
  • Les trier selon les ressources de DBpedia en:
 $ export LC_ALL=C (sinon les '_' sont ignorés lors du tri)
 $ bzcat long_abstracts_en_uris_[xx].nt.bz2 | grep -v "^#" | \
sort -k 1 > long_abstracts_en_uris_[xx]_sorted.nt
 $ bzcat short_abstracts_en_uris_[xx].nt.bz2 | grep -v "^#" | \
sort -k 1 > short_abstracts_en_uris_[xx]_sorted.nt


Transposer les résumés aux ressources de DBpedia fr

 $ join -13 -21 same_as_fr_en_sorted.nt long_abstracts_en_uris_[xx]_sorted.nt | \
sed "s/^<[^>]*> \(<[^>]*>\) <[^>]*> ./\1/" > long_abstracts_fr_iris_[xx].nt
 $ join -13 -21 same_as_fr_en_sorted.nt short_abstracts_en_uris_[xx]_sorted.nt | \
sed "s/^<[^>]*> \(<[^>]*>\) <[^>]*> ./\1/" > short_abstracts_fr_iris_[xx].nt