Lookup

De Dbpedia.fr.

Version du 22 février 2013 à 16:00 par Julien.Cojan (discuter | contributions)

(diff) ← Version précédente | Voir la version courante (diff) | Version suivante → (diff)

Aller à : Navigation, rechercher

Page officielle : https://github.com/dbpedia/lookup

Ancienne page : http://wiki.dbpedia.org/lookup

Sommaire

1 Générer l'index
- 1.1 Générer les surfaces à l'aide de SpotLight
- 1.2 Générer l'index Lookup
2 Lancer le service Lookup
3 Todo

Générer l'index

Procédé reconstitué à partir de différentes sources :

Générer les surfaces à l'aide de SpotLight

Charger le code de Spotlight
Ajuster les paramètres du fichier conf/indexing.properties
Ajuster les paramètres DBPEDIA_WORKSPACE et INDEX_CONFIG_FILE du fichier bin/index.sh
Exécuter bin/index.sh
Exécuter la classe org.dbpedia.spotlight.util.CreateLexicalizations (répertoire core) avec comme premier paramètre un nom du fichier de sortie (p.ex. lexicalisation) et en second paramètre le chemin d'accès au fichier surfaceForms-fromOccs.count généré à l'aide de bin/index.sh

Générer l'index Lookup

Extraire les lexicalisations :

grep "lexvo" lexicalisation > surface_forms.nq
rapper -i trig -o ntriples surface_forms.nq | sort | uniq > surface_forms.nt

Extraire le decompte des liens entrants :

grep uriCount lexicalisation | \
  sed "s/<http:\/\/dbpedia.org\/spotlight\/score#uriCount>/<http:\/\/dbpedia.org\/property\/refCount>/" > \
  ref_counts.nt

Grouper le tout dans un fichier data-to-be-indexed.nt:

cat ref_counts.nt \
      surface_forms.nt \
      instance_types_fr.nt \
      short_abstracts_fr.nt \
      article_categories_fr.nt | sort >data-to-be-indexed.nt

Lancer l'indexation :

mvn scala:run -Dlauncher=Indexer \
    "-DaddArgs=[repertoire cible]|[dump redirects]|[data-to-be-indexed.nt]"

Lancer le service Lookup

Mettre l'adresse [repertoire cible] dans le fichier default_index_path (seul contenu du fichier).
Lancer le serveur :

mvn scala:run

Le serveur devrait tourner sur le port 1111. Voir https://github.com/dbpedia/lookup pour le guide d'utilisation.

Todo

Régler pb de rapper qui remplace les caractères non ascci par des codes \uXXXX
Tester la prise en compte des redirects

Outils personnels