Lookup
De Dbpedia.fr.
(Différences entre les versions)
(→Générer l'index Lookup : correction utilisation de rapper) |
|||
| Ligne 23 : | Ligne 23 : | ||
* Extraire les lexicalisations : | * Extraire les lexicalisations : | ||
| - | <nowiki>grep "lexvo" lexicalisation | + | <nowiki>grep "lexvo" lexicalisation > surface_forms.nq |
| - | + | rapper -i trig -o ntriples surface_forms.nq | sort | uniq > surface_forms.nt</nowiki> | |
| - | + | ||
* Extraire le decompte des liens entrants : | * Extraire le decompte des liens entrants : | ||
<nowiki>grep uriCount lexicalisation | \ | <nowiki>grep uriCount lexicalisation | \ | ||
sed "s/<http:\/\/dbpedia.org\/spotlight\/score#uriCount>/<http:\/\/dbpedia.org\/property\/refCount>/" > \ | sed "s/<http:\/\/dbpedia.org\/spotlight\/score#uriCount>/<http:\/\/dbpedia.org\/property\/refCount>/" > \ | ||
| - | + | ref_counts.nt</nowiki> | |
* Grouper le tout dans un fichier '''data-to-be-indexed.nt''': | * Grouper le tout dans un fichier '''data-to-be-indexed.nt''': | ||
<nowiki>cat ref_counts.nt \ | <nowiki>cat ref_counts.nt \ | ||
| Ligne 39 : | Ligne 38 : | ||
<nowiki>mvn scala:run -Dlauncher=Indexer \ | <nowiki>mvn scala:run -Dlauncher=Indexer \ | ||
"-DaddArgs=[repertoire cible]|[dump redirects]|[data-to-be-indexed.nt]"</nowiki> | "-DaddArgs=[repertoire cible]|[dump redirects]|[data-to-be-indexed.nt]"</nowiki> | ||
| - | |||
== Lancer le service Lookup == | == Lancer le service Lookup == | ||
Version du 20 février 2013 à 16:22
Page officielle : https://github.com/dbpedia/lookup
Ancienne page : http://wiki.dbpedia.org/lookup
Sommaire |
Générer l'index
Procédé reconstitué à partir de différentes sources :
- http://sourceforge.net/mailarchive/message.php?msg_id=30114800
- http://dbpedia.org/spotlight/technicaldocumentation#h140-7
Générer les surfaces à l'aide de SpotLight
- Charger le code de Spotlight
- Ajuster les paramètres du fichier conf/indexing.properties
- Ajuster les paramètres DBPEDIA_WORKSPACE et INDEX_CONFIG_FILE du fichier bin/index.sh
- Exécuter bin/index.sh
- Exécuter la classe org.dbpedia.spotlight.util.CreateLexicalizations (répertoire core) avec comme premier paramètre un nom du fichier de sortie (p.ex. lexicalisation) et en second paramètre le chemin d'accès au fichier surfaceForms-fromOccs.count généré à l'aide de bin/index.sh
Générer l'index Lookup
- Extraire les lexicalisations :
grep "lexvo" lexicalisation > surface_forms.nq rapper -i trig -o ntriples surface_forms.nq | sort | uniq > surface_forms.nt
- Extraire le decompte des liens entrants :
grep uriCount lexicalisation | \ sed "s/<http:\/\/dbpedia.org\/spotlight\/score#uriCount>/<http:\/\/dbpedia.org\/property\/refCount>/" > \ ref_counts.nt
- Grouper le tout dans un fichier data-to-be-indexed.nt:
cat ref_counts.nt \
surface_forms.nt \
instance_types_en.nt \
short_abstracts_en.nt \
article_categories_en.nt | sort >data-to-be-indexed.nt
- Lancer l'indexation :
mvn scala:run -Dlauncher=Indexer \
"-DaddArgs=[repertoire cible]|[dump redirects]|[data-to-be-indexed.nt]"
Lancer le service Lookup
- Mettre l'adresse [repertoire cible] dans le fichier default_index_path (seul contenu du fichier).
- Lancer le serveur :
mvn scala:run
Le serveur devrait tourner sur le port 1111. Voir https://github.com/dbpedia/lookup pour le guide d'utilisation.
