Outils personnels
User menu

Chargement des données dans Virtuoso

De Dbpedia.fr.

(Différences entre les versions)
m (→Charger les données : rappel lancement isql)
 
(11 versions intermédiaires masquées)
Ligne 1 : Ligne 1 :
-
== Configuration ==
+
== Supprimer les données à remplacer ==
-
* configuration du fichier /etc/odbc.ini :
+
Lors de la suppression d'un volume de données important, Virtuoso peut bloquer voir [http://virtuoso.openlinksw.com/dataspace/doc/dav/wiki/Main/VirtTipsAndTricksGuideDeleteLargeGraphs la documentation de Virtuoso]. Pour éviter cela, changer le niveau de logs :
-
  <nowiki>[Local Virtuoso]
+
  <nowiki>$ isql-v
-
Driver=/usr/lib64/virtodbc_r.so
+
> log_enable(3,1);</nowiki>
-
Address=127.0.0.1
+
-
Port=1111
+
-
UID=dba
+
-
</nowiki>
+
-
* configuration du fichier virtuoso.ini (/var/lib/virtuoso/db/virtuoso.ini) :
+
La suppression des données d'un graphe se fait par la commande :
-
suivant les conseils des commentaires : valeurs conseillées pour les paramètres NumberOfBuffers et MaxDirtyBuffers pour 8Go de memoire vive :
+
<nowiki>$ isql-v
-
  <nowiki>
+
> SPARQL CLEAR GRAPH  <graph-name>;</nowiki>
-
NumberOfBuffers=680000
+
 
-
MaxDirtyBuffers=500000
+
 
-
</nowiki>
+
 
 +
== Charger les données ==
 +
 
 +
La fonction rdfloader est préinstallée depuis la version 6.1.5 de Virtuoso. Pour les verions précédentes, importer le sql donné dans ce [http://virtuoso.openlinksw.com/dataspace/dav/wiki/Main/VirtBulkRDFLoaderExampleDbpedia tutoriel]).
 +
 
 +
* Sélectionnez les fichiers à charger :
 +
<nowiki>$ isql-v
 +
> ld_dir ('[répertoire des fichiers à charger]', '*.nt', 'http://fr.dbpedia.org');</nowiki>
 +
Remarque: selon la documentation, rdfloader est capable de lire directement les données dans des fichiers compressés en gzip, il faut alors remplacer <nowiki>'*.nt'</nowiki> par <nowiki>'*.nt.gz'</nowiki>.
 +
Ca ne marche pas avec des fichiers compressés en bzip2.
 +
 
 +
Il faut aussi que le ''[répertoire des fichiers à charger]'' soit listé dans l'attribut '''DirsAllowed''' du fichier de configuration '''virtuoso.ini''', sinon un message d'erreur
 +
* Lancer le chargement des données :
 +
  <nowiki>> rdf_loader_run ();</nowiki>

Version actuelle en date du 4 septembre 2013 à 22:50

Supprimer les données à remplacer

Lors de la suppression d'un volume de données important, Virtuoso peut bloquer voir la documentation de Virtuoso. Pour éviter cela, changer le niveau de logs : 

$ isql-v
> log_enable(3,1);

La suppression des données d'un graphe se fait par la commande : 

$ isql-v
> SPARQL CLEAR GRAPH  <graph-name>;


Charger les données

La fonction rdfloader est préinstallée depuis la version 6.1.5 de Virtuoso. Pour les verions précédentes, importer le sql donné dans ce tutoriel).

  • Sélectionnez les fichiers à charger : 
$ isql-v
> ld_dir ('[répertoire des fichiers à charger]', '*.nt', 'http://fr.dbpedia.org');

Remarque: selon la documentation, rdfloader est capable de lire directement les données dans des fichiers compressés en gzip, il faut alors remplacer '*.nt' par '*.nt.gz'. Ca ne marche pas avec des fichiers compressés en bzip2.

Il faut aussi que le [répertoire des fichiers à charger] soit listé dans l'attribut DirsAllowed du fichier de configuration virtuoso.ini, sinon un message d'erreur

  • Lancer le chargement des données : 
> rdf_loader_run ();
Récupérée de « http://wimmics.inria.fr/projects/semanticpedia/doc/index.php/Chargement_des_donn%C3%A9es_dans_Virtuoso »
  • Dernière modification de cette page le 4 septembre 2013 à 22:50.
  • Cette page a été consultée 4 153 fois.