Outils personnels
User menu

Chargement des données dans Virtuoso

De Dbpedia.fr.

(Différences entre les versions)
(partie configuration déplacée vers une nouvelle page)
m (→Charger les données : rappel lancement isql)
 
(5 versions intermédiaires masquées)
Ligne 1 : Ligne 1 :
 +
== Supprimer les données à remplacer ==
-
== Essais ==
+
Lors de la suppression d'un volume de données important, Virtuoso peut bloquer voir [http://virtuoso.openlinksw.com/dataspace/doc/dav/wiki/Main/VirtTipsAndTricksGuideDeleteLargeGraphs la documentation de Virtuoso]. Pour éviter cela, changer le niveau de logs :
 +
<nowiki>$ isql-v
 +
> log_enable(3,1);</nowiki>
-
=== methode 1 ===
+
La suppression des données d'un graphe se fait par la commande :
 +
<nowiki>$ isql-v
 +
> SPARQL CLEAR GRAPH  <graph-name>;</nowiki>
-
DB.DBA.TTLP_MT(file_to_string_output('[fichier .nt]'), '', '[nom de graphe]', 255);
 
-
 
-
{|cellpadding="10" cellspacing="0" border="1"
 
-
|'''Machine'''
 
-
|'''RAM'''
 
-
|'''NumberOfBuffers'''
 
-
|'''MaxDirtyBuffers'''
 
-
|'''Temps de chargement'''
 
-
|'''max charge CPU (somme freq)'''
 
-
|'''max RAM utilisée'''
 
-
|-
 
-
|dbpedia.inria.fr, 2CPU
 
-
|8 Go
 
-
|2000
 
-
|1200
 
-
|2225054 msec - 37 min
 
-
|2500 MHz
 
-
|2600 Mo
 
-
|}
 
-
=== methode 2 ===
+
== Charger les données ==
-
Avec la librairie rdfloader.sql voir [http://virtuoso.openlinksw.com/dataspace/dav/wiki/Main/VirtBulkRDFLoaderExampleDbpedia tutoriel]
+
La fonction rdfloader est préinstallée depuis la version 6.1.5 de Virtuoso. Pour les verions précédentes, importer le sql donné dans ce [http://virtuoso.openlinksw.com/dataspace/dav/wiki/Main/VirtBulkRDFLoaderExampleDbpedia tutoriel]).
-
+
 
-
{|cellpadding="10" cellspacing="0" border="1"
+
* Sélectionnez les fichiers à charger :
-
|'''Machine'''
+
<nowiki>$ isql-v
-
|'''RAM'''
+
> ld_dir ('[répertoire des fichiers à charger]', '*.nt', 'http://fr.dbpedia.org');</nowiki>
-
|'''NumberOfBuffers'''
+
Remarque: selon la documentation, rdfloader est capable de lire directement les données dans des fichiers compressés en gzip, il faut alors remplacer <nowiki>'*.nt'</nowiki> par <nowiki>'*.nt.gz'</nowiki>.
-
|'''MaxDirtyBuffers'''
+
Ca ne marche pas avec des fichiers compressés en bzip2.
-
|'''Temps de chargement'''
+
 
-
|'''max charge CPU (somme freq)'''
+
Il faut aussi que le ''[répertoire des fichiers à charger]'' soit listé dans l'attribut '''DirsAllowed''' du fichier de configuration '''virtuoso.ini''', sinon un message d'erreur
-
|'''max RAM utilisée'''
+
* Lancer le chargement des données :
-
|-
+
<nowiki>> rdf_loader_run ();</nowiki>
-
|dbpedia.inria.fr, 2CPU
+
-
|8 Go
+
-
|680000
+
-
|500000
+
-
|190516 msec - 3 min
+
-
|2226 MHz
+
-
|1426 Mo
+
-
|-
+
-
|dbpedia.inria.fr, 2CPU
+
-
|8 Go
+
-
|2000
+
-
|1200
+
-
|542730 msec - 9 min
+
-
|3179 MHz
+
-
|2226 Mo
+
-
|}
+

Version actuelle en date du 4 septembre 2013 à 22:50

Supprimer les données à remplacer

Lors de la suppression d'un volume de données important, Virtuoso peut bloquer voir la documentation de Virtuoso. Pour éviter cela, changer le niveau de logs : 

$ isql-v
> log_enable(3,1);

La suppression des données d'un graphe se fait par la commande : 

$ isql-v
> SPARQL CLEAR GRAPH  <graph-name>;


Charger les données

La fonction rdfloader est préinstallée depuis la version 6.1.5 de Virtuoso. Pour les verions précédentes, importer le sql donné dans ce tutoriel).

  • Sélectionnez les fichiers à charger : 
$ isql-v
> ld_dir ('[répertoire des fichiers à charger]', '*.nt', 'http://fr.dbpedia.org');

Remarque: selon la documentation, rdfloader est capable de lire directement les données dans des fichiers compressés en gzip, il faut alors remplacer '*.nt' par '*.nt.gz'. Ca ne marche pas avec des fichiers compressés en bzip2.

Il faut aussi que le [répertoire des fichiers à charger] soit listé dans l'attribut DirsAllowed du fichier de configuration virtuoso.ini, sinon un message d'erreur

  • Lancer le chargement des données : 
> rdf_loader_run ();
Récupérée de « http://wimmics.inria.fr/projects/semanticpedia/doc/index.php/Chargement_des_donn%C3%A9es_dans_Virtuoso »
  • Dernière modification de cette page le 4 septembre 2013 à 22:50.
  • Cette page a été consultée 4 369 fois.