Wikidata pour Tous en tant que Service Local

‍

Introduction

Dans un article précédent, nous avons parlé de Wikidata, l'un des plus grands graphes de connaissances existants. Aujourd'hui, nous sommes heureux d'annoncer que nous rendons Wikidata plus accessible à l'ensemble de la communauté et à toute personne intéressée par les données liées ouvertes, des chercheurs aux ingénieurs.

‍

Contribution

Comme chacun le sait, Wikidata propose un service de requêtes public qui reçoit des millions de requêtes chaque jour. Pour éviter de surcharger ce service public avec de nombreuses demandes, il est possible de télécharger le jeu de données et de le charger dans le triplestore fourni. Cela peut cependant prendre jusqu'à 12 jours rien que pour indexer les données avant de pouvoir commencer à exécuter des requêtes ! Et vous auriez probablement besoin d'une machine considérable avec 200 Go de mémoire.

Ce que nous proposons aujourd'hui est une image Docker qu'il vous suffit de télécharger et de démarrer sur une petite machine (16 Go de mémoire peuvent suffire). Elle téléchargera une version compressée de Wikidata (~65 Go), et vous pourrez exécuter des requêtes SPARQL immédiatement après la fin du téléchargement. Ce service repose sur HDT, une structure de données compacte et un format de sérialisation binaire pour RDF qui maintient les grands jeux de données compressés pour économiser de l'espace tout en permettant les opérations de recherche et de navigation sans décompression préalable.

Ce projet est entièrement maintenu par The QA Company.

Si vous rencontrez des problèmes ou des difficultés, nous serions ravis d'en être informés et de tenter de les résoudre (contactez-nous).

‍

Conclusion

Nous utilisons Wikidata depuis longtemps et nous estimons aujourd'hui qu'il est temps de rendre à cette communauté une partie de ce qu'elle nous a donné. C'est pourquoi nous lui offrons une excellente alternative à son service de requêtes public.

‍

Merci, à bientôt !

‍