Archives par étiquette : statistiques

LibQUAL+ [2] statistiques avec R

Le SCD de l’université d’Aix-Marseille a conduit une enquête LibQUAL+ en novembre 2015. L’ARL fournit un rapport détaillé sur les résultats de l’enquête mais il peut être intéressant d’analyser certains point plus particulièrement. Pour cela, les établissements disposent des données brutes (15 Mo pour AMU) mais comment les exploiter au mieux ? L’utilisation d’un tableur de type Excel s’avère vite inefficace et l’achat d’une licence pour SPSS un peu démesuré pour ce seul usage. Heureusement le logiciel R permet de gérer de manière très efficace le traitement de ce type de données statistiques. Ces traitements peuvent être facilement reproduit d’une enquête à l’autre en appliquant systématiquement les mêmes scripts.

Il est possible de faire un export en PDF ou EPS pour retravailler les graphiques dans un logiciel de dessin vectoriel pour une communication plus large sur des supports qui nécessitent un meilleur rendu. Voici quelques représentations graphiques possibles (radars et boites à moustaches) sur les observations recueillies.

Moyennes des niveaux sur les « Core Questions » pour le cycle Doctorat.

PlotD Copy

Moyennes des niveaux sur les « Core Questions » de deux universités (de taille identique ayant réalisé l’enquête simultanément).

PlotXU Copy

Médiane et quartiles du niveau perçu « LP-1 » en fonction de la bibliothèque.

PlotBU2-Copy3

Les scripts utilisés sont disponibles sur le GitHub du SCD AMU. Pour allez plus loin, le MOOC Introduction à la statistique avec R sur la plateforme FUN.

LibQUAL+ [1] AlchemyAPI

Le SCD de l’université d’Aix-Marseille a conduit une enquête LibQUAL+ en novembre 2015. 1490 commentaires libres ont été recueillis. La lecture complète des commentaires et le renseignement d’une grille d’analyse a permis de dégager les principales remarques concernant les services proposés par la bibliothèque.

En complément, les données produites par l’interrogation du service AlchemyAPI (IBM Watson) ont permis de recueillir de manière automatique une mesure du « sentiment » exprimé dans ces commentaires. Peter Corrigan, à l’université nationale d’Irlande, met à disposition deux scripts PERL pour interroger ce service à partir du fichier de commentaires fourni par l’ARL et de ranger les résultats dans une base données SQLite. On peut ensuite exécuter des requêtes SQL ou exporter la base au format CSV pour l’exploiter dans R par exemple.

> table(alchemy$sentimentPolarity)

   negative  neutral  positive 
 11     233      636       610

En pratique, cela marche relativement bien sur l’analyse des commentaires mais échoue sur l’analyse par mot clés en français. Si vous disposez de commentaires en anglais le résultat devrait être satisfaisant.

Alchemy

En complément la lecture de deux billets inspirants d’ Hubert Guillaud :
Les défis de l’interconnexion des systèmes (1/2) : l’économie des API
Les défis de l’interconnexion des systèmes (2/2) : jusqu’où automatiser le monde ?

résolveur de liens OpenURL [3] statistiques [2]

Que peuvent nous apporter les statistiques pour améliorer l’utilisabilité ?

La vitesse de chargement d’une page du résolveur varie entre 2 et 3 secondes dans la grande majorité des cas mais parfois ce temps peut aller jusqu’à 10 secondes voir plus. Dans sa version actuellement en production, chaque page fait appel à plusieurs serveurs (les données en provenance de Serials Solutions ; les fichiers javascript, css, images depuis jquerytools.org et dropbox ; le widget d’assistance depuis uservoice.com ; les fontes complémentaires et le script Analytics depuis les serveurs de Google ; des données bibliométriques depuis altmetric.com). Il faudra veillez à ne pas augmenter exagérément les appels à des services tierces et les placer judicieusement pour ne pas attendre que chacun ai donné sa réponse.

Nous pouvons aussi analyser, au travers du suivi d’évènements, les liens suivis depuis l’interface.

Evènements Google Analytics (plus de 1%)

article 46,54 %
googe scholar 14,36 %
revue 14,35 %
imprimé 10,27 %
doi 8,80 %
base de donnée 4,18 %

Le taux d’utilisation du rebond sur Google Scholar est significatif (14%), il s’agit d’un service qui semble bien utilisé lorsque le résolveur ne propose pas d’accès au texte intégral. A l’inverse les taux relativement élevés de clics sur les liens « revue » (14%) et « base de donnée » (4%) peuvent révéler un problème d’ergonomie de l’interface. Même si la présence du texte intégral n’est pas systématiquement signalée au niveau article, mauvaise définition de certaines cibles, les usagers semblent utiliser trop systématiquement les liens vers les revues ou les plateformes. Les noms de celles-ci sont-ils plus attirants pour le chercheur que la promesse d’obtenir son article via le lien « texte intégral » ?

Enfin, bien que l’interface du résolveur s’adapte aux différentes taille d’écran des terminaux (RWD), il semble que la recherche documentaire ne se fasse que marginalement sur des tablettes et des téléphones puisque cela représente à peine plus de 0,5% du total des visites.

résolveur de liens OpenURL [3] statistiques [1]

Deux outils de récupération des statistiques d’usages sont utilisés sur le résolveur de liens Aix Marseille Université. L’un est intégré au service 360 de Serials Solutions, il permet plus particulièrement d’analyser le trafic correspondant aux différentes sources et cibles. Le second, Google Analytics, est davantage orienté vers l’analyse des comportements sur l’interface.

Sources 360Link (plus de 1%) :

google 23,9%
www.isinet.com:WoK:UA 20,1%
CAS:CAPLUS 9,1%
www.isinet.com:WoK:WOS 8,4%
EBSCO:PsycINFO 7,6%
EBSCO:PASCAL 6,8%
EBSCO:MEDLINE 5,7%
EBSCO:FRANCIS 3,0%
PubMed:LinkOut 2,9%
EBSCO:Business Source Complete 1,9%
Elsevier:SD 1,7%
wiley.com:OnlineLibrary 1,0%

Google et PubMed sont les seuls à afficher la disponibilité réelle dès la page de résultats. Pour les autres sources, l’usager dispose d’un lien lui permettant d’interroger la disponibilité.

Pour les cibles les données sont plus complexes à exploiter car la quantité de données est importante mais aussi parce qu’elles sont agrégées dans l’outil 360 avec les recherches de type « répertoire des revues disponibles ». On retrouve évidement les poids lourds en tête de liste :

Fournisseurs cibles 360Link et 360EJPortal (top 5) :

Elsevier
Wiley-Blackwell
Springer-Verlag
EBSCOhost
Directory of Open Access Journals

Pour comparer, une référence recherchée sur cinq aboutit sur la plateforme ScienceDirect.

Revues cibles 360Link et 360EJPortal (top 15) :

Angewandte Chemie (International ed.)
The Lancet (British edition)
Encéphale
La revue de medecine interne
Archives de pédiatrie : organe officiel de la Société française de pédiatrie
Revue neurologique
Physical review letters
Tetrahedron letters
Physical review. B, Condensed matter and materials physics
Intensive care medicine
Critical care medicine
Chemistry : a European journal
PloS one
Chemical communications (Cambridge, England)
Journal of the American Chemical Society
American journal of physical anthropology

A titre de comparaison, la revue Angewandte Chemie, qui arrive en tête des consultations, totalise sur une année le nombre moyen de références recherchées sur une journée.

Google Analytics permet de consulter toutes les pages accédées sur l’interface du résolveur. Il serait alors possible d’analyser finement, non seulement les références accédées mais aussi l’ensemble des références recherchées, y compris celles non accédées (indisponibles dans les abonnements AMU).