Évaluation de logiciels d'analyse de sentiment pour la veille des réseaux sociaux.

À propos du client

La Société N fournit des contenus et des outils qui permettent aux entreprises de mieux comprendre leurs clients et de prendre des décisions plus rapides et mieux éclairées, et ses produits de veille médiatique combinent outils de recherche, contenus de qualité, méthodes de fouille de texte et capacités de visualisation pour aider les entreprises à comprendre la performance de leurs produits et leur position concurrentielle dans les médias traditionnels comme sur les réseaux sociaux. Iknow travaille avec la Société N depuis 2010 sur un éventail de missions de conseil technologique et d'intégration de systèmes, y compris des travaux antérieurs sur la stratégie de métadonnées et les initiatives de technologies sémantiques de la société, ce qui a donné à Iknow une connaissance approfondie de l'environnement de traitement des contenus de la Société N à l'entame de cette évaluation.

Contexte sectoriel

En 2013, le marché de l'analyse de sentiment et de la veille des réseaux sociaux était jeune et très fragmenté, avec plus de 50 fournisseurs — dont des sociétés comme Attensity, Clarabridge, Crimson Hexagon, Lexalytics et NetBase — proposant des approches sensiblement différentes de la notation du sentiment, de la couverture des sources de données et des caractéristiques de performance, sans produit dominant clairement supérieur. Pour une activité de veille médiatique comme celle de la Société N, la précision et la rapidité de la notation du sentiment déterminaient directement la crédibilité des analyses qu'elle pouvait vendre à ses propres clients, faisant du choix de la plateforme un véritable risque produit et réputationnel. Parce que les résultats de l'analyse de sentiment peuvent varier fortement d'un échantillon de texte à l'autre et que le « sentiment » lui-même est authentiquement subjectif, évaluer les fournisseurs de manière crédible exigeait un référentiel objectif validé par des humains, plutôt que de s'en remettre aux seules affirmations de précision des fournisseurs.

Situation actuelle

Jusqu'à ce projet, la Société N utilisait une application héritée pour analyser les sentiments exprimés dans les actualités et les réseaux sociaux et en rendre compte. L'objet de ce projet était de moderniser cette capacité et d'ajouter de nouvelles fonctionnalités analytiques, et le projet a débuté par un examen des exigences de la Société N afin de déterminer les fonctionnalités répondant le mieux aux besoins de ses clients.

• Une capacité d'analyse de sentiment héritée et dépassée. L'application héritée d'analyse de sentiment de la Société N ne répondait plus aux fonctionnalités analytiques dont son activité de veille médiatique et ses clients avaient besoin.
• Un marché de fournisseurs vaste, fragmenté et immature. Le marché des logiciels d'analyse de sentiment était vaste et fragmenté, avec plus de 50 fournisseurs et aucun produit clairement et manifestement supérieur.
• Aucune base indépendante pour valider les affirmations de précision des fournisseurs. Les affirmations de précision avancées par les fournisseurs ne pouvaient être crues sans validation indépendante et objective sur de véritables contenus d'actualités et de réseaux sociaux.
• La précision seule ne suffisait pas comme critère d'évaluation. La Société N devait savoir non seulement quel produit était le plus précis, mais aussi s'il pouvait satisfaire des exigences de latence réelles à grande échelle.

• Examiner les exigences de la Société N afin de déterminer les fonctionnalités répondant le mieux aux besoins des clients.
• Évaluer le marché des logiciels commerciaux d'analyse de sentiment et resserrer un vaste champ de fournisseurs en un ensemble maîtrisable de finalistes.
• Tester rigoureusement et objectivement les produits finalistes sur de véritables contenus d'actualités et de réseaux sociaux.
• Livrer une recommandation neutre vis-à-vis des fournisseurs et une feuille de route de mise en œuvre.

Comment Iknow a structuré le travail

Iknow a structuré la mission comme un entonnoir, allant de la définition des exigences à des tests rigoureux en laboratoire de 10 finalistes, en passant par un large balayage du marché couvrant plus de 50 produits — reflétant la méthodologie de sélection de fournisseurs et de plateformes d'Iknow pour transformer un champ de fournisseurs foisonnant et fragmenté en une recommandation défendable et fondée sur des preuves.

Activités et décisions clés

• Examen des exigences et balayage du marché. Iknow a examiné les exigences de la Société N pour déterminer les fonctionnalités répondant le mieux aux besoins de ses clients, puis a évalué plus de 50 logiciels d'analyse de sentiment sur le marché, en sélectionnant 10 pour des tests plus exhaustifs.
• Environnement de laboratoire et présentations des fournisseurs. Iknow a installé les logiciels retenus dans un environnement de laboratoire d'analyse de sentiment spécialement construit pour l'analyse, et a invité chacun des éditeurs sélectionnés à présenter les atouts de son produit devant un panel d'évaluation.
• Groupe témoin et dictionnaire de sentiment. Iknow a constitué un groupe témoin d'articles et d'objets de réseaux sociaux, en examinant manuellement les échantillons et en attribuant une note de sentiment à chaque objet, et a préparé un dictionnaire de mots porteurs de sentiment propre à la Société N pour l'environnement de laboratoire.
• Tests de précision et de performance. Iknow a soumis chaque logiciel à trois ensembles d'artefacts de réseaux sociaux et d'actualités présentant des degrés variables de sentiment exprimé à propos de différents types d'entités, et a mené des tests de performance sur chaque produit afin de déterminer s'il satisferait les exigences de latence de la Société N.
• Synthèse des résultats et recommandations. Iknow a comparé les résultats de l'analyse, présenté les résultats quantitatifs à la Société N, et préparé un rapport de recommandations ainsi qu'une feuille de route de mise en œuvre.

Parties prenantes et collaboration

Iknow est intervenu comme contractant principal, en collaboration avec l'activité de veille médiatique de la Société N et un panel d'évaluation qui a examiné les présentations des fournisseurs et les résultats des tests tout au long de la mission.

Comparer objectivement des produits sur une mesure intrinsèquement subjective

Comparer plus de 50 produits, puis les resserrer à 10 finalistes, sur une notion aussi intrinsèquement subjective que le sentiment risquait de produire des résultats reflétant simplement les arguments marketing de chaque fournisseur. Iknow y a répondu en construisant un groupe témoin noté manuellement, composé de véritables articles et objets de réseaux sociaux, ainsi qu'un dictionnaire de sentiment sur mesure propre à la Société N, donnant à chaque produit un référentiel cohérent et validé par des humains.

Concilier précision et exigences de performance réelles

Un produit très précis mais incapable de traiter les contenus assez vite ne conviendrait pas à une activité de veille médiatique opérant à grande échelle. Iknow y a répondu en menant des tests dédiés de performance et de latence sur chaque produit finaliste parallèlement aux tests de précision du sentiment, plutôt que d'évaluer la précision isolément.

Résultats quantitatifs

• Balayage initial du marché : plus de 50 logiciels d'analyse de sentiment évalués initialement.
• Finalistes testés : 10 produits finalistes retenus pour des tests exhaustifs en laboratoire.
• Infrastructure de test livrée : un environnement de laboratoire d'analyse de sentiment construit sur mesure pour la mission.
• Périmètre des tests : 3 ensembles d'artefacts de réseaux sociaux et d'actualités utilisés pour les tests de précision, couvrant des sentiments et des types d'entités variés.
• Durée de la mission : mission de deux mois.

Résultats qualitatifs

La valeur de ce projet pour la Société N comprenait une évaluation quantitative impartiale de 10 logiciels d'analyse de sentiment, un environnement de laboratoire d'analyse de sentiment pour l'évaluation continue des logiciels de veille des réseaux sociaux, et un ensemble de métriques pour comparer l'efficacité des logiciels d'analyse de sentiment. Elle comprenait également des recommandations sur les produits répondant le mieux aux exigences de la Société N, ainsi qu'une feuille de route de mise en œuvre et d'intégration. La Société N en est ressortie non seulement avec la recommandation d'un fournisseur, mais avec une capacité d'évaluation durable — l'environnement de laboratoire et les métriques — réutilisable pour ses futures décisions technologiques.

Délai avant impact

En deux mois de mission, Iknow a fait passer la Société N d'un champ de plus de 50 fournisseurs, via des tests de laboratoire rigoureux et objectifs, à une recommandation neutre vis-à-vis des fournisseurs et à une feuille de route de mise en œuvre prête à moderniser sa capacité d'analyse de sentiment pour la veille médiatique.

Compétences clés

• Évaluation de logiciels neutre vis-à-vis des fournisseurs
• Évaluation de l'analyse de sentiment et de l'analytique de texte
• Conception de laboratoires de test et développement de référentiels
• Tests de performance et de latence

Méthodes et cadres

• Resserrement du champ des fournisseurs piloté par les exigences
• Étalonnage sur groupe témoin validé par des humains
• Méthodologie combinée de tests de précision et de performance

Technologies et outils

• Environnement de laboratoire d'analyse de sentiment sur mesure et dictionnaire de mots porteurs de sentiment
• Logiciels commerciaux d'analyse de sentiment et de veille des réseaux sociaux