Mise à niveau de la plateforme d'acquisition et d'enrichissement de contenu — Phase 1 : remplacer un système sur mesure vieux de dix ans par SAP BusinessObjects Data Services.

À propos du client

La Société N est un fournisseur mondial de premier plan d'actualités et d'informations économiques. La Société N agrège du contenu provenant de plus de 30 000 sources sous licence et gratuites couvrant quelque 200 pays et des dizaines de langues, fournissant des données de recherche, de veille, de risque et de conformité à des clients entreprises du monde entier. Chacun de ces produits dépend de métadonnées exactes et richement structurées associées au contenu entrant.

Contexte sectoriel

La discipline que ce projet a modernisée, l'analyse automatisée de texte et l'extraction d'entités, n'a cessé de gagner en importance stratégique pour les entreprises de contenu et d'information. La croissance explosive du contenu du Web et des réseaux sociaux qui avait initialement conduit la Société N à dépasser les capacités de sa plateforme historique en 2012 n'a fait que s'accélérer, et les fournisseurs d'information d'aujourd'hui font face à un défi analogue à une échelle encore plus grande : produire des métadonnées suffisamment précises et fiables pour fonder des produits d'IA générative. La Société N s'est depuis étendue à une place de marché de contenu sous licence et a lancé des fonctionnalités de GenAI, qui dépendent du type de données d'entités propres et bien désambiguïsées que les améliorations de qualité des données de ce projet ont produites. Une plateforme de traitement de contenu évolutive et à l'échelle de l'entreprise, plutôt qu'un système conçu pour un seul produit, est ce qui permet à un fournisseur d'information de continuer à atteindre ce niveau d'exigence à mesure que le volume de contenu et les demandes produits ne cessent de croître.

Situation actuelle

La plateforme historique de la CAEP ne pouvait pas satisfaire les besoins métier actuels ou futurs de la Société N pour deux raisons structurelles : elle avait été conçue plus d'une décennie auparavant autour des seules exigences de la Société N, et la croissance intervenue du Web et des réseaux sociaux avait considérablement augmenté le volume de contenu entrant au-delà de ce que la plateforme était conçue pour traiter. Chaque produit, service et application éditoriale de la Société N nécessitait des types de contenu supplémentaires et des métadonnées plus riches que ce que le système historique pouvait produire. La Société N a conclu qu'une nouvelle plateforme unique de traitement de contenu à l'échelle de l'entreprise était le moyen le plus rentable de répondre à ces besoins, et a choisi Iknow pour fournir les services de conseil métier, de conseil technologique et d'intégration de systèmes nécessaires à sa réalisation.

• Une plateforme historique à usage unique. Les fonctionnalités d'analyse de texte et d'extraction d'entités de la CAEP avaient été développées sur mesure plus d'une décennie auparavant pour la seule Société N, la rendant structurellement incapable de servir l'ensemble des produits de la Société N qui en dépendaient désormais.
• Un volume de contenu dépassé. La croissance rapide des articles publiés et du contenu du Web et des réseaux sociaux avait poussé le volume entrant bien au-delà de ce que la plateforme historique pouvait traiter de manière fiable.
• Des exigences croissantes en métadonnées. Les produits et applications éditoriales de la Société N nécessitaient de plus en plus de types supplémentaires de contenu et de métadonnées que l'implémentation existante d'analyse de texte n'avait jamais été conçue pour produire.
• Tolérance zéro pour les interruptions. Tout remplacement du moteur central d'analyse de texte de la plateforme devait préserver un service ininterrompu pour un pipeline de production en direct alimentant les multiples produits de données structurées de la Société N.

• Installer, configurer, tester et intégrer SAP BusinessObjects Data Services v4.1 dans l'environnement de la CAEP.
• Migrer les fonctionnalités historiques d'analyse de texte de la plateforme vers Data Services avec un comportement fonctionnel équivalent.
• Mettre en place des environnements de développement, d'intégration/test et de production pour soutenir la nouvelle plateforme à l'avenir.
• Identifier et résoudre les goulots d'étranglement de performance sous des volumes de contenu représentatifs de la production.
• Livrer un socle technique et des recommandations pour la Phase 2 afin de guider la suite du programme pluriannuel de modernisation.

Comment Iknow a structuré le travail

Iknow a suivi une méthodologie structurée de développement et d'intégration de systèmes : installer et configurer les environnements de la nouvelle plateforme, analyser et documenter le système historique qu'elle remplaçait, construire et tester des fonctionnalités équivalentes sur la nouvelle plateforme, l'intégrer en production, puis documenter à la fois les résultats et la voie recommandée pour les phases suivantes.

Activités et décisions clés

• Installation de la plateforme et mise en place des environnements. Iknow a téléchargé et installé la version courante de SAP BusinessObjects Data Services, puis a mis en place des environnements de développement, d'intégration/test et de production configurés pour fonctionner dans l'environnement technique de la Société N.
• Analyse du système historique. L'équipe a analysé et documenté les entrées et sorties de l'implémentation existante d'analyse de texte afin d'établir une base fonctionnelle précise pour la migration.
• Migration fonctionnelle. Iknow a conçu, développé et implémenté dans Data Services des fonctionnalités d'analyse de texte reproduisant le comportement du système historique, puis a intégré les appels vers et depuis Data Services avec le reste de la plateforme CAEP.
• Tests et optimisation des performances. Les nouvelles fonctionnalités d'analyse de texte ont été testées sur un éventail d'échantillons de texte non structuré, et les données des tests de performance ont été analysées pour identifier et résoudre les goulots d'étranglement de traitement avant la mise en service.
• Documentation et transfert de connaissances. Iknow a produit l'ensemble complet de la documentation technique de la nouvelle implémentation ainsi qu'un compte rendu détaillé des résultats du projet et des principaux enseignements.

Parties prenantes et collaboration

Iknow s'est coordonnée avec le personnel technique et les architectes de plateforme de la Société N, dont beaucoup étaient les mêmes experts métier mobilisés lors de l'effort de documentation de la CAEP couvert dans l'étude de cas Iknow #142, ainsi qu'avec les équipes éditoriales et produits dont les applications dépendaient des métadonnées produites par la plateforme, y compris les services de codage éditorial de la société.

Reproduire avec précision un système sur mesure vieux d'une décennie

Migrer les fonctionnalités d'analyse de texte sans une compréhension précise de leur comportement existant risquait d'introduire des différences subtiles dans les sorties, susceptibles de se répercuter sur chaque produit en aval reposant sur ces métadonnées. Iknow y a répondu en analysant et documentant d'abord en détail les entrées et sorties de l'implémentation historique, puis en validant la nouvelle implémentation Data Services sur un large éventail d'échantillons de texte non structuré afin de confirmer l'équivalence fonctionnelle avant l'intégration.

Moderniser une infrastructure centrale sans perturber un pipeline en direct à fort volume

La CAEP ne pouvait pas être mise hors ligne ; elle traitait jusqu'à un million d'articles par jour pour des produits en usage continu. Iknow a atténué ce risque grâce à des environnements dédiés de développement, d'intégration/test et de production, et en menant des tests de performance structurés pour identifier et résoudre les goulots d'étranglement de traitement avant la mise en production des nouvelles fonctionnalités Data Services.

Résultats opérationnels

• Installation, configuration, test et intégration de la version courante de SAP BusinessObjects Data Services dans la plateforme d'acquisition et d'enrichissement de contenu.
• Migration des fonctionnalités historiques d'analyse de texte et d'extraction d'entités de la plateforme vers Data Services avec un comportement fonctionnel équivalent.
• Introduction de nouvelles fonctions de nettoyage et de qualité des données, essentielles pour standardiser les sorties d'extraction d'entités et soutenir les bases de données de référence de désambiguïsation d'entités.
• Introduction de capacités analytiques pour surveiller les performances de la plateforme et analyser les résultats en continu.

Résultats stratégiques et organisationnels

Le projet a lancé la transition de la Société N vers une plateforme ETL et de workflow leader du marché, fondée sur les services web, remplaçant un système historique à usage unique par une infrastructure capable de servir l'ensemble du portefeuille de produits de la société. Les clients de la Société N ont bénéficié d'une expérience mesurablement meilleure : davantage de contenu ingéré, des résultats de recherche plus exacts et plus précis, et un affichage et une visualisation des données plus riches ; le projet a en outre directement soutenu le développement des services de codage éditorial de la Société N. Iknow a également livré un document de recommandations pour la Phase 2, fournissant à la Société N une voie claire et fondée sur des éléments probants pour poursuivre la modernisation de la plateforme.

Délai avant impact

Iknow a achevé l'installation, les tests et l'intégration de SAP BusinessObjects Data Services au cours de la mission de quatre mois, livrant une mise à niveau de plateforme prête pour la production et un ensemble défini de recommandations pour la Phase 2 du programme plus large de modernisation de la CAEP.

Compétences clés

• Conseil technologique et intégration de systèmes
• Implémentation de plateformes d'intégration de données d'entreprise
• Ingénierie d'analyse de texte et d'extraction d'entités
• Qualité des données et désambiguïsation d'entités

Méthodes et cadres de référence

• Méthodologie d'analyse de systèmes historiques et de migration à équivalence fonctionnelle
• Tests de performance et analyse des goulots d'étranglement
• Documentation d'architecture technique et de conception détaillée

Technologies et outils

• SAP BusinessObjects Data Services v4.1 : ETL, analyse de texte, qualité des données et gestion des métadonnées