Diseñar la próxima generación de inteligencia de contenidos.

Acerca del cliente

La Empresa N es una compañía global de noticias e información.

Contexto del sector

Para un editor que procesa más de un millón de artículos al día, la precisión y la riqueza de los metadatos extraídos automáticamente determinan directamente la calidad del producto, ya que los clientes dependen de un etiquetado preciso de entidades y de señales más profundas, como el sentimiento y la relevancia regional, para buscar, filtrar y monitorear el contenido que les interesa. Para 2010, la tecnología de procesamiento de lenguaje natural y extracción de entidades había madurado lo suficiente como para permitir un etiquetado automatizado cada vez más sofisticado, pero el software subyacente aún se encontraba en una etapa temprana de su ciclo de vida, lo que significaba que las organizaciones que intentaban un enriquecimiento de metadatos a gran escala necesitaban una verdadera disciplina de arquitectura de plataformas (diseño orientado a servicios, archivos de autoridad, capas de orquestación) en lugar de simplemente añadir soluciones puntuales. Avanzar desde la extracción básica de entidades hacia capacidades de orden superior, como el análisis de eventos, el análisis de credibilidad y el razonamiento simulado, representaba la vanguardia de la inteligencia de contenidos en ese momento, anticipando capacidades que más tarde serían centrales para la IA de lenguaje natural.

Situación actual

El primer paso de la Iniciativa de Mejoras de la Plataforma Central consistía en desarrollar una estrategia y una hoja de ruta integrales para la creación y el uso de metadatos y ontologías. La Empresa N pidió a Iknow que liderara la creación de una estrategia y una hoja de ruta para ampliar los tipos y la calidad de los metadatos asignados durante el procesamiento de contenidos.

Este proyecto se desarrolló en paralelo con otro esfuerzo en el que Iknow ayudó a la Empresa N a construir un marco más amplio de priorización de proyectos para su cartera de TI, aplicado específicamente a las aproximadamente tres docenas de proyectos candidatos que componían el trabajo de metadatos y arquitectura de contenidos aquí descrito.

• Cobertura de metadatos insuficiente frente al volumen y la complejidad del contenido. La Empresa N procesaba más de un millón de artículos de noticias al día, pero la extracción de metadatos existente no capturaba toda la gama de personas, empresas, organizaciones y marcas presentes en ese contenido.
• Falta de capacidades de metadatos de orden superior. La compañía carecía de capas adicionales de metadatos, como el etiquetado regional granular y el análisis de sentimiento, que sus productos y servicios requerían cada vez más.
• Sin una comprensión de referencia de la capacidad de procesamiento actual. No existía una visión documentada de la capacidad, el rendimiento ni las limitaciones actuales de procesamiento de información en los sistemas centrales de procesamiento de contenidos de la Empresa N.
• Sin una estrategia unificadora para la inversión en metadatos. La Empresa N necesitaba una estrategia y una hoja de ruta plurianuales coherentes para la creación de metadatos y ontologías, no una serie de mejoras puntuales desconectadas.

• Comprender las necesidades de procesamiento de información del estado actual y futuro para los productos y servicios existentes y planificados.
• Realizar una revisión detallada de los procesos centrales de información de la Empresa N, incluidas las limitaciones de rendimiento y capacidad.
• Desarrollar una estrategia integral de procesamiento de metadatos que abarque el flujo de trabajo y la arquitectura tecnológica.
• Entregar una hoja de ruta de implementación plurianual con cronogramas, hitos y requisitos de recursos.

Cómo estructuró Iknow el trabajo

Iknow estructuró el proyecto en torno a la revisión de procesos del estado actual y futuro, la definición de una visión con participación de los ejecutivos, el benchmarking y el análisis de brechas, y una estrategia integral traducida en una hoja de ruta por fases, reflejando la metodología de Iknow de estrategia de metadatos y diseño de esquemas para fundamentar una visión ambiciosa de inteligencia de contenidos en una arquitectura técnica realista y secuenciada.

Actividades y decisiones clave

• Evaluación de necesidades del estado actual y futuro. Iknow trabajó para comprender las necesidades de procesamiento de información del estado actual y futuro para los productos y servicios existentes y planificados de la Empresa N.
• Revisión de los procesos centrales. Iknow realizó una revisión detallada de los procesos centrales de información de la Empresa N, incluidos diagramas de flujo de información y modelos de procesos detallados, una evaluación del rendimiento actual y estimaciones de las limitaciones actuales de capacidad de hardware y software.
• Visión ejecutiva y benchmarking. Iknow involucró a los ejecutivos en la identificación de opciones arquitectónicas del estado futuro y en la definición de una visión del estado futuro, y luego comparó el rendimiento actual de las aplicaciones de procesamiento de contenidos con las referencias disponibles para identificar brechas de rendimiento.
• Reingeniería de procesos y planificación de la implementación. Iknow identificó y priorizó oportunidades de reingeniería de procesos, rediseñó los procesos existentes según correspondía y desarrolló el enfoque óptimo de implementación, incluidos cronogramas, hitos y requisitos de recursos.
• Estrategia de metadatos y diseño de la plataforma. Iknow desarrolló una estrategia integral de metadatos organizada en ocho áreas de recomendación, incluido un flujo de trabajo de procesamiento de metadatos orientado a servicios y una plataforma tecnológica de tres componentes, y recomendó un enfoque de "lo mejor de cada categoría" para incorporar software comercial, dado lo temprano que se encontraban las tecnologías subyacentes en sus ciclos de vida.
• Hoja de ruta de implementación en tres fases. Iknow desarrolló una hoja de ruta plurianual en tres fases que avanza desde el etiquetado fundamental de entidades y conceptos, pasando por la extracción de hechos, relaciones y sentimiento, hasta las inferencias simples y el razonamiento simulado.

Partes interesadas y colaboración

Iknow actuó como contratista principal, trabajando directamente con los ejecutivos de la Empresa N para definir la visión del estado futuro y con los equipos técnicos y de contenidos de la Empresa N a lo largo de la revisión de procesos y el desarrollo de la estrategia.

Diseñar inteligencia de contenidos sofisticada a escala masiva

Construir una verdadera inteligencia de contenidos (desambiguación, sentimiento, eventos, razonamiento) que a la vez fuera práctica de operar sobre más de un millón de artículos al día exigía algo más que un único motor monolítico. Iknow lo resolvió diseñando una arquitectura orientada a servicios que descomponía el procesamiento de metadatos en más de 20 servicios discretos y orquestados, además de archivos de autoridad, lo que permitía añadir y mejorar capacidades de forma incremental en lugar de requerir una única solución que lo abarcara todo.

Evitar la dependencia de una tecnología aún en maduración

Comprometerse con un software comercial específico implicaba el riesgo de dejar a la Empresa N atada a herramientas que pronto quedarían superadas, ya que las tecnologías subyacentes de procesamiento de lenguaje natural aún se encontraban en etapas tempranas de sus ciclos de vida. Iknow lo resolvió recomendando un enfoque de "lo mejor de cada categoría" que integraba en la arquitectura de la plataforma componentes comerciales reemplazables y de primer nivel en lugar de una solución de un único proveedor, y secuenciando la hoja de ruta de tres fases de modo que las capacidades fundamentales llegaran antes que las capacidades más avanzadas y menos maduras, como el razonamiento y la inferencia.

Resultados cuantitativos

• Revisión de procesos entregada: una revisión integral de los procesos centrales de información de la Empresa N, que cubrió el flujo de procesos, el rendimiento y las limitaciones de capacidad.
• Alcance de la estrategia: una estrategia de metadatos organizada en ocho áreas de recomendación.
• Arquitectura de plataforma entregada: una plataforma tecnológica de tres componentes diseñada, incluidos más de 20 Servicios de Procesamiento de Metadatos.
• Flujo de procesamiento definido: un flujo de trabajo de metadatos a nivel de documento de cuatro pasos, más cinco capacidades adicionales de procesamiento basadas en el significado.
• Hoja de ruta entregada: una hoja de ruta de implementación plurianual en tres fases.
• Duración del proyecto: un encargo de cuatro meses.

Resultados cualitativos

La Empresa N está implementando actualmente las recomendaciones de Iknow, una evidencia genuina y continua de que la estrategia y la hoja de ruta se tradujeron directamente en un programa de implementación plurianual activo y financiado, y no en un informe archivado. La estrategia de metadatos dio a la Empresa N tanto un plano técnico inmediato (el flujo de trabajo de procesamiento y la arquitectura de la plataforma) como una visión a más largo plazo que avanzaba desde la extracción básica de entidades hacia el razonamiento simulado, proporcionando a la compañía la orientación que necesitaba para una transformación de inteligencia de contenidos verdaderamente plurianual.

Plazo hasta el impacto

Dentro del proyecto de cuatro meses, Iknow entregó la revisión completa del estado actual, la estrategia de metadatos, el diseño de la plataforma tecnológica y la hoja de ruta de tres fases, y la Empresa N pasó directamente a implementar las recomendaciones tras la conclusión del proyecto.

Competencias principales

• Estrategia de metadatos y diseño de esquemas
• Diseño de arquitecturas de procesamiento de contenidos
• Hoja de ruta de capacidades de procesamiento de lenguaje natural
• Diseño de plataformas tecnológicas orientadas a servicios

Métodos y marcos de trabajo

• Revisión de procesos de información del estado actual y futuro
• Definición de la visión del estado futuro con participación de los ejecutivos
• Hojas de ruta de implementación plurianuales por fases

Tecnologías y herramientas

• Arquitectura de procesamiento de metadatos orientada a servicios
• Extracción de entidades, desambiguación y aplicación de taxonomías