تقييم منتجات برمجيات تحليل المشاعر لمراقبة وسائل التواصل الاجتماعي.

نبذة عن العميل

توفر الشركة N محتوى وأدوات تتيح للشركات فهم عملائها بشكل أفضل واتخاذ قرارات أسرع وأكثر استنارة، وتجمع منتجاتها لرصد وسائل الإعلام بين أدوات البحث والمحتوى الجيد وأساليب التنقيب في النصوص وقدرات التمثيل البصري لمساعدة الشركات على فهم أداء منتجاتها وموقعها التنافسي عبر وسائل الإعلام التقليدية ووسائل التواصل الاجتماعي على السواء. وتعمل Iknow مع الشركة N منذ عام 2010 في طيف من مهام الاستشارات التقنية وتكامل الأنظمة، بما في ذلك عمل سابق على استراتيجية البيانات الوصفية للشركة ومبادراتها في التقنيات الدلالية، مما أكسب Iknow إلماماً عميقاً ببيئة معالجة المحتوى لدى الشركة N قبيل هذا التقييم.

سياق القطاع

بحلول عام 2013، كان سوق تحليل المشاعر ورصد وسائل التواصل الاجتماعي فتيّاً وشديد التجزؤ، إذ كان أكثر من 50 مورّداً — من بينهم شركات مثل Attensity وClarabridge وCrimson Hexagon وLexalytics وNetBase — يتنافسون بمقاربات متباينة جوهرياً في تقييم المشاعر وتغطية مصادر البيانات وخصائص الأداء، دون منتج مهيمن واحد متفوق بوضوح. وبالنسبة لأعمال رصد وسائل الإعلام كتلك التي تديرها الشركة N، كانت دقة تقييم المشاعر وسرعته تحددان مباشرة مصداقية الرؤى التي يمكنها بيعها لعملائها، مما جعل اختيار المنصة خطراً حقيقياً على المنتج والسمعة. ولأن مخرجات تحليل المشاعر قد تتفاوت تفاوتاً كبيراً بين عينات النصوص، ولأن "المشاعر" ذاتها أمر ذاتي بحق، فإن تقييم المورّدين بمصداقية كان يتطلب معياراً موضوعياً مُتحققاً منه بشرياً، بدلاً من الاعتماد فقط على ادعاءات الدقة التي يعلنها المورّدون.

الوضع الراهن

حتى هذا المشروع، كانت الشركة N تستخدم تطبيقاً قديماً لتحليل المشاعر المعبَّر عنها في الأخبار ووسائل التواصل الاجتماعي وإعداد التقارير عنها. وكان الغرض من هذا المشروع تحديث هذه القدرة وإضافة وظائف تحليلية جديدة، وبدأ المشروع بمراجعة متطلبات الشركة N لتحديد الوظائف التي تلبي احتياجات عملائها على أفضل نحو.

• قدرة قديمة ومتجاوزة لتحليل المشاعر. لم يعد تطبيق تحليل المشاعر القديم لدى الشركة N يلبي الوظائف التحليلية التي تحتاجها أعمال رصد وسائل الإعلام لديها وعملاؤها.
• سوق مورّدين كبير ومجزأ وغير ناضج. كان سوق برمجيات تحليل المشاعر كبيراً ومجزأً، بأكثر من 50 مورّداً ودون منتج واضح متفوق بجلاء.
• غياب أساس مستقل للتحقق من ادعاءات الدقة لدى المورّدين. لم يكن بالإمكان الوثوق بادعاءات الدقة المعلنة من المورّدين دون تحقق مستقل وموضوعي على محتوى حقيقي من الأخبار ووسائل التواصل الاجتماعي.
• لم تكن الدقة وحدها معياراً كافياً للتقييم. كانت الشركة N بحاجة إلى معرفة ليس فقط أي منتج يقدم الأداء الأفضل من حيث الدقة، بل أيضاً ما إذا كان بمقدوره تلبية متطلبات زمن الاستجابة الواقعية على نطاق واسع.

• مراجعة متطلبات الشركة N لتحديد الوظائف التي تلبي احتياجات العملاء على أفضل نحو.
• تقييم سوق برمجيات تحليل المشاعر التجارية وتضييق مجال مورّدين واسع إلى مجموعة نهائية يمكن التعامل معها.
• اختبار المنتجات النهائية اختباراً صارماً وموضوعياً على محتوى حقيقي من الأخبار ووسائل التواصل الاجتماعي.
• تقديم توصية محايدة تجاه المورّدين وخارطة طريق للتنفيذ.

كيف هيكلت Iknow العمل

هيكلت Iknow المهمة على شكل قمع، منطلقة من تحديد المتطلبات مروراً بمسح واسع للسوق شمل أكثر من 50 منتجاً وصولاً إلى اختبارات مخبرية صارمة لعشرة منتجات نهائية — بما يعكس منهجية Iknow في اختيار المورّدين والمنصات لتحويل مجال مورّدين مربك ومجزأ إلى توصية قابلة للدفاع عنها ومستندة إلى الأدلة.

الأنشطة والقرارات الرئيسية

• مراجعة المتطلبات ومسح السوق. راجعت Iknow متطلبات الشركة N لتحديد الوظائف التي تلبي احتياجات عملائها على أفضل نحو، ثم قيّمت أكثر من 50 منتجاً برمجياً لتحليل المشاعر في السوق، واختارت 10 منها لاختبارات أكثر شمولاً.
• بيئة المختبر وعروض المورّدين. ثبّتت Iknow الحزم البرمجية المختارة في بيئة مختبر لتحليل المشاعر أُنشئت خصيصاً لهذا التحليل، ودعت كل مورّد من مورّدي البرمجيات المختارين لعرض مزايا منتجه أمام لجنة تقييم.
• المجموعة الضابطة وقاموس المشاعر. طوّرت Iknow مجموعة ضابطة من المقالات وعناصر وسائل التواصل الاجتماعي، وراجعت العينات يدوياً وخصصت درجة مشاعر لكل عنصر، وأعدّت قاموساً للشركة N من الكلمات الحاملة للمشاعر لاستخدامه في بيئة المختبر.
• اختبارات الدقة والأداء. أخضعت Iknow كل حزمة برمجية لثلاث مجموعات من مواد وسائل التواصل الاجتماعي والأخبار بدرجات متفاوتة من المشاعر المعبَّر عنها تجاه أنواع مختلفة من الكيانات، وأجرت اختبارات أداء لكل منتج لتحديد ما إذا كان سيلبي متطلبات زمن الاستجابة لدى الشركة N.
• تجميع النتائج والتوصيات. قارنت Iknow نتائج التحليل، وعرضت النتائج الكمية على الشركة N، وأعدّت تقرير توصيات وخارطة طريق للتنفيذ.

أصحاب المصلحة والتعاون

عملت Iknow بصفتها المتعاقد الرئيسي، بالتعاون مع وحدة رصد وسائل الإعلام في الشركة N ولجنة تقييم راجعت عروض المورّدين ونتائج الاختبارات طوال المهمة.

المقارنة الموضوعية بين المنتجات على مقياس ذاتي بطبيعته

كانت مقارنة أكثر من 50 منتجاً، ثم تضييقها إلى 10 منتجات نهائية، على أساس أمر ذاتي بطبيعته مثل المشاعر تهدد بإنتاج نتائج لا تعدو أن تعكس الادعاءات التسويقية لكل مورّد. عالجت Iknow ذلك ببناء مجموعة ضابطة مقيَّمة يدوياً من مقالات وعناصر حقيقية من وسائل التواصل الاجتماعي، إلى جانب قاموس مشاعر مخصص للشركة N، بما منح كل منتج معياراً متسقاً ومُتحققاً منه بشرياً يُقاس عليه.

الموازنة بين الدقة ومتطلبات الأداء الواقعية

المنتج عالي الدقة الذي لا يستطيع معالجة المحتوى بالسرعة الكافية لن يصلح لأعمال رصد وسائل إعلام تعمل على نطاق واسع. عالجت Iknow ذلك بإجراء اختبارات مخصصة للأداء وزمن الاستجابة لكل منتج نهائي جنباً إلى جنب مع اختبارات دقة المشاعر، بدلاً من تقييم الدقة بمعزل عن غيرها.

النتائج الكمية

• المسح الأولي للسوق: تقييم أولي لأكثر من 50 منتجاً برمجياً لتحليل المشاعر.
• المنتجات النهائية المختبرة: اختيار 10 منتجات نهائية لاختبارات مخبرية شاملة.
• البنية الاختبارية المسلّمة: بيئة مختبر لتحليل المشاعر مبنية خصيصاً للمهمة.
• نطاق الاختبارات: استخدام 3 مجموعات من مواد وسائل التواصل الاجتماعي والأخبار لاختبارات الدقة، تغطي مشاعر وأنواع كيانات متنوعة.
• مدة المهمة: مهمة استغرقت شهرين.

النتائج النوعية

شملت قيمة هذا المشروع للشركة N تقييماً كمياً محايداً لعشرة منتجات برمجية لتحليل المشاعر، وبيئة مختبر لتحليل المشاعر لمواصلة تقييم برمجيات رصد وسائل التواصل الاجتماعي، ومجموعة من المقاييس لمقارنة فعالية برمجيات تحليل المشاعر. كما شملت توصيات بشأن المنتجات التي تلبي متطلبات الشركة N على أفضل نحو، إضافة إلى خارطة طريق للتنفيذ والتكامل. ولم تخرج الشركة N بتوصية بمورّد واحد فحسب، بل بقدرة تقييم دائمة — بيئة المختبر والمقاييس — يمكنها إعادة استخدامها في قراراتها التقنية المستقبلية.

المدة حتى تحقق الأثر

خلال مهمة الشهرين، نقلت Iknow الشركة N من مجال يضم أكثر من 50 مورّداً، عبر اختبارات مخبرية صارمة وموضوعية، إلى توصية محايدة تجاه المورّدين وخارطة طريق للتنفيذ جاهزة لتحديث قدرتها على تحليل المشاعر في رصد وسائل الإعلام.

المهارات الأساسية

• تقييم البرمجيات بحياد تجاه المورّدين
• تقييم تحليل المشاعر وتحليلات النصوص
• تصميم مختبرات الاختبار وتطوير المعايير المرجعية
• اختبارات الأداء وزمن الاستجابة

الأساليب والأطر

• تضييق مجال المورّدين انطلاقاً من المتطلبات
• المعايرة على مجموعة ضابطة مُتحقق منها بشرياً
• منهجية موحدة لاختبارات الدقة والأداء معاً

التقنيات والأدوات

• بيئة مختبر مخصصة لتحليل المشاعر وقاموس كلمات المشاعر
• برمجيات تجارية لتحليل المشاعر ورصد وسائل التواصل الاجتماعي