В статье представлены результаты сравнительного исследования автоматических систем мониторинга социальных медиа, проведенного специалистами SkyPromo Digital в декабре 2011 года. В тестировании приняли участие шесть систем: Babkee, Brandoscope, Buzzlook, IqBuzz, SemanticForce, YouScan.
Думаю, что сейчас уже нет необходимости говорить о важности мониторинга социальных медиа, равно как и о его трудоемкости при ручном выполнении. Сейчас на рынке присутствует ряд решений для автоматизации процесса сбора и анализа сообщений в социальных сетях, во многом схожих по своему функционалу, но в то же время имеющих свои особенности. Оценка возможностей существующих систем и их сравнение между собой и стали целью нашего исследования.
Для нас это уже второй тест-драйв автоматических систем мониторинга, и мы рады, что в этот раз он прошел в расширенном составе. Тестовый доступ к системам согласились предоставить шесть ведущих систем мониторинга соцмедиа: Babkee, Brandoscope, Buzzlook, IqBuzz, SemanticForce, YouScan. Все исследование проводилось при активной помощи служб технической поддержки на каждом из его этапов.
Условия тестирования
Немного о том, как проходило тестирование.
Перед всеми системами была поставлена стандартная задача — найти и проанализировать мнения пользователей социальных медиа о бренде. В качестве бренда был выбран банк «Русский стандарт». Период мониторинга:
Сама процедура мониторинг соцмедиа была разбита на пять этапов:
1) Настройка темы мониторинга: определение ключевых слов и минус-слов
2) Сбор упоминаний о Русском стандарте согласно настройкам темы
3) Отсев нерелевантных сообщений
4) Определение тональности вручную
5) Формирование отчета и экспорт полученных данных в Excel
Основной сложностью при мониторинге сообщений о банке Русский стандарт стало большое количество информационного «шума». Необходимо было убрать множество нерелевантных сообщений, к которым в данном случае были отнесены:
1) Сообщения со словами «банк», «русский» и «стандарт», не относящиеся к банку
2) Упоминания водки Русский Стандарт
3) Пресс-релизы банка, распространяемые в сети Интернет, публикация вакансий банка
4) Сообщения сотрудников банка
5) Спам, предлагающий взять кредит на выгодных условиях
Отсев нерелевантных сообщений производился в системах следующими способами:
1) Постановка минус-слов. Позволила отсечь большинство сообщений об одноименной водке
2) Исключение источников упоминаний. Эффективно при чистке спама, пресс-релизов компании
3) Исключение отдельных авторов упоминаний. Убираются спам-аккаунты, аккаунты сотрудников банка
4) Удаление ненужных сообщений вручную.
В этих условиях большое значение приобрел имеющийся функционал для отсева нерелевантных сообщений, и, в первую очередь, его удобство для пользователя. В целом, все системы оценивались по трем группам показателей:
1) Качество мониторинга отзывов о банке «Русский стандарт»
a. Количество найденных релевантных упоминаний
b. Количество найденных релевантных упоминаний по ключевым источникам
c. Соотношение позитивных и негативных упоминаний о работе банка Русский стандарт после ручного определения тональности
2) Удобство пользования системой
a. Удобство интерфейса
b. Удобство исключения источников
c. Удобство исключения авторов
d. Удобство проставления тональности
e. Экспорт отчетов в Excel/Word
f. Скорость реагирования системы
g. Работа техподдержки
3) Цена
a. Минимальная стоимость системы в месяц
Основные результаты исследования
Были утверждены следующие настройки темы:
Ключевые слова: Русский стандарт, Руский стандарт, русскийстандарт, Брс, рсб, Rsb ru, rsbank, Банк в кармане
Минус-слова: Водка, vodka, Зеленая марка, алкоголь, бутылка, водочный, вакансии, Gancia, разбавят, винный
Наибольшее количество релевантных упоминаний после исключения осталось в системе IQbuzz. Небольшое число упоминаний в системе Babkee обусловлено тем, что на тестовом аккаунте сбор упоминаний с rss-ленты banki.ru не производился.
Система |
Общее число упоминаний |
Babkee |
107 |
Brandoscope |
228 |
Buzzlook |
106 |
IQBuzz |
281 |
Semantic Force |
227 |
YouScan |
214 |
диаграмма 1 Количество релевантных упоминаний
Ниже представлено число релевантных упоминаний по ключевым для банка Русский стандарт источникам. Что примечательно, качество сбора с каждой платформы различается. При мониторинге banki.ru лучше всего себя проявил Youscan, в то время как IqBuzz лучше всего нашел упоминания в социальной сети ВКонтакте и в блогах Livejournal.
диаграмма 2 Количество релевантных упоминаний по ключевым источникам
Следующим этапом мониторинга было определение тональности, которое везде осуществлялось вручную вне зависимости от наличия/отсутствия возможности автоматического определения. К сожалению, в системах SemanticForce и Brandoscope по техническим причинам не удалось произвести разметку тональности. Как видно на графике, всех системы показали примерно одинаковое соотношение позитивных и негативных упоминаний, большее число нейтральных упоминаний выявил Buzzlook.
диаграмма 3 Соотношение позитивных и негативных упоминаний о работе банка Русский стандарт после ручного определения тональности
Одним из ключевых пунктов исследования стала оценка удобства пользования автоматическими системами мониторинга. Все наши впечатления от использования систем мы свели в таблицу, которой каждый критерий удобства системы оценивался по
Babkee |
Brandoscope |
Buzzlook |
IQBuzz |
SemanticForce |
YouScan |
|
УДОБСТВО ИНТЕРФЕЙСА |
5 |
2 |
4 |
5 |
4 |
5 |
УДОБСТВО ИСКЛЮЧЕНИЯ ИСТОЧНИКОВ |
4 |
1 |
5 |
4 |
5 |
5 |
УДОБСТВО ИСКЛЮЧЕНИЯ АВТОРОВ |
4 |
5 |
1 |
4 |
5 |
5 |
УДОБСТВО ПРОСТАВЛЕНИЯ ТОНАЛЬНОСТИ |
5 |
5 |
4 |
5 |
1 |
4 |
СКОРОСТЬ РЕАГИРОВАНИЯ СИСТЕМЫ |
4 |
3 |
5 |
5 |
2 |
4 |
ЭКСПОРТ ОТЧЕТОВ В EXCEL/WORD |
3 |
3 |
1 |
5 |
3 |
5 |
РАБОТА ТЕХПОДДЕРЖКИ |
5 |
5 |
5 |
5 |
5 |
5 |
ИТОГО: |
30 |
24 |
25 |
33 |
25 |
33 |
Также проводилось и ценовое сравнение систем. Поскольку в каждой из них разработана своя линейка тарифных планов, мы ориентировались на минимальную стоимость каждой системы в месяц.
Babkee |
YouScan |
Semantic Force |
IQBuzz |
Buzzlook |
Brandoscope |
7900* |
5314,95** |
8012,5** |
3500 |
2145 |
9000 |
*Базовый тариф в данной системе стоит 1790 рублей, однако в нем нет возможности отслеживания RSS-лент. Для полноценного мониторинга в банковской сфере будет необходимо подключение rss-ленты портала banki.ru
**Стоимость рассчитана по курсу USD на 21.12.2012 (1$=32,05 рублей)
Общие впечатления от систем
Babkee
«Babkee знают все» — так написано в рекламе данной системы, только их надо хорошо попросить, чтобы рассказали, надо добавить к слогану. В целом работать с системой приятно, очень внимательная техподдержка — подробно и пошагово проконсультируют по каждому вопросу. Можно разобраться в системе и самостоятельно, но все же лучше воспользоваться помощью — качество мониторинга от этого только выиграет, а время, потраченное на него, значительно сократится. Жаль, что на тестовом аккаунте не было предусмотрено подключения RSS-лент (для данного мониторинга было важно получить информацию с форума портала banki.ru), также отсутствует ретроспективный сбор информации с RSS-лент, и это, пожалуй, основной минус данной системы.
Brandoscope
Очень противоречивая система. С одной стороны, собирает довольно много сообщений, хорошо реализован механизм исключения авторов и простановки тональности, но, с другой стороны, воспользоваться всем этим в полной мере не получается из-за неудобств интерфейса. Самое неудобное — это то, что нельзя отфильтровать сообщения за определенный период времени и работать только с ними. То же самое с формированием отчета: есть только предустановленные периоды — день, неделя, месяц, полгода, задать пользовательский интервал, который и был нужен, нельзя. Экспорт отчета и сообщений в Excel есть, но, опять же за неподходящий период времени. В итоге пришлось работать с базой сообщений уже непосредственно в Excel и там же строить диаграммы.
Buzzlook
Хотя бета-тестирование системы и было официально закончено, разработчикам предстоит с ней еще много работы. Сбор сообщений уже осуществляется, но пока еще до конца не отлажен. После исключения большого числа источников и авторов система практически перестала находить сообщения, хотя Яндекс. Блоги показывал их наличие. Спасибо техподдержке, которая оперативно сработала и в итоге была создана новая тема с точно такими же настройками, в которой и собрались сообщения. Но пока число найденных релевантных сообщений уступает другим системам. Была также замечена фактическая ошибка в отчете: на двух графиках тональности были найдены расхождения в общем числе сообщений, при попытке скачать найденные сообщения в Excel выдало также ошибку , не хватает экcпорта диаграмм с расшифровкой в Excel или Word. Тем не менее, интерфейс системы очень хорошо проработан, ей удобно пользоваться, привлекательная цена.
IqBuzz
Упоминаний находит очень много, причем релевантных. Удобный экспорт отчетов в Word, сами отчеты достаточно информативны. При исключении источников или авторов необходимо перезаполнение рубрики, что занимает дополнительное время. Однако это компенсируется легкостью и удобством простого удаления нерелевантных сообщений. Есть автоматическое определение тональности, но все же лучше просмотреть все документы и скорректировать ее вручную — интерфейс системы сделан таким образом, что много времени это не займет.
SemanticForce
Система для терпеливых, но сообщения собирает очень хорошо (сообщений много, нерелевантные успешно отсеиваются минус-словами). Лучший сбор сообщений из Facebook, очень удобное исключение источников. Основной минус — медленно работает: после каждого клика мышью нужно некоторое время подождать. Особенно это проявляется при разметке тональности: определив тональность на странице нужно минут 15 ждать пока все сохранится.
Youscan
Очень удобный интерфейс, лучший экспорт отчетов в Excel — можно как вставить в отчет готовые диаграммы, так и провести при необходимости дополнительное исследование среди найденных сообщений. Из неудобств: небольшая задержка по времени при выставлении тональности, иногда надо было 2 раза кликать, чтобы разметить тональность.
Сравнение систем мониторинга — не самая лучшая мысль. Хорошо известно что использование для мониторинга и реагирования данных только с одной системы мониторинга — утопия. Для получения максимально подробной картины обычно используют несколько таких систем.
Не очень хорошо что в статье рассматривали лишь платные сервисы по мониторингу. Существуют весьма приличные инструменты для ручного мониторинга вроде Google Alerts + Google Blogs, а также ЯППБ. А также есть масса инструментов, которые гораздо лучше сработают для простого блоггера или малого бизнеса.
В своей работе мы обычно используем связку из нескольких инструментов: ЯППБ + Google Blogs + Google Alerts + YouScan + IQbuzz, кроме того собственные системы поиска есть в каждой развитой социальной сети начиная от Вконтакте и заканчивая Twitter — результаты выдачи из этих систем также стоит учитывать.
Подобная связка инструментов предоставляет наиболее полную картину активности пользователей, дает возможность сделать верные выводы о положении дел и разработать стратегию дальнейшей работы.
Я регулярно делаю мониторинги для разных клиентов. Методом проб и ошибок я отобрала для себя YouScan и IqBuzz как наиболее точные и удобные системы по сбору отзывов. Интересно, что мое интуитивное приятие этих систем совпадает с вашим анализом ) Но на самом деле при мониторинге есть важный элемент, который не могут дать автоматические системы — это адекватный и профессиональный человек, обрабатывающий данные. Потому что после сбора данных и идет самая важная работа — это обработка данных, выделение тенденций, определение существенных и несущественных отзывов, аналитика, выработка рекомендаций и дальнейшей стратегии поведения. Но я отвлеклась. Относительно систем мониторинга у меня есть несколько комментариев :) Иногда в одном релевантном отзыве одновременно намешано очень много эмоций и сложно втиснуть его в категорию негатив-позитив-нейтрал: тут меня радует IqBuzz с их категорией смешанных отзывов. И, кстати, еще IqBuzz хорош при первичном мониторинге — они пытаются в автоматическом режиме определить негативные-позитивные упоминания по наличию в отзыве ключевых слов. Это дает возможность с первого взгляда, еще до начала разбора завалов отзывов уже увидеть какие-то результаты и экстренно отправить их в обработку — агентам влияния на реагирование, например.
На личном опыте могу сказать, что нельзя рассчитывать только на автоматические системы мониторинга: в силу ряда обстоятельств (при этом от них независящих) такие системы не могут представить полной картины.
Приведу в качестве примера ресурс banki.ru, который максимально принципиален для всех клиентов этой сферы. В любой системе вы найдете материалы с этого ресурса и, казалось бы, можно успокоиться — вроде вся информация в мониторинг попадает. Но при более детальном разборе оказывается, что системы зачастую индексируют только «Новости» — данные из этого раздела не принципиальны для мониторинга социальных медиа. Гораздо важнее другие разделы, где ведутся обсуждения банков пользователями: «Народный рейтинг», «Вопрос-Ответ», «Форум», «Пользовательский рейтинг» и т.д. — сообщения из них системы пропускают по техническим причинам. Как итог — клиент не видит большой пласт необходимой информации.
Лучший вариант — комбинировать автоматический мониторинг с «ручным». Мы закончили разрабатывать собственную систему, которая через API автоматически собирает данные по Twittеr, «ВКонтакте», блогхостингам и т.д. Параллельно с этим в ручном режиме собираются данные по форумам, Facebook и по отдельным ресурсам, принципиальным для наших клиентов.
Статья хорошая и, надеюсь, сможет помочь тем, кто находится в поиске подходящей системы мониторинга. Хотя в любом случае не лишним будет еще и самостоятельно попробовать разные системы, пообщаться с их поддержкой и посмотреть, что подходит именно вам.
Но я бы еще обращал внимание на возможность и удобство тегирования, а также на готовность сервиса добавлять специализированные ресурсы (источники) в список мониторинга по вашему запросу. Это важно, потому что:
Все остальное зависит от целей мониторинга и последующих действий.
Я пользовался 2 системами мониторинга: YouScan и IqBuzz.
YouScan — очень удобный в использовании. Им приятно пользоваться и при этом он выдает неплохой результат по количеству релевантных упоминаний.
У IqBuzz не такой дружественный интерфейс и он не так удобен, но во время тестовых сравнений он нашел больше упоминаний, что для меня стало ключевым показателем. Могу также отметить службу тех-поддержки, которая уже реализовала несколько моих просьб и всегда прислушивается к пожеланиям. Да и все вопросы решаются оперативно.
Судя по графику числа упоминаний, находимых системами за отчетный период, алгоритм работы системы IQBuzz (показавшей себя лучшей в поиске) вызывает некоторое замешательство — система всегда в оппозиции к конкурентам: когда все показывают пик упоминаний, она показывает спад, и наоборот. Это говорит о том, что либо система мониторит все быстрее остальных (на ДЕНЬ быстрее), либо она от всех на день отстает, либо есть существует некий третий вариант.
Также по всей видимости, система в первые дни работы осуществила ретроспективный сбор и старые упоминания посчитала в отчетных числах (либо у системы действительно есть «свои источники», которые остальным недоступны, либо система действительно на шаг впереди и мониторит быстрее всех).
Несколько непонятна диаграмма с соотношением эмоционально-окрашенных упоминаний. Из нее следует, что Buzzlook ищет больше нейтральных упоминаний, а Youscan сфокусирован на поиске негатива? Следует ли из нее вообще что-то, или это просто констатация случайной статистики.
Общее ощущение такое: на наш взгляд, делать заключение о системах на основе тестового просмотра в течение одной недели — не совсем верно. В процессе работы всегда возникают какие-либо нюансы, как позитивные, так и негативные (напр., ежемесячные регламентые работы, парализующие на пару дней работы, либо возможность подключать к системе за небольшую дополнительную плату не только rss-источники, но и другие важные, не индексируемые площадки).
Сегодня появляется все больше подобных исследований. На их основании, к сожалению, очень сложно сделать выбор в пользу той или иной системы мониторинга. В зависимости от исследуемой отрасли в разных случаях большую точность показывает разный сервис. Кроме того, часто оказывается, что необходимые площадки невозможно проанализировать при помощи автоматизированной системы мониторинга.
Мы в своей работе используем YouScan. Но не зависимо от того, какую систему мониторинга использует компания, ее всегда нужно дополнять «ручным» мониторингом тех площадок, которые автоматизированным системам исследовать не под силу.
Во-первых, спасибо за сравнение на основе конкретного кейса. Хочу дополнить вступительное слово про важность процесса сбора и анализа информации в социальных медиа тем, что мониторинг — это фактически фундамент любой медиа компании. я бы не стал рассматривать его только в совокупности с работой компании в social media, а включил в обязательный набор действий маркетингового отдела (да, в b2b секторе не так много упоминаний в блогосфере, но цена внезапного «черного лебедя», например, твита уволенного сотрудника, зачастую крайне высока).
Также понравилось, что указаны условия тестирования. Правда недели маловато, ну да ладно. Я сомневаюсь, что корректно оценивать по минимальным пакетам, т.к. это продукт с довольно четкими customers, здесь не совсем классическая фримиум модель.
Забавно получилось с banki.ru — может мониторить в основном только их или единичные упоминания от более независимых (в хорошем смысле) пользователей весомее? Спорный вопрос, но мне почему-то ближе второй вариант.
Сложно оценить факт, что SemanticForce и Brandoscope по техническим причинам не смогли произвести разметку тональности. От них участвовал аккаунт менеджер или вы неделю работали автономно?
Удобство интерфейса безусловно важно, но в данном сегменте не первостепенно, т.к. продукт по своей функции не рассчитан на масс маркет и неделя работы с системой не достаточно для банального привыкания к изначально довольно сложной системе. Иными словам, это не айфон по определению. А вот строка про скорость реагирования системы действительно важна. Оценка по работе тех поддержки довольно субъективна или вы проводили настолько независимое исследование, что представители компаний не знали про это :-).
P.S. Было бы также любопытно сравнить с ручным мониторингом.
Проведите конкурс среди участников CMS Magazine
Узнайте цены и сроки уже завтра. Это бесплатно и займет ≈5 минут.
Директор по исследованиям и аналитике в smm3
Сегодня в рунете существует около 10 развитых систем мониторинга онлайн-медиа, а на западном рынке их несколько сотен. Безусловно, перед компаниями и агентствами встает нетривиальный вопрос выбора оптимального варианта — и, конечно же, встает он по обе стороны Атлантики. Последнее время ко мне все чаще обращаются за помощью как раз по этому поводу, что также подтверждает тот факт, что «вопрос созрел» — как и потребность в сравнительных исследованиях и соответствующем консалтинге. В этом контексте не может не радовать проведение тест-драйвов и внимание к этому вопросу со стороны профессиональных СМИ (спасибо CMS Magazine!).
Что касается оценки исследования агентства SkyPromo, то я уже представил ее в профгруппе Cossa. Не умаляя ценности проделанной работы, нужно признать наличие существенных недостатков, касающихся самой заявки этого исследования — оценке качества данных, предоставляемых системами. Для наглядности я приведу сравнительную таблицу аналогичного исследования западных систем, в которых наблюдается оптимальный набор сравниваемых характеристик. Обратите внимание на наличие данных о %-е спама в выдаче — это ключевая метрика для понимания того, в каком положении между крайностями «Найти все, что угодно» и «Найти нужное» находится система.
Кроме того, в исследовании недостаточно четко определены критерии релевантности упоминаний банка, что не дает понимания точного объема действительно ценных клиентских и потребительских оценок банка как бренда, его продуктов, сервиса и сотрудников. Мне приходилось мониторить как сам банк Русский Стандарт, так и другие ключевые банки России (настройкой технологий мониторинга для банков я занимаюсь уже более полугода), и мне хорошо известно, как много контента находится по ту сторону «лишнего» (шума и спама) и «нужного» (потребительских и конкретно клиентских отзывов). Не менее разнообразен и сам потребительский контент. Я могу с уверенностью сказать, что мало-мальски оптимизированный поисковой запрос по любому банку в системе мониторинга даст не менее 80% шума и рекламно-пиарного контента. А обсуждаемое исследование никаких данных на этот счет не содержит. Собственно эти нюансы вокруг структуры и качества контента мне уже приходилось обсуждать в специальной серии статей.
При сравнении систем как исследователь, так и специалист компании/агентства вынужден в первую очередь определиться, какого уровня сложности задачи ему нужно решать с помощью системы сейчас и в будущем. Инструменты мониторинга уже достаточно многое могут дать, но вопрос состоит в том, что способны взять и «переварить» их потребители. Нашеисследование рынка мониторинга показало дифференциацию потребностей и требований клиентов к возможностям систем. Согласитесь, что у специалиста, готовящего репутационный или медиа-отчет за некий период или отдающего дайджест упоминаний в сыром виде, совсем иные требования, чем у того, кто каждый день вынужден как можно более оперативно реагировать на негатив, жалобы и проблемы клиентов в самых разных углах сети. Именно банки, телеком и другие крупные игроки все активнее используют мониторинг для клиентской поддержки и сервиса.
В общем случае выбирающий вынужден провести целостную оценку каждой системы с учетом самых разных потребностей разных специалистов и аналитических/реагирующих команд. Для каких-то конкретных, узких задач одна система может быть лучше другой, но важно, чтобы не провисал весь процесс. Скорость, удобство и, я бы добавил, технологическая «мощность», гибкость системы — это 3 ключевых группы качеств, по которым их стоит сравнивать. К примеру, в моем личном рейтинге сравнение включает почти 80 критериев, и они как раз сгруппированы по данным качествам, что дает возможность получить как детальный, так и интегрированный взгляд на каждую из систем. Если по одному набору критериев может лидировать некая система, то с привлечением других, она ощутимо «проваливается». Если вы не знаете этого, то через пару месяцев — с появлением соответствующей задачи и потребности — вы столкнетесь с ростом затрат на мониторинг и падением рентабельности этого процесса в целом.
Напоследок мой «новогодний» прогноз. Объемы контента в рунете прирастают — как шума, так и ценного потребительского контента — как клиентская реакция на выход и работу компаний в сети. Соцмедиа в целом и их мониторинг все глубже интегрируются в ядерные бизнес-процессы компаний. Эти тренды ставят перед мониторингом одно ключевое требование — автоматизация собственных процессов. А именно — сбора упоминаний, разметки, определения тональности, тэгирования, отчетности и аналитики, экспорта данных, совместной работы, интеграции со сторонними системами (CRM, HelpDesk и т.п.). Сегодня наш молодой рынок вращается вокруг галактики упоминаний, постепенно уходя под влияние галактики клиентов. Передовой западный опыт (интеграции Radian6 и Salesforce CRM) показывает, что весь цивилизованный рынок идет туда. Ну а мы, как обычно, пойдем по этим проторенным дорожкам. Но я желаю нам всем смелости и удачи в Новом Году! Be foolish, коллеги!