Каждый раз рейтинг вызывает бурю эмоций веб-разработчиков - от момента анонсирования до публикации результатов. Этот год не стал исключением. О методологии, проведении и результатах спорят жарко и заинтересованно. Это подтверждает то, что рынку этот рейтинг важен и нужен. На сегодняшний день он по-прежнему остается единственным действительно авторитетным мерилом рынка веб-разработки.

Мне сложно назвать методологией метод опроса граждан в формате "Как вы думаете, что за этим забором?". За этим забором в том числе я и моя компания, и мне не интересны домыслы некой экспертной группы о нас. Особенно, когда они кардинально расходятся с реальностью.

Основа методологии нормальная, она имеет право на существование. Фактически исследование Тэглайна - видение рынка самими его участниками. В такой формулировке исследование полезно. Но полезно оно исключительно внутри самого рынка.

Я считаю, что в этом году методология рейтинга претерпела значительное изменение в лучшую сторону. Остается старая проблема того, что сама непрозрачность рынка (с которой рейтинг и пытается бороться) и является основной проблемой методологии данного рейтинга – т.к. базовый балл фактически основан на популярности студии среди участников рынка (зависит в основном от PR активности студии, а не от ее доли на рынке), многие участники рейтинга голосуют основываясь на крайне субъективных факторах. Но еще раз хочу отметить, что изменения, внесенные в методологию рейтинга в этом году, добавили свою значительную лепту в решение именно данной проблемы.

Все это очень спорно, особенно когда конкуренты вынуждены голосовать друг за друга и их оценки в дальнейшем не разглашаются. Как правило, уже сама постановка голосования неправильна, во-вторых, можно все цифры «подкрутить» в результате чего объективность вообще теряется. Очень важно, на мой взгляд, вначале вручную фильтровать компании для допуска к участию в рейтинге. Можно, к примеру, сделать порог входа в рейтинг 12000000р в год, подтверждаемый бухгалтерскими балансами. Сумма не большая, а процентов 70% «компаний» пройти не сможет, т.к. у них нет расчетного счета и деньги принимают кешем. А следовательно, они - не компании

Анекдот на тему “экспертного” рейтинга Теглайн: В деревне Гадюкино и деревне Бердищево производили исследование длины половых членов. В деревне Гадюкино получили результат 25 см, в деревне Бердищего - 14 см. Вопрос: В чем причина столь различных результатов? Ответ: В деревне Гадюкино производился опрос, а деревне Бердищево - измерение. Рейтинг Теглайн, это “Деревня Гадюкино- 25 сантиметров”, только ещё хуже, потому что результатами опроса и правилами рейтинга, сильно манипулируют в интересах некоторых участников и одной дружественной CMS. В этом году рейтинг прогрессировал самым большим количества нарушений, организаторами своих правил и условий рейтинга. Корректировка условий, уже после окончания голосования – это верх наглости организаторов и их же некомпетентности. Действительно, очень трудно было сфабриковать “правильную 20-ку”, даже по их карманной методологии.. Больше всего удивляет позиция “экспертов”. Они не знают про многочисленные нарушения, изменение регламента и откровенный обман участников? Они не знают, что их голоса, по методики этого рейтинга, ни на что не влияют и их просто использует, для поднятия авторитета рейтинга. Если не знают, то какие они “эксперты”? А если знают, то почему учувствуют?

На мой взгляд, странная методология. "Основой построения рейтинга является голосование представителей компаний-участников рейтинга и внешних экспертов. Участникам голосования предлагалось построить свой вариант первой десятки студий по обороту, занимаемому компанией на рынке разработки и поддержки интернет-проектов". В итоге получили то, что получили.

Любой рейтинг всегда не отражает всей ситуации на рынке. Поэтому, сказать однозначно да или нет нельзя. Меня радует не столько сам рейтинг, сколько попытки хоть как-то организовать рынок. Ваш портал, теглайн... Это хорошие знаки для нашего рынка в целом.

Методология стала гораздо более прозрачной, а результаты - приблеженными к реальной ситуации.

В общем - да. При ближайшем рассмотрении - нет. Методология рейтинга в основе своей спорна (от перестановки букв местами смысл не меняется?). Даже, казалось бы, заведомо положительные для рейтинга нововведения типа веб-сайтов брэндов ТОП100 и т.д. не сыграли решающей роли в улучшении. Возможно, нужно придавать больший удельный вес портфолио относительно базового голосования студий друг за друга. А то ведь и в самом деле голосуют "друг за друга". А еще и за брата и свата. Короче, кто с кем работает тесно - те и идут наверх вместе.

Как минимум голосование студий за студии не объективно и не показывает реальной ситуации на рынке. Попытка ввести различные коэффициенты на наш взгляд не полностью продумана. Какие бы не были эксперты, они не владеют всей полнотой информации, соответственно также вносят определенную погрешность. Получается, рейтинг строится во многом на известности студий (знаем не знаем эту студию), что серьезно уводит его в сторону о реальности.

Любая методология имеет право на существование. Ее адекватность - вопрос иной. Странно доверять субъективному мнению экспертов, без четких критериев оценки.

Методологию рейтинга конечно нельзя назвать удовлетворительной, известность внутри профессиональной среды весьма аморфный показатель. Даже в искусстве, например в кино оценивается прежде всего произведение, а не режиссер вообще или уж тем более киностудия вообще. Обороты - вещь объективная, но не единственная - тут можно посмотреть на сайте БИТРИКСа рейтинг партнеров и увидеть реально кто лидер рынка, по крайней мере его самого крупного и профессионального сегмента.

Методология голосования тэглайн - это оценка "засвеченности" имени и частоты упоминания, а отнюдь не качества работ. С тем же успехом можно в любимом поисковике набрать "веб-студия" и на основании позиций в результатах поиска построить рейтинг.

1) Нерепрезентативная выборка компаний. 2) Любой человек с техническим образованием поймет, что методология лишена смысла напрочь. Проще обсудить, что в нем верно, чем обсуждать что в нем неправильно.

К методологии рейтинга Теглайн отношусь прежде всего с подозрением. Существующая методология, несмотря на ее улучшение по отношению к прошлым годам, так и не позволила сформировать прозрачный и не субъективный рейтинг. Все еще не понятен принцип, по которому те или иные студии и компании занимают свои позиции. Слишком большое влияние на рейтинг продолжают оказывать акцентированные пиар компании проводящиеся некоторыми студиями внутри рынка с целью завышения собственных позиций в рейтинге.

Основная особенность рейтинга Тэглайн - голосование веб-студий друг за друга. При таком подходе результаты рейтинга во многом зависят от PR-активности компаний и от их возможности выстраивать нужные коммуникации между собой. В результате ряд компаний, которые заняли бы высокие места в объективном рейтинге, в рейтинге Тэглайн вообще отсутствуют или занимают низкие позиции. В то же время в рейтинге присутствуют компании, которые разработкой сайтов уже давно не занимаются. Кроме этого в рейтинге Тэглайн нет каталога студий и их портфолио. Невозможно посмотреть, какие работы компания сделала за определенный период времени. Студия может легко декларировать, что сделала в год проведения рейтинга одно количество работ, а по факту этих работ может быть в разы меньше. Та же самая картина и с заявленными оборотами компаний.

а кто знает ответы на все эти вопросы? и все так сложно...

В целом методология хороша, но имеет один существенный недостаток -- это система с положительной обратной связью :-) Дело в том, что на этапе формирования TOP-10 голосующим предлагается воспользоваться данными прошлогоднего ТОРа, и, естественно, что многие студии из него "на автомате" перекочевали и в ТОР этого года. Таким образом, трудно попасть в ТОР-100, а вот вылететь из него уже сложнее -- чем выше ты в этом году, тем больше вероятность, что голосующие заметят тебя и в следующем. Хотелось бы, чтобы в следующем году этот эффект организаторами как-то нивелировался.

Я понял методологию. Она имеет право на существование. Но ее нужно изменить. Потому что все в мире должно меняться к лучшему. В основе любой методологии должна лежать простота и прозрачность.

Абсолютных методик быть не может - каждая имеет право на существавание и развитие. Лучшие рейтинги будут развиваться дальше. Любой рейтинг полезен для рынка, но влиение на развитие услуг веб-разработок пока у всех рейтингов малозначительное. При этом история у рынка появляется только при появлении рейтингов.

Рейтинг делать - вообще задача довольно неблагородная, всегда будут недовольные. Но очень важно правильно определять методологию. К сожалению, рейтинг по принципу "спрошу у других" дает и картину "на уровне слухов". Рейтинг, составленный со слов, не может быть точным. Однако, хорошо, что вообще есть рейтинг и есть люди, которые пока, наверное, в основном на безвозмездной основе вкладывают свои усилия в увеличение прозрачности на этом рынке. За это можно сказать только спасибо, как авторам www.cmsmagazine.ru, так и авторам tagline.ru. Кроме того, какими бы ни были рейтинги, но реальную пользу они приносят как игрокам рынка веб-разработки (которые получают обращения с сайтов рейтингов), так и конечным потребителям (у которых больше шансов разобраться с предложениями). Как минимум, этот рейтинг позволяет потенциальным заказчикам веб-сайтов сориентироваться, какие компании известны на этом рынке, а уж конкретные позиции здесь особой роли не играют. Клиенты ведь принимают решение с кем работать не на основе строчки в рейтинге, а на основе того, понравилось им предложение веб-разработчика или нет. Рейтинг лишь источник информации и возможные дополнительные баллы.

Слово "методология" подразумевает анализ, анализа я ни в одном из их рейтингов не увидел. Вы лично узнали что-то новое, полезное для себя о рынке российских веб-разработок? Когда читаешь результаты и понимаешь, что создатели рейтинга в рынке разбираются не лучше чем те, кто будет это читает - это плохой рейтинг. Очень показательно то, что рейтинг обсуждают вовсе не клиенты, на которых якобы он ориентирован. Обсуждается он внутри тусовки. И тон обсуждения как обычно сводится к двум посылам. "Лучше такой рейтинг чем никакого" и "рейтинг ангажирован/не ангажирован". Вот лично мне совершенно неинтересно тратить на подобную ерунду свое драгоценное время, в жизни полно интересных занятий кроме как глотать пыль наблюдая за перетряхиванием чужого белья.

Оценка студиями студий выглядит весьма странно... Да и проверить ответы, кто с кем сталкивался в тендерах так же не возможно.

Вопросы типа "кто увёл у вас клиента?" вызывают только улыбку и понимание, что рейтинг несерьезен.

Что это рейтинг отражает? обороты? професионализм? сложность выполняемых проектов? Екатеринбург весьма продвинут в плане разработки (это даже данные РОЦИТ) - где он в этом рейтинге? Давайте поищем даже компании из ТОП10 региона прошлого года... Самый простой способ отражения федерельного рынка этоотсмотр лидеров регионов поскольку именно они и формируют основной рынок в стране.Причем сильных региональных рынков то тоже не много... В Москве таких комапний больше чем в Екатеринбурге или С-Петербурге где обороты от 6 млн и выше. Но не весь же топ-100. Не может захудалая московская студия быть профессиональнее региональной компании с нормальным оборотом и технологиями. Но текущий рейтинг Тэглайна это опровергает. Выше тот, кто спамил больше. Регионов не так уж и много, продвинутых в веб разработке тем более, и меня очень удивляет когда в топ 100 по России нет кучи компаний из региональных топ-10 даже прошлого года. Лично нашу студию (www.artsofte.ru) за период регистрации и голосований просто завалили письмами из серии "у вас так все замечательно нам все у вас нравится давайте проголосуем друг за друга". Что это за рейтинг? Что это за методология??? И в результате я вижу этих спамеров в топе... далеко не на последних местах. Как оценивали - просто не ясно. Шлак, попавший в нижний список top-100 это вообще "недокодеры", а не разработчики. Их сайты делаются фрилансерами за 2 недели. Студии-шаблонники в таком рейтинге - это верх ... надругательства над понятием проф. разработчик. Таких даже не стоит вообще допускать к регистрации рейтинга проф. разработчиков. Куча коробчников среди которых та же студия Горбунова или болотовское бюро за 50!!! местом. О какой реальности рейтинга может идти речь... Рейтинги по CMS - тоже грустны. Сделали ошибку в названии symfony (с каких ... фреймворк вообще стал вдруг CMS?). Нам как sf-разработчику это вдвойне неприятно. Ещё больше убил топ по платформам и строка в нём "Unix/Linux и Windows" - что они хотели этим сказать?

Использование в качестве базового критерия данных голосования самих участников конкурса -- довольно странное решение. Представьте конкурс красоты, в котором участниц оценивают другие участницы. Мне кажется, барышни станут голосовать за тех, кто пострашнее.

Методология, на мой взгляд, мало изменилась по сравнению с прошлыми годами. Об этом свидетельствует и далеко неоднозначная оценка результатов профессиональными участниками рынка в этом году. Безусловно, в таком деле всегда будут победители и проигравшие, а следовательно - довольные и не довольные, но тем не менее, рейтинг продолжает оставаться рейтингом "маркетинговой активности" студий. Методологию нужно изменять, как это сделать - сказать довольно сложно, в этом году была попытка ввода коэффициентов различных показателей деятельности компаний, но ощутимых результатов она, на мой взгляд, не дала. Так, например, в ведущей десятке присутствует компания, выпускающая сомнительный продукт в больших количествах, однако исповедующая чуть ли не самый агрессивный маркетинг на рынке. Является ли эта компания одним из лидеров рынка? По числу проектов, вероятно, да. По уровню их исполнения, по уровню креативности идей или по уровню технологической сложности, вероятно, этой компании вообще не должно быть в списке.

Существует множество методик, с помощью которых можно строить рейтинг. Самая главная заслуга данной методики в том, что она более-менее публична. Рейтинг за год стал более открытым, развивается.

Год от года появляется ощущение, что все сфабриковано. Непонятно, как они вообще размещают некоторые сайты в топ 100.

оборот не должен играть ключевую роль в оценке студии!!

Если в 2008 году всё было относительно понятно — кто назвал больше цифру дохода, тот и победил; в рейтинге 2009 года всё стало совсем запутано, а значит дало потенциальную возможность манипулировать самим рейтингом. В целом, основа методологии не изменилась, и работает по принципу: «назовите 10 ваших близких друзей Оушена». Поэтому сложно говорить о правильности, т.к. это понятие очень относительно. Настораживает то, что организаторы пытаются спрятать саму суть данного рейтинга и придать ей благородный и независимый вид.

Любой другой рейтинг может придумать свою методологию. Не идеального решения.

Статистика на непроверяемых данных.

Существующая методология рейтинга - система субъективных оценок. На мой взгляд, места многих уважаемых агентств в этом рейтинге полностью подтверждают его субъективность.

Хоть методология и изменилась, по сравнению с прошлым годом, всё равно она не позволяет объективно оценить рынок. Например, совершенно непонятным было введение повышающего коэффициента "по количеству проектов для компаний с наибольшей капитализацией". Очевидно, что, с одной стороны, не все крупные и известные компании России попали в рейтинг "самых дорогих", так как уровень капитализации - сам по себе спорный показатель, и, с другой стороны, у столичных студий намного больше шансов получить проект от такой компании, так как основные ресурсы сосредоточены в основном в Москве. В итоге, как мне кажется, из-за этого и других особенностей методологии, региональные студии находятся в менее выгодном положении, даже если и не уступают столичным в профессионализме.

Хотелось бы иметь третий вариант - не совсем. Дело в том, что за известные компании традиционно голосует большее количество. А молодым студиям весьма сложно прорваться в топ 100, даже при том, что они могут делать за год проектов больше чем ведущие компании и не факт что это менее сложные и интересные проекты. Возможно стоит придумать, кроме собственно ТОП-100, номинации что-то типа: "самая динамичная компания" и т.п.

Вообще, затрудняюсь ответить. По моему все как то сложно, особенно с пересчетом позиций веб студий.

На мой взгляд рынок не может оцениваться в конкруетной среде. Рейтинг должен быть более гибким и отражать позиции по нескольким параметрам. Как один из параметров этот рейинг мог бы иметь место.

Методология рейтинга Тэглайн хороша тем, что общий бал определяется на основании голосования участников рейтинга друг за друга. Но этот пункт лишь говорит о том, что рейтинг фактически проводился среди pr-менеджеров соответствующих организаций. Этот момент может компенсироваться дополнительной возможностью проведения голосования среди группы независимых экспертов. Плохо только то, что эта экспертная группа была сформирована не понятно по каким правилам. Я не беру под сомнение профессионализм этой группы, но все же хотелось бы чтобы подбор участников голосования был более прозрачным в этом плане.

Только не все там есть компании...

За неимением лучшей методики, вполне можно пользоваться и этой.

Потому как этот выбор осуществляется самими представителями студий.

«Идеальная» методология, скорее всего, не существует вовсе. Данная методология такая, какая есть. Пока не придумали другую, надо пользоваться этой и подстраиваться под нее. Совершенствование методологии это «процесс», (мне это не интересно) позиция в рейтинге – «результат». Мне всегда важен «результат». Если кого-то результат не устраивает – не участвуйте в рейтинге.

Методология откровенно не объективна.

Я поддерживаю комментарии Максима Молодцова из РБК-СОФТ.

Я думаю что студии должны оценивать как профи, так и пользователи интернета можно это даже желать отдельно или совместно с премией Рунета, и не мешает перенять их алгоритм тоже.

Методология полностью себя оправдывает, предоставляя реальную картину происходящего на рынке.