«Количественные измерения в маркетинговых задачах» - первая секция конференции «Маркетинг в цифровые времена»
15 июля в Одессе прошла конференция Яндекса «Маркетинг в цифровые времена». Конференция включала в себя 4 мини секции, каждая из которых содержала несколько небольших, но очень информативных докладов, объединенных одной тематикой. После выступления все докладчики приглашались на сцену, дабы присутствующие могли задать им интересующие вопросы. Открыл конференцию Андрей Себрант, который в своем вступительном слове сказал о том, что это не обучающий семинар и ни в коей мере не отчет о проделанной работе или новом изобретении, это скорее рассказ всех сильных маркетологов, которые работают в России и Украине, о том ЧТО, ПОЧЕМУ и КАК они делают именно сейчас. Андрей Себрант:«Цифра – это не только транспорт, это не только цифровые технологии, которыми мы пользуемся, цифра – это еще и то, с чем должен работать современный маркетолог. Мы считаем, что маркетинг – это количественно-экспериментальная наука, и сегодня именно про это будем рассказывать». Первая секция конференции и была посвящена цифрам, - статистическим данным, веб-аналитике, инструментам, позволяющим измерять эффективность рекламных кампаний в интернете. Ее открыл своим докладом специальный гость конференции Алексей Бакун (Cortex, Украина), который привел самую свежую статистику по Украине касательно роста интернет-аудитории. По его словам, она составляет не меньше 12 млн. человек, это практически половина населения в возрасте от 14 до 60 лет, и призвал обязательно использовать этот цифровой канал. «Крупные рекламодатели уже давно используют возможности интернет-рекламы, и их всех интересует выхлоп. Вот он вопрос: как считать? Об этом я и буду сегодня говорить», - перешел Алексей к практической части своего доклада. Он поделился с аудиторией способом подсчета ROI при помощи моделирования продаж. В качестве примера был приведен реальный кейс одного из операторов мобильной связи в Украине. Так как продукт очень сложный, было задействовано много инструментов, в том числе и математическое моделирование, доклад вызвал неподдельный интерес присутствующих. По словам Алексея исследование показало, что 76% продаж принесли инвестиции в телевидение, 15% - наружная реклама, а интернет – 3%. Цифра маленькая, но довольно обнадеживающая. Алексей Бакун:«ROI подсчитать сложно, но можно. ROI есть, потому что он не может не есть!» Следующим выступил Евгений Шевченко (IMA UaMaster, Украина), который продолжил тему оценки эффективности рекламы в интернете. Он также начал свой доклад со статистических данных, но на сей раз это были цифры по бюджетам на 2010 год, потраченным на интернет-продвижение, программы лояльности и маркетинговые исследования. По словам Евгения 74% маркетологов испытывают нехватку знаний, опыта и навыков в сфере интернет-рекламы, а 62% заявили о проблемах с оценкой эффективности интернет-маркетинга. Именно о современных инструментах веб-аналитики, а также о тех показателях коммуникативной и экономической эффективности, которые можно и нужно учитывать, и рассказал в своем докладе Евгений. Евгений Шевченко:«Вам нужно поставить систему веб-аналитики, настроить ее, определить цели и настроить свой бизнес в онлайне. Потому что веб-аналитика дает нам не только цифры о посещаемости, но и много другой информации… Настраивайте ваш бизнес и делайте его более эффективным и прибыльным!». Третьим докладчиком первой секции был Алексей Долотов (Яндекс) с рассказом об одной из метрик сайта, так называемом Churn Rate. Алексей коснулся проблемы, которая заключается в ограниченности бюджета большинства ресурсов и постоянной дилемме – вкладывать его в рекламу или же в развитие продукта. Его доклад под названием «Churn Rate vs. реклама» мы целиком предлагаем вашему вниманию. В начале своего доклада я хочу описать некую проблему. Собственно проблема звучит так: обычно у сервиса и любого интернет-бизнеса есть весьма ограниченный бюджет и надо понять, в каких пропорциях вкладывать его в совершенствование продукта или же в рекламу. В большинстве случаев бывает так – делается какой-то продукт вначале, а затем начинается его продвижение. Продукт может быть сырой, не всегда все получается хорошо, и поэтому аудитория не растет, начиная с какого-то момента все останавливается и дальше никак. Разработчики приходят к маркетингу и говорят: вот вы виноваты, потому что не даете рекламу, давайте больше рекламы и у нас будет больше аудитории. На что маркетинг им отвечает: виноваты вы, потому что мы сколько рекламы не льем, все равно все отваливаются, это у вас продукт плохой. Попробуем их рассудить с научной точки зрения. Сейчас я попытаюсь рассказать вам, каким образом надо мыслить, как надо действовать, чтобы получить хоть какой-то объективный ответ на вопрос «таки в каких пропорциях надо вкладывать?». Единственный момент – эта технология работает только там, где мы имеем продолжительный контакт с пользователем. В среднем это должно быть несколько месяцев. Что такое Churn Rate? Churn Rate это по сути та категория пользователей, которая на следующий период времени (в данном случае месяц) не появляется на вашем ресурсе, то есть, перестает им пользоваться, по сравнению с предыдущим месяцем. Получается такая картинка – в зависимости от того, какая доля, возьмем для примера 10%, для сервиса чья аудитория в 0 месяц составляла 100%, в каждый следующий месяц отмирает одинаковая доля пользователей. И в зависимости от того, какая доля отмирает, например, при Churn Rate 40%, уже через полгода остается не более 5%. И даже при достаточно хорошем Churn Rate в 10%, через год остается порядка 30%. Эти цифры взяты не с потолка, они на самом деле достаточно справедливы для разных сервисов. Получается такая картина, что аудитория за год практически полностью обновляется даже при такой средней нормальной работе сервиса. Это означает, что ядра практически нет у сервиса, это очень плохо. Еще немного страшных формул, которые на самом деле вовсе не такие страшные, как кажутся. По сути это ряд, отображающий как аудитория последующего месяца зависит от предыдущего через количество новых пользователей и Churn Rate. Ну понятно, Churn Rate откусывает какую-то долю наших пользователей, потому что они отваливаются, вместо них приходится какое-то количество новых. Соответственно, чтобы поднять аудиторию, надо либо прибавлять новых, либо работать над тем, чтобы Churn Rate падал. Новых можно разделить на тех, кто придут сами, и на тех, которых мы фактически покупаем рекламой. Я думаю, что каждый маркетолог может примерно нарисовать функцию, сколько стоит один пользователь. И Churn Rate. Churn Rate в принципе тоже можно выразить через какую-то функцию, то есть мы понимаем, что для того, чтобы уменьшить отток пользователей, нам надо вложить какие-то средства. Мы должны понимать, что для привлечения новых пользователей мы должны вкладывать в рекламу постоянно, из месяца в месяц, то Churn Rate – это разовое вложение. Самые главные выводы вам на самом деле надо будет сделать самостоятельно, потому что сервисов действительно очень много разных (программное обеспечение и интернет-магазин – совершенно разные сервисы), поэтому выводы надо будет делать самим. Но главный вывод такой – если Churn Rate слишком большой, никакая реклама не поможет задержать пользователя, просто если он случайно останется во второй месяц, то в третий уж точно отвалится. Здесь у меня построена модель. Синяя линия – это такой сервис, на котором происходит определенный прирост в какой-то момент, который компенсируется оттоком старых. Ну понятно, что приток новых постепенно растет за счет общего роста интернета, ну если убрать общий рост интернета, то получается такая прямая. Баланс в моем случае - Churn Rate и приток новых равняется 40%, то есть 40% аудитории каждый месяц бывает. И тут внезапно мы вдруг стали каждый месяц давать еще плюс 30% аудитории, покупаемой рекламой. Кучу денег платим, очень быстро растет аудитория, по-моему, понятно – в первый месяц сразу 130%, и упираемся в потолок 175%. При этом все эти 13 месяцев мы платим деньги. И альтернатива. У нас Churn Rate составляет 40%, это как правило большой Churn Rate в большинстве случаев. Но, чем больше Churn Rate, тем проще его опустить. Мы его каким-то образом разово улучшаем, платим за это деньги, до 20%. Что при этом происходит. Эффект мы видим не сразу, но уже через полгода мы получаем аудиторию большую, нежели та, что мы покупаем рекламой. При этом надо понимать, что это ядерная аудитория, пользователи становятся более лояльными и постоянными, что важно. То есть, эта аудитория оказывается намного ценней, чем рекламная. При этом, в перспективе, мы не платим деньги за то, чтобы обеспечивать этот прирост, мы один раз уже заплатили вначале. Если же отнять рекламу, например, эти 30% платных, то через полгода опять все вернется на 100%. В реальности у нас конечно Churn Rate работает не по экспоненте, а немного по более сложной системе. Можно выделить фактически два тренда, две экспоненты в поведении. Это на самом деле картинка реального одного программного обеспечения. Что происходит здесь. Более крутой, молодой тренд – означает, что большое количество молодой аудитории не прилипают, это те самые пользователи, которые потом составляют наше ядро и отваливаются медленно. На самом деле надо очень много работать над тем, чтобы они залипать начали выше и раньше, потому что ядро – это фактически наш актив, актив сервиса. Ну, собственно, мы поняли, что Churn Rate это важно и ему нужно уделять большое внимание. Как же его улучшать? Опять же, бизнесы очень разные бывают и сервисы тоже, единого решения нет, но есть какие-то общие очевидные вещи: 1. Повышать конверсию новых в постоянных. А значит работать с вот той красной, почти вертикальной кривой. Надо делать так, чтобы пользователи таки оставались на сервисе, однажды на него придя. Ну, например, если это почтовый сервис, то надо упрощать форму регистрации, чтобы пользователям было легко и просто регистрироваться. 2. Поощрять активность ядра. Есть разные способы работы с ядром, например, есть такой реальный случай, когда в интернет-магазине добавили какую-то игровую составляющую, и это действительно очень сильно повлияло на возвращение, ну и кроме того имело эффект удержания старых и привлечения новых, но это уже другая тема. 3. И вообще стимулировать возврат пользователя различными маркетинговыми средствами. Вы - маркетологи, и вы наверняка знаете много способов как стимулировать возвращение пользователя. Ну и в качестве бонуса. Churn Rate не только позволяет определить, что же делать нам, как распределять средства, он еще помогает весьма точно прогнозировать, что же будет с сервисом. На базе Churn Rate можно с высокой точностью прогнозировать аудиторию, а в некоторых случаях позволяет прогнозировать также прибыль его. Почему так получается? Потому что мы знаем не просто количество пользователей на сервисе, а точно знаем, какие именно пользователи – сколько ушло, сколько придет… При помощи формулы мы можем спрогнозировать эффект от рекламы, и понять, что будет происходить дальше. Аудиторию можно и нужно сегментировать. Если мы знаем, что старых пользователей больше, чем новых, - как часто они возвращаются, или – сколько денег они нам платят, или какой версией продукта пользуются… Можно строить прогнозы по каждому из этих сегментов, тем самым значительно повышая точность прогнозирования, и в будущем анализировать расхождение прогноза с реальностью, выявляя те сегменты, где мы ошиблись и выявляя почему. Главную мысль доклада весьма образно и точно передал Андрей Себрант: Я тут смотрел, кое-кто в середине Лешиного доклада немножко загрустил…. Ребят, вы не пугайтесь сложных формул. Леша вам сказал одну очень правильную вещь, которую в голове должен держать любой маркетолог: – если вы в какую-то бочку пытаетесь налить не то что воду, а довольно дорогой напиток (клиентов, за которых вы заплатили деньги), - дырки заткните сначала. Может оказаться, что заткнуть дырку существенно дешевле, чем закупать цистерну вина. Затем на сцену снова были приглашены украинские докладчики, которые вместе с Алексеем Долотовым приготовились отвечать на вопросы зала. Наиболее интересную часть дискуссии приводим ниже. Зал: - Вопрос к Алексею Долотову. Я так понимаю, ваш департамент занимается непосредственно исследованиями, как вложить средства в рекламу и в само юзабилити. Даете ли вы какие-то указания по штопанью этого юзабилити, по улучшению самого ресурса? Алексей Долотов: - Спасибо за вопрос. На самом деле мы занимаемся далеко не только этим, скорее даже не этим, мы вообще занимаемся аналитикой интернета. А вообще Яндекс присутствует на таком количестве интернет-рынков, что проще сказать на каком из них он не присутствует. И все это надо постоянно мониторить, понимать, что происходит. Да, рекламой мы тоже занимаемся, но нельзя сказать, что мы прям даем юзабилити рекомендации какие-то… Андрей Себрант: - Леша - молодой начальник отдела, всего несколько месяцев, поэтому я отвечу, как его непосредственный начальник. Совместно с юзабилистами придумываются эксперименты, если вы помните, у меня вначале был коротенький слайд, на котором я не захотел долго останавливаться, получить ответ – а что надо изменить, чтобы оно стоило того? – это всегда эксперимент. Даже очень опытные юзабилисты чего-то могут предложить, но это не обязательно будет хорошим решением, или лучшим из возможных решений. Поэтому совместно с аналитиками юзабилисты планируют серию экспериментов, например по изменению интерфейса, которые выкатываются на пользователя. Как правило, мы это себе можем позволить, при наших десятках миллионов пользователей, выкатывать на 2-3% пользователей, тогда не страшно выкатить плохое решение, спорное решение, то есть мы успеем его откатить и не обидим всех. Потом по анализу поведения этих пользователей, тестовой группы, на фоне тех, кто не видел никаких изменений на протяжении нескольких месяцев, принимается решение. И принимается оно на основе гораздо более сложных графиков, чем те, что показывал в своей презентации Леша. Зал: - Вопрос к украинским докладчикам. Есть ли какие-то свежие данные по проникновению социальных сетей в Украине? Когда я последний раз пробовал фильтровать пользователей вКонтакте по стране Украина, я могу ошибаться, но по-моему там выходила цифра 12 миллионов, что равняется свежей цифре проникновения интернета вообще по стране. Есть ли какие-то более точные оценки? Алексей Бакун: - На самом деле да. Мы сказали, что средне по стране общее проникновение не менее 12 миллионов пользователей. На самом деле нужно бы проспонсировать исследования в селах, но по некоторым данным 40% сельского населения уже пользуется интернетом. Я, конечно, не очень верю этим цифрам, но когда мы не мерили города с населением меньше 50 тысяч, мы отсекли 3,5 миллиона пользователей интернета, которые довольно часто там бывают. К сожалению, наши технологии пока не позволяют учитывать все социальные сети, но мы над этим работаем, и в данный момент мы взаимодействуем с одной крупной сетью, и надеемся, что вскоре подключатся другие. Смотрите, как интересно получается, как только нам удалось подключить к своим счетчикам какую-то крупную компанию, например Mail.ru, так сразу же заинтересовался Яндекс, то есть, как только сегмент становится интересным рекламодателю, сами площадки идут навстречу, потому что понимают, что здесь будут потрачены деньги, не сегодня, так завтра, а если мы не будем померены, то это будет неправильно, и нужно ставить счетчики и участвовать в измерении. Скажу еще, что в этом году мы будем иметь две крупные социальные сети, подключенные к нашим счетчикам, а в следующем году, если все пойдет хорошо, и найдутся заказчики этого исследования, мы сможем поднять и Google, и все те ресурсы, на которые ходят пользователи Украины. Андрей Себрант: - Я хотел бы прокомментировать по российской ситуации, в России давно доля вКонтакте держится на уровне 80% всей интернет-аудитории. В принципе, близость цифр общей интернет-аудитории и аудитории вКонтакте, она не удивительна. Можно сказать, что точно больше половины. Думаю, что когда вы выясните, то точно сможете сказать, где именно между 70 и 80% она сидит. Евгений Шевченко: - Хочу добавить, что количество анкет, заявленных в социальных сетях, профилей, это не количество живых людей ни в коей мере. И один из таких экспериментальных способов определения аудитории был нами использован, когда заказчик захотел разместить свою рекламу с частотой один контакт на заданную группу, мы посмотрели, сколько людей в течение месяца увидели эту рекламу и получили реальную живую аудиторию, людей, которые хоть раз в месяц заходили на эту социальную сеть. Но такой способ измерения, понятно, что он не самый удобный, а быстрее случайный. Зал: - Вопрос к Алексею Долотову. Вот вы говорите о том, что Churn Rate – это единоразовое вложение в отличие от рекламы, но, в то же время, вы отмечаете, что для формирования лояльности пользователей необходимо тратить средства на какие-то маркетинговые акции, их привлекающие. О чем идет речь? Вы сравниваете затраты на привлечение новых пользователей с затратами на формирование лояльности, либо целесообразность Churn Rate рассматривается с точки зрения показателя эффективности? Алексей Долотов: - Смотрите, Churn Rate требует разового вложения для того, чтобы измениться на какую-то величину, на какое-то время, как правило навсегда… Андрей Себрант: - Леш, тебя очень правильно поправляют. Мы со своей колокольни немножко говорим, когда это Churn Rate, связанный с продуктом, то да, ты можешь резко улучшить качество продукта, пользователь на него залипнет, и тогда это однократное вложение. Очень правильно для классического маркетолога. Churn Rate более управляем путем создания программы лояльности, которая требует тоже постоянных вложений. Мы просто говорим немного со своей стороны про то, что было вначале – «подумайте, в продукт или в рекламу?». Мы говорили об улучшении юзабилити сайта, измените форму регистрации и это сразу же увеличит срок жизни каждого последующего пришедшего пользователя, - вот о таких вещах мы говорили, а не о программах лояльности. Спасибо, это очень правильная поправка. Алексей Долотов: - Программа лояльности абсолютно нормально вписывается в мой доклад. Просто это не разовое вложение, а эта функция требует постоянных вложений, вот. Зал: - Я занимаюсь стартапами и тема конверсий, вложений в рекламу, она мне очень близка, потому что я свои деньги вкладываю и мне очень больно смотреть, как их поглощают… Было мнение что 80% у нас или 70% вКонтакте - это активная аудитория интернета. Я вот к какому выводу пришел, сейчас я его озвучу, а потом мне бы хотелось услышать ваше профессиональное мнение. Там аудитория неплатежеспособная. Эти миллионы, которые нам обещает каждый регион, как правило, выхлопа оттуда никакого. Может быть 1% только посмотрит на то, что вы предлагаете. Это мой очень грустный опыт, и я слышал также мнение других людей, что это имеет место быть, туда все почему-то кидаются, а потом убегают. Что вы скажете про такую ситуацию? Что происходит, почему эти миллионы не хотят давать мне деньги? Андрей Себрант: - Не там просите! Я просто сразу хочу сказать, что убеждение, что там 80% и они неплатежеспособные, противоречит здравому смыслу. Если там 80% интернет-населения, то поверьте, нет такой страны, в которой 80% населения неплатежеспособно! Евгений Шевченко: - Если у человека есть деньги на то, чтобы купить себе ноутбук и оплачивать ежемесячный доступ в интернет, его уже нельзя назвать неплатежеспособным. Дело в том, что люди ходят на сайты социальных сетей не для того, чтобы смотреть вашу рекламу и не для того, чтобы вам деньги платить. Как сказал кто-то из моих коллег: «Человека нужно вывести из состояния транса, чтобы он перешел из Одноклассников на ваш сайт», или из вКонтакте, потому что он идет там общаться с друзьями, а не кликать на рекламу. Но здесь есть много людей, которые могут подтвердить, что достаточно тяжело забрать людей из социальных сетей, но если вы их забрали, они хорошо конвертятся, они оставляют деньги. То есть переходов мало, но те, кто переходит – они тратят деньги хорошо. Я сейчас живые цифры реальных клиентов приводить не буду, но вообще-то, эта картина всегда такая. Зал: - У меня немного провокационный вопрос. В одном из докладов было сказано, что лишь 5% заказчиков отслеживают статистику по рекламе. Вам не кажется, что это в каком-то смысле показатель отношения заказчиков к интернет-рекламе? Ну, то есть бюджеты маленькие и только 5% парится отслеживанием рекламы. Евгений Шевченко: - Да, это плохо, но еще 2 года назад не было и этих 5%. Это нормальный эволюционный процесс. Чем больше рекламодатель тратит денег, тем больше у него появляется желания узнать, насколько хорошо он эти деньги потратил, как реклама сработала и сработала ли. Вы же видели там из статистики Бегуна, что динамика роста интереса к оценке эффективности - она достаточно большая и заметная. Думаю, что к концу года мы уже увидим совсем другие цифры. То есть, да, пока плохо, но надеемся – будет лучше. Алексей Долотов: - Я бы хотел немного поспорить, если можно. На самом деле есть очень разные сегменты рекламодателей. Если, например, у вас интернет-магазин и это для вас единственный способ существования, то поверьте, вы поставите все счетчики какие только можно и будете смотреть, мерить как идут продажи, да вы просто нутром почуете, если они у вас начнут падать. Если вы крупный рекламодатель, а мы в основном с такими работаем, то естественно для них 3% инвестиций это важно, но не настолько важно, сколько инвестиции в другие медиа. Но поверьте, они может быть сейчас не интересуются, потому что это всего лишь 3%, но даже за 3% эффективный рекламодатель всегда спросит, что он получил за эти 3%. И если – ничего, то понятно, что в интернет он больше никогда ничего не понесет. Поэтому даже за эти 3% правильней сказать – был выхлоп, и были 3%, а будет 5%. Алексей Бакун: - Я очень быстро добавлю, что это была статистика по баннерной рекламе, в контекстной рекламе все намного лучше. И по баннерной можно, наверное, сделать небольшую скидку на то, что часть рекламодателей рассчитывает просто на визуальные контакты, а не на переходы или другую статистику. Зал: - У меня вопрос про Churn Rate. В любом случае было сказано, что Churn Rate это какие-то постоянные изменения свойства продукта. У продукта в любом случае есть какая-то актуальность, то есть, когда мы говорим про изменения, которые дают нам бонус навсегда, хотелось бы понимать, как-то исследовалась корреляция этого «навсегда» - 3-6 месяцев, сравнимая с периодом исследования, 12 месяцев, несколько лет? Ну, то есть, Churn Rate, как свойство ресурса. Его качество навсегда, это на сколько? Алексей Долотов: - Churn Rate сам по себе, для абсолютного большинства продуктов, естественным образом всегда растет. Это связано с тем, что конкуренция появляется, рынок насыщается, с тем, что у людей появляется привыкание к новым продуктам, - тут очень много разных факторов. Соответственно, конечно есть такая общая тенденция к падению Churn Rate. В случае, если например мы улучшили форму регистрации, это должно воспрепятствовать повышению Churn Rate. То есть, это и есть то улучшение продукта, которое будет работать всегда. Зал: - Еще вопрос к Алексею. Есть ли какие-то программы или какие-то материалы, которые можно изучить, помогающие считать этот Churn Rate? Алексей Долотов: - Вкратце скажу от противного. Мы не можем считать Churn Rate по кукам. Это надо понимать. Потому что куки у нас живут в среднем 2 месяца, а нам нужно отслеживать жизнь пользователя больше чем 2 месяца, то есть нам надо работать с какими-то вещами, которые живут гораздо дольше, поэтому сервисы у нас с логинами. Как считать? Грубо говоря, в общих чертах, надо собирать информацию о том, в какой месяц, какой пользователь появился. Фактически нужно иметь такую таблицу – месяц, когда он появился, месяц, когда он посещал ресурс, и месяц, когда он не ходил. И вот на основе этой матрицы собственно Churn Rate и строится. Андрей Себрант: - Что касается литературы, отвечая на вторую часть вопроса, это беда. Литературы, особенно на русском или украинском сейчас нет, если хочется что-то почитать, то наверное в первую очередь нужно почитать классические книжки по маркетингу баз данных. Вообще подходы, используемые в маркетинге баз данных, с точностью до того, что используется в качестве идентификаторов – логины или weedы софта. По сути дела то, что мы сейчас делаем, это начинаем использовать в интернете классические модели маркетинга баз данных, существовавшего в оффлайне, в ритейловых сетях уже десятки лет. Зал: - Известно, что в интернете бродят банды, нет, даже целые стада ботов. Вот как вы с ними боретесь при учете результатов рекламных кампаний? Вы ведь сами оценивали иногда, что до 15% бывает нереальных пользователей на некоторых ресурсах. Андрей Себрант: - Я думаю, что представилась очень хорошая возможность представить человека, которого мы еще не показывали на сцене, но который будет интересен очень многим, это руководитель отдела рекламных технологий Яндекса, Евгений Ломизе. Я думаю, что ваш вопрос в значительной степени его головная боль. Евгений Ломизе: - Ботов действительно много. Я в основном имею дело с ботами, которые спиливают директ или накручивают ему там в сетях, что влияет на ценообразование в Яндекс.Директе. Помимо того есть боты, которые знать ничего не хотят о рекламе, просто скачивают выдачу, проверяют, всякие такие вещи делают, но они тоже вредят рекламе, искажая статистические показатели, просто нам с ними немножко проще бороться. Ну, задача выполнимая. Поскольку идет противостояние, бывают случаи, когда равновесие смещается, кто-то нащупывает брешь в нашей обороне и начинает пролезать через нее. Тогда мы начинаем получать много жалоб, мы эти жалобы анализируем и руками статистику правим. Андрей Себрант: - Поверьте, команда людей, математиков и программистов, которая занимается защитой от накруток, которая вычищает из разных статистиков этих ботов, это в общем, команда, ну поменьше чем в поиске, но вторая по размеру. Это действительно большая наука, и жутко жрет ресурсы, что обидно….
986 Прочтений • [«Количественные измерения в маркетинговых задачах» - первая секция конференции «Маркетинг в цифровые времена»] [20.04.2012] [Комментариев: 0]
Vova
