Смотреть миникаст
Евгений Романенко и Олег Брагинский
– Кластеризация и кластер. Эффективная кластеризация сегодня тема выпуска. Будем изучать, как метод работы с информацией помогает в бизнесе и жизни. По традиции с определения начинаем, что же такое кластеризация и кто кластеры такие?
– Упреждая вопросы, хочу сказать, что очень ждал тему. Обожаю кластеризацию и всё, что с ней связано. Классическое определение кластеризации – задача группировки множества объектов на подмножества (кластеры) таким образом, чтобы объекты одного кластера были более похожи друг на друга, чем на объекты других кластеров по какому-либо критерию или их совокупности. Объясняю кластеризацию немного иначе: кластеризация – разделение множества разнородных объектов на устойчивые группы предсказуемого поведения, потому что в реальной жизни кластеризация нужна для того, чтобы влиять на клиентов, управлять товарными запасами, формировать политики территориальной дистрибуции, группировать населённые пункты по схожести спроса. Если в ходе кластерного анализа удаётся распределить известные объекты в сравнительно однородные группы в многомерном пространстве, то появляется возможность угадывать их поведение или отношение к ним со стороны. Используя обучающую выборку в размере 70% от базы известных объектов и проверяя результаты или итоги кластеризации на случайной выборке из оставшихся 30%, получаем возможность оценить качество классификации, в том числе и будущих произвольных объектов, не выходящих за пределы мерности множества. Звучит немного сложно, но предостерегу зрителей от завершения просмотра – пятая часть проектов и, соответственно, заработанных денег, имеет корни в кластеризации, поэтому есть основания любить и рекомендовать.
– Кластеризация произведена, что делаем дальше с полученным массивом хорошо структурированной информации?
– На основании математической кластеризации преступают к текстовой интерпретации. Аналитик строит первичные диаграммы (предпочитаю пироговые, иногда использую накопительные гистограммы) и теперь наступает время дать кластерам названия. В зависимости от задачи использую названия животных, птиц, рыб, фруктов, овощей, ягод, планет. Важно, чтобы названия были говорящими и помогали запоминать суть собственного содержимого. Например, при кластеризации клиентов, имеющих задолженность перед банками, использовал имена: форель – верховодная рыба, легко бросается на приманку. Позвонили и деньги вернёт. Карась – рыба умеренной хитрости, может скрываться в толще воды и делать лёгкие попытки не услышать, забыть и пропасть. Угорь – скользкая, юркая, водоплавающая, которую голыми руками не возьмёшь. Надо прижимать. Сом – зажиревший, обнаглевший угорь. Самый сложный кейс.
– Кто осуществляет кластеризацию? Кто этот человек? Кроме случая, когда это Олег Брагинский?
– Кластерный анализ проводит группа специалистов либо сотрудник, который разбирается в данных и знает математику. Обычно аналитик не желает заниматься предварительным анализом и чисткой данных, полагая, что пользователи системы старательно заносили информацию, а «некто» убедился в чистоте. Ошибки в порядках или в следствии программно-аппаратных сбоев могут замутнять первичные данные и искажать итоговую кластеризацию. При работе с крупнейшим продавцом электроники, цифровой и бытовой техники нашли, что 4,5% клиентов имели неверно проставленный пол, что выявил очень простым анализом суффиксов славянских отчеств – «-вич» и «-вна».
В сети роскошных гостиниц сотрудники крайне небрежно подходили к фиксации домашних городов постояльцев. У 17% (каждый шестой) отсутствовали реально существующие на глобусе города. Пришлось иначе вычислять расстояние, которое гость преодолел до попадания в отель от места проживания. Пришлось глазами проверять и править руками названия населённых пунктов, чтобы в базу данных кластеризации подменить строковые переменные географическими координатами широты и долготы.