Big Data на примере банковского сектора

Многие говорят о Big data, но что это такое и как это работает — понимает не каждый. Начнём с самого простого — терминология.

Большие данные (англ. big data) — обозначение структурированных и неструктурированных данных огромных объёмов и значительного многообразия, эффективно обрабатываемых горизонтально масштабируемыми программными инструментами, появившимися в конце 2000-х годов и альтернативных традиционным системам управления базами данных и решениям класса Business Intelligence.

Говоря проще, Big data — это различные инструменты, подходы и методы обработки как структурированных, так и неструктурированных данных для того, чтобы их использовать для конкретных задач и целей.

Термин «большие данные» ввёл редактор журнала Nature Клиффорд Линч еще в 2008 году в спецвыпуске, посвященном взрывному росту мировых объёмов информации. Хотя, конечно, сами большие данные существовали и ранее. По словам специалистов, к категории Big data относится большинство потоков данных свыше 100 Гб в день.

В широком смысле о «больших данных» говорят как о социально-экономическом феномене, связанном с появлением технологических возможностей анализировать огромные массивы данных, в некоторых проблемных областях — весь мировой объем данных, и вытекающих из этого трансформационных последствий.

Технология Big data

Огромные объёмы данных обрабатываются для того, чтобы человек мог получить конкретные и нужные ему результаты для их дальнейшего эффективного применения.

Фактически, Big data — это решение проблем и альтернатива традиционным системам управления данными.

Техники и методы анализа, применимые к Big data по McKinsey:

• Data Mining;
• Краудсорсинг;
• Смешение и интеграция данных;
• Машинное обучение;
• Искусственные нейронные сети;
• Распознавание образов;
• Прогнозная аналитика;
• Имитационное моделирование;
• Пространственный анализ;
• Статистический анализ;
• Визуализация аналитических данных.

Горизонтальная масштабируемость, которая обеспечивает обработку данных — базовый принцип обработки больших данных. Данные распределены на вычислительные узлы, а обработка происходит без деградации производительности. McKinsey включил в контекст применимости также реляционные системы управления и Business Intelligence.

Технологии:

• NoSQL;
• MapReduce;
• Hadoop;
• R;
• Аппаратные решения.

Для больших данных выделяют традиционные определяющие характеристики, выработанные Meta Group ещё в 2001 году, которые называются «Три V»:

• Volume — величина физического объема.
• Velocity — скорость прироста и необходимости быстрой обработки данных для получения результатов.
• Variety — возможность одновременно обрабатывать различные типы данных.

Big data: применение и возможности.

Объёмы неоднородной и быстро поступающей цифровой информации обработать традиционными инструментами невозможно. Сам анализ данных позволяет увидеть определенные и незаметные закономерности, которые не может увидеть человек. Это позволяет оптимизировать все сферы жизни — от государственного управления до производства и телекоммуникаций.

Например, некоторые компании ещё несколько лет назад защищали своих клиентов от мошенничества, а забота о деньгах клиента — забота о своих собственных деньгах.

Big data в мире.

По данным компании IBS, к 2003 году мир накопил 5 эксабайтов данных (1 ЭБ = 1 млрд гигабайтов). К 2008 году этот объем вырос до 0,18 зеттабайта (1 ЗБ = 1024 эксабайта), к 2011 году — до 1,76 зеттабайта, к 2013 году — до 4,4 зеттабайта. В мае 2015 года глобальное количество данных превысило 6,5 зеттабайта.

К 2020 году, по прогнозам, человечество сформирует 40-44 зеттабайтов информации. А к 2025 году вырастет в 10 раз, говорится в докладе The Data Age 2025, который был подготовлен аналитиками компании IDC. В докладе отмечается, что большую часть данных генерировать будут сами предприятия, а не обычные потребители.

Аналитики исследования считают, что данные станут жизненно-важным активом, а безопасность — критически важным фундаментом в жизни. Также авторы работы уверены, что технология изменит экономический ландшафт, а обычный пользователь будет коммуницировать с подключенными устройствами около 4800 раз в день.

Рынок Big data в России.

В 2017 году мировой доход на рынке big data должен достигнуть $150,8 млрд, что на 12,4% больше, чем в прошлом году. В мировом масштабе российский рынок услуг и технологий big data еще очень мал. В 2014 году американская компания IDC оценивала его в $340 млн. В России технологию используют в банковской сфере, энергетике, логистике, государственном секторе, телекоме и промышленности.

Что касается рынка данных, он в России только зарождается. Внутри экосистемы RTB поставщиками данных выступают владельцы программатик-платформ управления данными (DMP) и бирж данных (data exchange). Телеком-операторы в пилотном режиме делятся с банками потребительской информацией о потенциальных заемщиках.

Big data в банках.

Технологии больших данных жизненно необходимы современным банкам. Управлять активами, оценивать риски, сохранять и наращивать клиентскую базу — ключевые потребности кредитных организаций нельзя будет удовлетворить, не научившись пользоваться инструментами big data.

Далее рассмотрим 5 основных сфер банковской деятельности, которые меняются с наступлением эры больших данных.

Безопасность.

С помощью систем обработки данных банк знает о потребительском поведении своих клиентов. Если система выявляет аномальное поведение — резкий рост покупательской активности, перевод непривычных сумм на другие счета, вывод средств, — это становится сигналом тревоги. Предупредительные меры можно принять еще до того, как клиент обнаружит кражу кредитной карты и взлом онлайн-банка.

Банк также может сравнивать поведение одного клиента с поведением других, сопоставимых по уровню доходов. Искусственный интеллект со временем составит портрет типичного потребителя для каждой группы клиентов. Исходя из этого шаблона, система сможет предсказывать дальнейшее поведение потребителей и выявлять факторы риска.

Для борьбы с мошенническими сделками и отмыванием денег банки используют алгоритмы машинного обучения и анализ больших данных.

Управление рисками

Управление любым видом рисков — операционных, рыночных, кредитных, правовых — зависит от полноты и объективности информации, которую получают риск-менеджеры. Инструменты big data помогут нарисовать всеобъемлющую картину на любом уровне, будь то благонадежность заемщика или экономическая ситуация в отдельном регионе страны.

Система оценки рисков, основанная на больших данных, расскажет о потенциальном заемщике куда больше и объективнее. Она учитывает не только кредитную историю клиента, но и активность в соцсетях, тональность его комментариев, предпочтения в покупках и, если надо, поведение в сетевых играх.

Инвестиционная стратегия банка тоже зависит от оценки рисков в конкретной отрасли и регионе. Благо сегодня уже достаточно много эффективных инструментов, основанных на анализе big data, предназначенных для работы на рынке ценных бумаг.

Обслуживание клиентов

Для клиента важно, чтобы банк обслуживал его быстро, качественно и внимательно. При этом клиент не терпит никаких проблем и сбоев. Если они случаются, то должны решаться быстро и желательно без его участия.

Анализ клиентских данных позволяет, во-первых, быстро находить и решать проблемы клиента, а во-вторых, предлагать продукты, разработанные «специально для него».

Сегодня клиентские данные включают не только внутренние банковские сведения о состоянии счета и истории трансакций, но и внешнюю информацию. Как человек ведет себя в соцсетях. Что ищет в Google. Что покупает в интернет-магазинах (и на что ему не хватает денег). С кем переписывается по e-mail и какую рассылку получает. Куда отправляется на праздники и в отпуск. Чем больше банк знает о своем клиенте, тем более персональным будет клиентское обслуживание.

Создание новых продуктов

Это направление деятельности банков связано с предыдущим. Банки при создании новых кредитных и инвестиционных продуктов все чаще опираются на анализ клиентских данных.

50% потребителей готовы брать новые кредиты, рассматривать новые виды вкладов, пользоваться персональными предложениями. Доля таких клиентов становится тем выше, чем они моложе и богаче.

Углубленный клиентский анализ позволяет банку сформировать такие предложения для каждого клиента, угадывать его желания и возможности. Потребительские займы, ипотечные и автокредиты, срочные вклады — с приходом big data все обычные банковские продукты можно настроить под конкретного потребителя.

Инвестиционные консультации

Чтобы давать правильные советы, финансовый консультант должен знать о возможностях/потребностях своего клиента и хорошо разбираться в ситуации на рынках. С помощью инструментов big data банки могут и то и другое.

Банк может быть в курсе таких событий в жизни клиента, как свадьба, рождение ребенка, поступление в университет, переход на новую работу, смена интересов, будь то новое увлечение или решение отправиться в кругосветное путешествие.

Исходя из полученных сведений, для каждого человека формируется предложение. Например, клиенту предлагают начать откладывать на образование, когда его ребенку исполняется 10 лет. А если семья планирует купить дом, банк может заранее предложить им ипотеку для молодых.

С другой стороны, банки активно используют алгоритмы для интеллектуального анализа ситуации на фондовых рынках. Инструменты big data помогают извлекать выгоду как в краткосрочной перспективе, так и в долгосрочных вложениях. Для этого анализируют массивы самых разных неструктурированных данных — от погоды до тональности местных новостей в разных частях света, от уровня безработицы до настроений в соцсетях.

В итоге, несмотря на явные преимущества, которые дает Big Data аналитика в банковском бизнесе, сегодня большинство российских кредитных организаций используют во благо лишь ничтожную долю хранящейся у них информации. Только 30 крупнейших банков России заявляют, что внедрили и применяют соответствующие системы.

При этом речь идет уже не столько о больших данных, сколько об «умных» данных — тех сведениях, которые потенциально монетизируемы. Их использование станет таким же обязательным условием выживания банка, как достаточность капитала и сбалансированная кредитная политика.