Крупнейший в Великобритании розничный банк намерен предоставлять своим клиентам информацию о транзакциях в реальном времени.
Банковская группа Lloyds занялась совершенствованием своей аналитической системы и средств обработки данных с последующим переводом их функционирования в режим реального времени. Это позволит эффективнее выявлять случаи мошенничества, а клиенты смогут увидеть проводки сразу после выполнения своей транзакции.
В свете грядущего изменения нормативных требований и внедрения механизмов открытого банкинга группа Lloyds перестраивает свою архитектуру данных таким образом, чтобы максимально ускорить предоставление клиентам информации о совершенных ими транзакциях и приблизить его к реальному времени.
Выступая на конференции DataWorks в Мюнхене, главный инженер Lloyds Banking Group по Большим Данным Эндрю Маккол заявил: «Сегодня Европа движется к новому способу представления клиентских данных. Речь идет не о данных, принадлежащих нашей компании, а о данных, принадлежащих пользователям, и мы несем за них ответственность».
Маккол выразил уверенность в том, что обработка банковских данных в реальном времени откроет массу новых возможностей с точки зрения машинного обучения, улучшения обслуживания клиентов и предоставления им более полной информации о состоянии их финансов.
Кроме того, это окажется весьма полезным при организации противодействия мошенничеству. «Зная, что происходит прямо сейчас, вы можете своевременно принять ответные меры. Знание же того, что произошло вчера, не позволяет действовать столь же оперативно, – пояснил Маккол. – Мы стремимся сделать так, чтобы прохождение информации через всю нашу систему Больших Данных от источника к клиенту занимало доли секунды. И даже с учетом многочисленных уровней, которые приходится преодолевать данным, мы видим, что при использовании Apache Storm задержка не превышает 20 миллисекунд».
В результате потребители смогут получать сообщения фактически мгновенно, точно так же, как это происходит сегодня при их взаимодействии с наиболее продвинутыми в техническом отношении банками и их мобильными приложениями.
Решение поставленной задачи потребует от Lloyds серьезных архитектурных изменений. Для достижения требуемой скорости выполнения операций команде Маккола придется интегрировать унаследованные системы с современными технологиями, в том числе со средствами отслеживания измененных данных (Сhange Data Capture, CDC) и коннекторами Kafka. Идеальным вариантом, по словам Маккола, было бы использование лямбда-архитектуры с микросервисами, записывающими и считывающими данные перед их выгрузкой в аналитическую систему.
Но в реальности Lloyds приходится иметь дело со сложными унаследованными системами, которые не приспособлены к работе с такими низкими задержками.
«Представьте, что у вас имеется множество источников, множество клиентов и множество структур внутри системы: API для записи, запросы, пакетная загрузка, планируемые задания, API для чтения, выходные запросы и пакетная выгрузка», – пояснил Маккол.
К инструментам, которые банк использует в своем конвейере реального времени, относятся HBase (хранение данных и их обогащение в процессе прохождения), Hive (загрузка данных для анализа), Storm (обработка в реальном времени), Spark (потребление и загрузка данных в различные системы) и Kafka (брокер сообщений). Все они развернуты непосредственно на территории банка.
Для обеспечения дополнительной безопасности и защиты API в Lloyds используется кэширующий уровень. «Дело в том, что нам не хотелось бы выставлять какие-то из своих основных систем напоказ всему миру, – указал Маккол. – Это таит в себе потенциальную угрозу, а значит, нужен дополнительный уровень кэширования».
