Сбербанк переходит на технологии обработки в памяти

В современных условиях Сбербанку приходится решать все более сложные задачи

Источник: Wikipedia


10:32 06.06.2016   |   3052 |  Кэтрин Нойес |  Служба новостей IDG

Рубрика Предприятие



Вычисления в памяти, ориентированные на приложения Больших Данных, сулят выход на новый уровень производительности и масштабируемости.

Обычную компанию, которая была образована в российской империи еще в XIX-м столетии, найти весьма непросто. Но ведь Сбербанк – это отнюдь не обычная финансовая организация.

Созданный в 1841 году по указу императора Николая I Сбербанк является старейшим банком в России, прошедшим долгий и славный путь в истории страны. Сегодня это финансовое учреждение имеет более 16 тыс. отделений во всех 83 субъектах Российской Федерации и обслуживает около 70% населения страны.

В современных условиях банку приходится решать все более сложные задачи.

Когда-то фактически все операции выполнялись людьми в их рабочее время и на территории банка, но с наступлением эпохи Интернета многое изменилось. Теперь клиенты уже не ограничены часами работы отделений и доступностью банковских служащих, а требования их в условиях обслуживания в режиме 24/7 взлетели до небес.

«Если десять лет назад Сбербанк обрабатывал порядка 30 транзакций в секунду, то сегодня нагрузка увеличилась до 3-4 тыс. транзакций, – указал старший управляющий директор банка Михаил Хасин. – Проблема, с которой мы столкнулись, рано или поздно возникает перед любым банком. Развитие цифровых коммуникаций в последние 10-15 лет привело к небывалому повышению рабочей нагрузки».

Традиционные системы не справляются

Михаил Хасин
Михаил Хасин: "Мы убеждены в том, что движемся в правильном направлении; в противном случае весь ИТ-бюджет нам пришлось бы тратить на модернизацию оборудования»

Свой вклад в изменение ситуации вносит огромное количество выполняемых транзакций. Речь идет не о том, что в обороте находится слишком много денег, а о том, что потребители разбивают многие свои расходы на более мелкие и в результате выполняют значительно больше транзакций.

Если ранее, допустим, потребитель платил за мобильный телефон 100 долл. один раз в месяц, то сегодня же его затраты составляют два-три долларов — но ежедневно.

Увеличение числа транзакций означает повышение рабочей нагрузки. К концу 2014 года стало ясно: системы, построенные за последние 15 лет, не справляются с возложенными на них функциями.

Традиционным и очевидным решением в таких случаях считается модернизация оборудования. В привычных для банков условиях, с учетом времени, когда отделения закрыты и транзакции не проводятся, такой подход оставляет достаточно времени для пакетной обработки и технической поддержки.

«Однако сегодня, когда банки работают круглосуточно, подобные решения уже не имеют смысла», – заметил Хасин.

Сбербанк рассчитывает повысить уровень интеграции своих продуктов и сервисов. Обычно у банков имеется несколько вертикальных программных стеков – один для платежей, другой для ипотеки и т.д. Но в эпоху Интернета клиенты хотят получать доступ ко всем банковским продуктам в одном месте.

«Для создания уровня интеграции, позволяющего взаимодействовать со всеми этими платформами и выдавать удобное для клиентов представление, приходится прилагать огромные усилия», – пояснил Хасин.

Сегодня многие предложения финансовых сервисов объединены в пакеты, которые пересекают границы отдельных продуктов, что делает интеграцию еще более важной.

В условиях роста давления со стороны небольших и маневренных банков, постоянно повышающих гибкость своих ИТ-систем, приходится постоянно думать о внедрении чего-то нового, черпая вдохновение в технологиях, поддерживаемых интернет-гигантами наподобие Facebook и Google.

«Они выросли из стартапов, у которых не было денег на покупку мэйнфреймов, поэтому приобретались маленькие машины, – подчеркнул Хасин. – По мере дальнейшего роста они закупали все больше и больше».

Имея перед собой примеры такой масштабируемости, Сбербанк внедряет технологию обработки, при которой структуры данных размещаются в оперативной памяти (in-memory) и распределяются между множеством обычных недорогих серверов. Вычисления в памяти, ориентированные зачастую на приложения Больших Данных, сулят выход на новый уровень производительности и масштабируемости при использовании стандартного недорогого оборудования.

Клиенто-ориентированная архитектура

Технологию такого рода предлагает целый ряд производителей программного обеспечения, включая SAP и Oracle. В 2015 году Сбербанк приступил к ее тестированию. В конце того же года была развернута платформа In-Memory Data Fabric компании GridGain Systems. Недавно первые компоненты новой технологии были внедрены в производственные системы.

GridGain предлагает кластеризацию и компьютерные средства, обработку, не зависящую от конкретной СУБД, потоковые технологии, функционирующие в реальном времени, и ускорение Hadoop. Возможно подключение сразу нескольких источников данных (в том числе реляционных СУБД и баз данных категории NoSQL) к приложениям Java,. NET и C++. Результатом является распределенная архитектура с массовым параллелизмом, отвечающая за организацию высокоскоростного доступа и обработки.

На сегодняшний день в Сбербанке развернута сеть распределенных вычислений, состоящая из трех «узлов» — машин для обработки платежей в оперативной памяти с использованием технологии GridGain и стандартного промышленного оборудования. Основными ее преимуществами являются высокая производительность и оперативность развертывания. Горизонтальная масштабируемость ограничена только числом узлов, а производительность увеличивается примерно в десять раз. При этом затраты на оборудование очень невелики.

При обучении работе с новым решением сложностей не возникает, поскольку программное обеспечение GridGain базируется на открытой технологии Apache Ignite и поддерживается весьма многочисленным сообществом. Из 5 тыс. разработчиков приложений Сбербанка сотни уже прошли обучение технологиям GridGain и сегодня вносят в деятельность сообщества свой вклад.

Основные трудности, с которыми в Сбербанке сталкивались до сих пор, связаны с новизной технологии обработки данных в оперативной памяти и относительным дефицитом соответствующих специалистов. Ситуация еще более осложняется масштабами системы, которой приходится оперировать несколькими петабайтами данных.

По мере дальнейшего внедрения требуется продумывать вопросы отказоустойчивости, но Хасин не сомневается, что будущее связано именно с подобными технологиями.

«Банки относятся к числу весьма консервативных организаций, но мы убеждены в том, что движемся в правильном направлении, – заявил он. – В противном случае весь ИТ-бюджет нам придется тратить на постоянную модернизацию оборудования».

Первые результаты оказались настолько впечатляющими, что в начале нынешнего года Сбербанк даже выступил в роли инвестора GridGain. Со временем планируется число узлов довести до нескольких сотен.

«Это будет клиенто-ориентированная архитектура, в которой каждого клиента со всеми его данными и продуктами закрепят за конкретным узлом в сети, – пояснил Хасин. – Вся обработка будет осуществляться в оперативной памяти, а данные для всех клиентов и всех транзакций всегда будут представлены в единственной истинной версии».


Теги: Большие данные Сбербанк Обработка в памяти GridGain
На ту же тему: