Анализируя поставленные кем-либо отметки «нравится» Facebook, программная система статистического моделирования способна определить основные черты его личности не менее точно, чем супруга или близкие родственники.

Анализ «лайков» и других цифровых следов может помочь компьютерным программам более осмысленно взаимодействовать с людьми, считают ученые, опубликовавшие доклад в журнале Proceedings of the National Academy of Sciences.

Системы Больших Данных уже помогают анализировать поведение, в особенности покупательские привычки, но средства статистического моделирования сегодня применяются слишком узко. «Не всегда можно понять значение оценок, которые они дают, — полагает Микал Косински, сотрудник Стэнфорда, соавтор исследования. — Задача нашей работы — упростить интерпретацию смысла оценок».

Люди превосходно справляются с определением черт характера, отмечает он, но компьютеры могут делать это еще лучше.

Новое исследование — продолжение работы, в результате которой в марте 2013 года был опубликован доклад, показывающий что компьютер может с поразительной точностью определять особенности личности по «лайкам» Facebook.

Теперь же исследователи решили выяснить, могут ли компьютеры оценивать людей точнее, чем они сами.

Ученые предложили около 86 тыс. пользователям Facebook заполнить состоящую из 100 вопросов анкету о своем характере, предназначенную для оценки основных черт личности: открытость опыту, добросовестность, экстраверсия, доброжелательность и невротизм.

За несколько раундов машинного обучения перечисленные черты были ассоциированы с «лайками» Facebook. К примеру, если человеку «нравится» Сальвадор Дали или медитация, это значит, что у него большая степень открытости опыту.

Чтобы оценить эффективность реализованных ими компьютерных алгоритмов, исследователи выдали аналогичные анкеты друзьям и родственникам части участников. Результаты этого опроса и выполненные компьютером оценки затем сравнивались с оценками, которые сами себе дали участники.

Оказалось, что по десяти лайкам компьютер узнает человека так же хорошо, как его сотрудники. Если лайков больше 70, программа достигает уровня друга или соседа по комнате, а если свыше 300, то компьютер будет знать вас не хуже супруги или близкого родственника.

Исследование примечательно большим размером выборки, отметила Дженнифер Голбек, специалист по компьютерным наукам Мэрилендского университета, директор лаборатории взаимодействия компьютера с человеком. Она не участвовала в исследовании, но тоже занимается проблемой определения черт характера людей по их сетевым следам.

«Учитывая, что в исследовании приняли участие так много пользователей Facebook, можно быть уверенным, что полученный результат не случайность, — отметила Голбек. — Возможно, для еще более обширных выборок какие-то из корреляций и не будут справедливыми. Но общая методология установления связи между атрибутами личности и тем, как мы ведем себя в Сети, определенно выглядит многообещающей».

Facebook дает отличный материал для подобного анализа, но люди оставляют цифровой след и много где еще, отметил Косински. Информацию для анализа пользователей могут дать публичные форумы наподобие Twitter, статистика скачивания музыки и фильмов и даже протоколы корпоративного веб-сервера.

Онлайн-компании уже исследуют такие следы, правда для слишком узких целей, считает Косински, тогда как сопоставление различных данных о людях позволило бы идентифицировать больше общих черт.

К примеру, оператор сайта, посвященного Сальвадору Дали, уже знает что его частые посетители это ценители искусства. Но сведения о том, что они, возможно, более открыты для новых идей, чем другие, могут помочь принимать решения о развитии сайта — к примеру о том, что его можно было бы оформить в более экспериментальном стиле.

Естественно, использование таких данных может вызвать проблемы с приватностью. Косински указывает, что специалисты Facebook имеют возможность применять подобные методы для оценки характера своих пользователей, и не исключено, что это уже делается.

И хотя не у всех компаний есть такой объем данных о пользователях, как у Facebook, было бы достаточно легко объединить информацию из нескольких открытых и закрытых источников, чтобы провести анализ личности гораздо более подробный, чем профилирование, к которому уже много лет прибегают онлайн-рекламодатели, отметила Голбек.

Работа исследователей позволит повысить осведомленность о том, какие именно сведения онлайн-компании могут собирать о своих пользователях. «Причем можно представить себе довольно неприятные сценарии», — добавила Голбек. К примеру, особенности личности, выяснившиеся по сетевым следам, могут повлиять на вашу кредитную оценку или страховые тарифы — справедливо или безосновательно.

Анализ поведения может использоваться как в недобросовестных целях, так и во благо — к примеру, чтобы лучше адаптировать приложения в соответствии с потребностями пользователя.

«Существует вероятность раскрытия непрогнозируемых вещей — чего-то, чего я бы ни за что не выяснила сама, — продолжила Голбек. — Поскольку система очень многое знает обо мне и имеет доступ к информации о деятельности миллиарда других людей, она способна выявлять по общим данным какие-то тонкости, о которых я и не подозревала».

Сами исследователи не видят препятствий тому, чтобы изменить масштаб своих алгоритмов и задействовать их для определения черт личности миллиардов людей, причем для этого даже не понадобятся большие вычислительные ресурсы. Это можно было бы делать практически в режиме реального времени, составляя полный профиль личности за тысячные доли секунды.

«Можно профилировать огромное количество людей практически мгновенно с очень малыми затратами», — добавил Косински.

Весьма впечатляющие новинки представили компании, привлекшие под свои знамена специалистов в области вычислительной биологии, физики, электротехники, программного обеспечения и других точных наук. Мы увидели бескрайний океан носимых устройств, которые открывают пользователям невиданные горизонты возможностей.

Прогноз Гарвардского университета, согласно которому Интернет вещей породит новый экономический бум, на CES 2015 не кажется таким уж очевидным. Большинство демонстрируемых здесь технологий представляют собой новинки, которые легко забываются.

Сегодня производители устройств всеми силами пытаются разместить беспроводное радио, процессоры и датчики везде, где только возможно: в зубных щетках, детских сосках, велосипедах и спортивном инвентаре, а ко всему этому подключаются приложения для сбора данных. Технологии распознавания жестов, которые присутствуют сейчас повсюду, симпатичны, но без них вполне можно обойтись. Тут и там мелькают новые образцы бытовой техники и носимых устройств, а фотографы со всего мира тянут шеи, чтобы запечатлеть очередной кофейник, подключаемый к Интернету.

В демонстрациях решений в области Интернета вещей по большей части повторяются уже знакомые нам идеи. Большая пресс-конференция, организованная компанией Panasonic и посвященная домашним средствам обеспечения безопасности Интернета вещей, вероятно, вызвала бы немалый интерес года четыре назад. Телевизор Sharp с разрешением «почти 8K» поражает окружающих красотой и четкостью изображения. Но все эти вещи сегодня вполне ожидаемы и редко волнуют по-настоящему.

LifeQ собирается продавать сервис, который превратит носимые устройства (например, умные часы) в оборудование, которое сможет спасать человеческие жизни. Источник: LifeQ

И тем не менее, на выставке можно встретить немало интересного. Возможно, самое оригинальное решение представила команда исследователей из компании LifeQ. У этой компании нет технологии, которую она могла бы продемонстрировать, и возле ее стенда не вьются толпы репортеров в ожидании очередной презентации. Зато LifeQ собирается продавать сервис, который превратит носимые устройства (например, умные часы) в оборудование, которое сможет спасать человеческие жизни.

LifeQ специализируется на прикладной математике. «На основе медицинских данных, собранных за последние 100-150 лет наши сотрудники создают модели, описывающие физиологию человека, – отметил основатель LifeQ, доктор философии в области биохимии Райан Конради. – Затем эти модели подключаются к входной информации, поступающей с датчиков».

В ходе демонстрации оптический датчик регистрировал световые волны различной длины, отражаемые кожей человека. Часть света поглощалась поверхностью кожи, в то время как другая попадала на датчик. Анализируя отраженный свет, можно узнать очень многое: уровень гемоглобина в крови, уровень сахара, характер дыхания и целый ряд других параметров.

«Мы оперативно собираем практически все анализы, которые могут понадобиться в отделении интенсивной терапии, – сообщил Конради. – Наши модели способны также определять уровни нагрузки и тренированности, а поскольку организм по-разному реагирует на потребляемую человеком пищу, можно узнать, ел ли он продукты, богатые белками или углеводами. Со временем наша система будет использоваться для прогнозирования сердечных приступов и выявления высокого риска диабета».

Компания LifeQ уже получила финансирование в размере 11 млн долл. и в нынешнем году собирается предложить клиентам свои первые сервисы.

Оптические датчики стоят недорого, и, по словам Конради, LifeQ постарается сделать носимые устройства настолько дешевыми, насколько это возможно.

Производители носимых устройств могут оснащать свои продукты оптическими датчиками. Собранная информация будет передаться в облако, а к результирующим потокам данных получат доступ разработчики приложений и производители носимых устройств.

Бизнес-модель, которой придерживается LifeQ, относится к типу, который был описан в недавнем выпуске Harvard Business Review ведущим экспертом Гарвардской школы бизнеса Майклом Портером и Джеймсом Хеппельманном, президентом и генеральным директором компании PTC, производиетелем систем автоматизированного проектирования, в последнее время активно разрабатывающей технологии Интернета вещей.

По мнению авторов, развитие Интернета вещей будет способствовать созданию новых сервисов, совершенствованию продуктов и появлению новых типов экономической активности вследствие формирования новых связей между продуктами, сервисами и отраслями. Все это приведет к очередному экономическому буму.

На CES производители носимых устройств в основном демонстрировали продукты, обрабатывающие элементарные данные (подсчитывающие, например, расстояние, пройденное при ходьбе). Но когда эти недорогие устройства получат доступ к большим объемам научных данных – данных, отражающих все богатство накопленных нами знаний – их перестанут называть просто приятными новинками.

С этого момента они превратятся в непременный атрибут повседневной жизни.

Исследователи из Стэнфордского университета сконструировали многоуровневый чип-«небоскреб», который гораздо быстрее, чем традиционные, выполняет задачи, связанные с обработкой Больших Данных.

Чип содержит несколько слоев памяти, перемежающихся со слоями, отвечающими за обработку. Благодаря использованию такой конструкции удается существенно сократить затраты времени и энергии на перенос данных из памяти в процессор и обратно.

Макс Шулэйкер, сотрудник факультета электронного машиностроения, сообщил, что на сегодня сконструирован чип из четырех уровней, но при необходимости можно легко построить хоть стоуровневый.

«Медленнее всего в любом компьютере происходит обмен данными между процессором и памятью, — отметил Шулэйкер. — На это уходит масса времени и энергии. Учитывая, что самые интересные приложения сейчас связаны с обработкой Больших Данных, необходимо найти способы ускорить этот обмен».

Обычная схема с разделением памяти и процессора для упомянутых тяжелых рабочих задач не подходит. Когда используется процессор с традиционной архитектурой, информация постоянно передается в него из памяти для вычислений, а затем снова возвращается в память. Этот непрерывный обмен данными отнимает гораздо больше времени и энергии, чем их обработка.

«Надвигается эпоха Интернета вещей, когда миллионы, триллионы датчиков будут транслировать информацию, — продолжил Шулэйкер. — Можно передавать всю ее в облако для обработки, но это будет просто гигантская лавина. Чтобы справиться с нею, понадобятся процессоры, способные выполнять сортировку данных еще до отправки в облако». Таким образом, по убеждению инженера, можно будет повысить эффективность работы с облаками и Интернетом вещей.

Как объясняют участники проекта, чип-небоскреб основан на трех новых технологиях.

Исследователи под руководством Субхасиша Митры, доцента отделений электронного машиностроения и компьютерных наук, и Филипа Вонга, профессора инженерного факультета, воспользовались транзисторами на углеродных нанотрубках взамен кремниевых, а вместо традиционной памяти — резистивной (RRAM) и магнитной памятью на основе переноса спинового момента (STT-RAM). И та, и другая требуют меньше электроэнергии и работают эффективнее, чем DRAM.

Третье новшество — сама конструкция в виде «небоскреба» из чередующихся «этажей» логики и памяти.

«Скорость обмена данными между уровнями в такой структуре по сравнению с традиционной схемой больше в тысячу раз, — подчеркнул Шулэйкер. — Приложения Интернета вещей на таком процессоре будут выполняться гораздо быстрее и эффективнее. Расходуя существенно меньше энергии, вы сможете выполнять гораздо больше работы».

Теперь разработчики пытаются выяснить, при каком размере структуры себестоимость изготовления чипа будет оптимальной. Как указал Шулэйкер, процессоры-небоскребы можно будет производить на традиционных линиях без серьезного переоборудования.

Исследователи сообщили, что сотрудничают с компаниями из микропроцессорной индустрии, но подробностей не уточнили.

«Мы имеем возможность объединять пространственные данные с очень сложной структурой, трудные в обработке, — заявил Дейн Коер, генеральный директор SpaceCurve. — Наше программное обеспечение способно непрерывно принимать большие объемы геопространственной информации, предоставляя пользователям возможность следить за нею и опрашивать ее».

По оценке аналитиков Gartner, сейчас около 80% всех данных имеют какие-либо геопространственные элементы. Но, по сведениям Коера, на сегодня практически нет программных средств уровня предприятия, способных извлекать из таких данных максимум пользы.

Традиционные СУБД и даже более новые системы Больших Данных не оптимизированы для быстрого анализа геопространственной информации, хотя почти все подобные решения имеют какой-то уровень поддержки работы с нею. И, хотя недостатка в географических информационных системах сейчас нет, они не рассчитаны на обработку колоссальных объемов показаний датчиков, объединенных в сенсорные сети в стиле Интернета вещей.

Специалисты SpaceCurve разработали семейство алгоритмов, упрощающих разбор географических данных, и реализовали с нуля движок базы данных, оптимизированный для распараллеленного выполнения на группе серверов.

По словам Коера, результатом стала система, которая, в отличие от Hadoop и подобных, может опрашивать потоки данных, поступающие в режиме реального времени, причем обходится она в разы дешевле, чем решения для анализа данных в оперативной памяти вроде Oracle TimesTen.

По убеждению Коера, у системы SpaceCurve — широкий круг потенциальных применений. Операторы связи, к примеру, смогут пользоваться ею для мониторинга перемещений абонентов в режиме реального времени. Систему также можно применять для обработки «цунами» информации, поступающей от удаленных сенсорных сетей.

В качестве примера Коер показал, как SpaceCurve наглядно отображает информацию о движении транспортных средств в Сиэтле одновременно со сводками демографических сведений по всем, кто в них едет, — для этого данные из журналов операций базовых станций сотовой связи сопоставлялись со статистикой бюро переписи населения.

SpaceCurve позволяет получать данные из источников, поддерживающих REST-запросы, и может работать с форматами JSON и ArcGIS.

«Для любой технологии, предоставляющей возможность использования геоданных с целью оптимизации процессов и повышения результативности, можно предложить массу сценариев применения, обеспечивающих отличную окупаемость», — полагает Том Петрочелли, аналитик компании Neuralytix по социальным, мобильным и облачным приложениям для предприятий.

Способность обрабатывать огромные объемы данных в реальном времени обещает SpaceCurve рыночные преимущества. Система подобного рода позволит, к примеру, организовывать крупномасштабные маркетинговые кампании, в ходе которых покупатели будут узнавать о распродажах, просто проходя мимо магазинов, отметил Петрочелли.

Геоинформационных систем и СУБД с поддержкой геопространственных данных существует немало. В частности, система IBM InfoSphere Streams тоже предлагается в качестве решения для анализа огромных объемов геопространственных данных «на лету». Но поскольку подобные технологии отличаются новизной, пока еще рано говорить о том, какой из подходов работает лучше, считает Петрочелли.

У SpaceCurve уже есть ряд заказчиков в различных отраслях, в том числе компания Socrata, разрабатывающая ПО для госструктур; Dyn, разработчик ПО управления производительностью ИТ-систем; Via Informatics, провайдер сервисов анализа геопространственной информации.

Компания SpaceCurve, основанная в 2009 году, с тех пор получила значительный объем инвестиций от целого ряда фондов, в их числе Reed Elsevier Ventures и Divergent Ventures. Она заключила партнерские договоры с несколькими компаниями, работающими в сфере геоинформационных систем, такими как AirSage, предоставляющая услуги анализа данных из сотовых сетей, системный интегратор L3 и Esri, ведущий разработчик ГИС.

SpaceCurve работает под Linux и может выполняться в облачных инфраструктурных сервисах, например в облаке Amazon.

Существующие проблемы во многом обусловлены тем, что традиционный подход к обеспечению сетевой безопасности, построенный на стратегиях защиты периметра корпоративной сети, не работает. Согласно отчету 2014 Cyberthreat Defense Report, более 60% организаций в прошлом году стали жертвами одной или нескольких успешных кибератак. Статистика свидетельствует о неэффективности защиты периметра. Исследования показали, что от 66 до 90% всех выявленных брешей были обнаружены не организациями, в которых присутствуют эти бреши, а независимыми компаниями.

Одним из альтернативных вариантов, способных улучшить ситуацию с безопасностью, является модель нулевого доверия (Zero-Trust Model, ZTM). Этот агрессивный подход к обеспечению сетевой безопасности предполагает установление контроля за всеми имеющимися данными исходя из предположения, что каждый файл таит в себе потенциальную угрозу. К выдвигаемым требованиям относятся обеспечение безопасного доступа ко всем ресурсам, предоставление доступа только тем сотрудникам, кому это действительно положено, обязательная проверка систем и исключение какого-либо доверия к ним, инспектирование всего трафика, ведение журналов, наблюдение за функционированием систем, проектирование систем изнутри наружу, а не снаружи внутрь. Это упрощает построение концепции информационной безопасности. Предполагается, что никаких «доверенных» интерфейсов, приложений, трафика, сетей и пользователей больше нет и не будет. Старую модель («доверяй, но проверяй») следует инвертировать, поскольку последние бреши показывают, что если в организации принято доверять, то никаких проверок там не совершается. Первоначально новая модель была разработана Джоном Киндервагом из компании Forrester Research и продвигалась как необходимая эволюция традиционных перекрывающихся моделей безопасности.

Модель ZTM требует от компаний контроля за получением доступа сотрудниками и анализа внутреннего сетевого трафика. Привилегии доступа должны быть минимальными. Особую важность приобретает анализ журналов и использование инструментов, проверяющих реальное содержимое пакетов с данными.

Исследование, проведенное Forrester по заказу IBM, показало, что многие организации уже сейчас находятся на пути к внедрению ZTM. Поступающие от них отклики свидетельствуют о том, что основные концепции этой модели принимаются, даже если в организации не знают о ее существовании. И это обнадеживает – мы видим, что реализация ZTM в полном объеме уже не за горами. Конкретные действия респондентов (ведение журналов, проверка всего сетевого трафика и т. д.) подтверждают, что от 58 до 83% из них уже находятся на пути к поддержке концепции ZTM.

ZTM поддерживает Большие Данные

Использование модели ZTM приведет к генерации огромных объемов данных в реальном времени. Их анализ потребует от ИТ-администраторов погружения в файлы журналов, результаты сканирования уязвимостей, предупреждения, отчеты и т. д. Анализ Больших Данных позволит получить исчерпывающую картину состояния системы безопасности, поможет выявлять риски, определять степень их серьезности, оценивать важность активов, подвергаемых риску, и находить пути устранения брешей в системе безопасности.

Объединение ZTM с Большими Данными сулит и дополнительные преимущества. Весьма многообещающим представляется применение к данным, которые уже находятся в сети, методов поведенческого анализа. Это позволит предотвратить широкий спектр подозрительных действий.

По оценкам Gartner, анализ Больших Данных сыграет ключевую роль в выявлении кибератак. Если сейчас лишь 8% глобальных организаций применяют анализ Больших Данных для выявления угроз безопасности и мошеннических действий, то к 2016 году их доля вырастет до 25%. Большие Данные изменят многие продукты обеспечения безопасности компьютерных сетей, включая средства сетевого мониторинга, аутентификации и авторизации пользователей, выявления мошеннических действий. Они окажут заметное влияние на системы управления, оценку рисков и обеспечение соблюдения нормативных требований. Большие Данные изменят природу управления безопасностью, в том числе межсетевые экраны, антивирусы и системы предотвращения потерь данных. В ближайшие годы развитие инструментов анализа данных поможет повысить эффективность профилактических средств и автоматизированного управления в реальном времени.

И наконец, использование анализа Больших Данных в интересах сетевой безопасности будет способствовать эффективному сбору данных и полномасштабной оценке состояния всей инфраструктуры. Пока же процесс обнаружения источников брешей и оценка последствий их появления с изучением огромных объемов данных самого разного характера может растянуться на несколько месяцев.

Сегодня перед компаниями открывается широкий простор для создания новых продуктов и услуг, которые помогут им извлекать дополнительную прибыль.

Ахмед Банафа – профессор школы информационных технологий при Университете Каплана (шт. Айова, США).