«Черные лебеди» и «Большие Данные»

Помимо всего прочего эпидемия коронавируса еще раз показала, что мы неспособны прогнозировать свое будущее даже в краткосрочном периоде.

Скепсис относительно наших способностей прогнозировать будущее вообще достаточно велик. Только сегодня я читал две статьи, в которых это прозвучало прямым текстом. Интервью с руководителем отдела рынков J.P. Morgan International Дэвидом Стаббсом в «Зеркале недели» и опять же интервью с фантастом и футурологом Андреем Столяровым. Не буду пересказывать, что они сказали, можете сходить по ссылкам, единственное, что мне не понравилось — Стаббс опять упоминает «черного лебедя».

Я не люблю термин «черный лебедь». Я вообще не люблю, когда в красивые метафоры пытаются закутать явления, которые можно описать без этих самых метафор. Метафоры, гиперболы и яркие образы — это для поэзии, художественной литературы. Это для всякого рода эссе, в которых на трех страницах пытаются раскрыть глобальные вопросы мироздания.

На самом деле причины того, что наша прогностика валится достаточно очевидны. Неполнота первичной информации о процессах, которая в свою очередь обусловлена несовершенством инструментальной базы и ограниченным периодом времени наблюдения. Контекстуальные искажения информации: любой массив информации попадает в контекст — более широкий массив информации, где устанавливаются логические связи. Трактовки полученных данных и фактов могут разниться в зависимости от того, в какой контекст вы их инкорпорируете. Тут и коммуникационные искажения, которые всегда имеют место в ходе передачи информации от адресанта адресату. В конце концов, немаловажную роль играют и личностные искажения, обусловленные психикой человека, а также его ценностными и мировозренческими установками. Помните анекдот про стакан, который заполнен наполовину? Ну вот это об этом.

«Черные лебеди» «прилетают» потому что мы оперируем ограниченными массивами искаженных данных да еще и в силу своих «розовых очков» упускаем из фокуса массу реально протекающих процессов, думая, что их нет. Дело не в том, что какие-то вещи нельзя подвергнуть рациональному анализу. Дело в том, что мы не видим то, что есть рядом, понимая, что оно есть, когда оно долбанет по лбу.

Мы не можем адекватно прогнозировать будущее, эффективно управлять настоящим и оценивать прошлое именно по этим причинам. Целенаправленная работа по ликвидации выше перечисленных причин способна уменьшить масштаб проблемы — сделать прогнозы будущего более точными, понимания природы вещей — более глубокими. Собственно, это отчасти и происходит. Культура, наука и искусство не стоят на месте и за последние пятьдесят созданы беспрецедентно мощные инструменты для познания.

Пучок технологий Big Data — это как раз одна из попыток решить эту проблему. Думаю, что многие это ассоциируют со скандалами, связанными с компанией Сambridge Analytica и использованием инструментом Big Data в политических махинациях. При этом не стоит отрицать, что это один из наиболее эффектных примеров того, как могут использоваться Большие Данные.

Правда, направление это, на мой взгляд, развивается довольно медленно. Если посмотреть на историю, то первые попытки в этом направлении были предприняты еще в 70-е годы. Где-то к концу 80-х появился такой термин так «business data warehouse», который является одним из, наряду с управлением базами данных, компонентов ранних Big Data решений. Я хорошо помню, как читал про эти технологии в «Компьютерре» еще в середине 90-х. Тогда эта концепция в том числе подразумевала сведение разноформатных данных на одну платформу для дальнейшего процессирования. Собственно, это был один из посылов, на которых я развивал тему эволюции сети в первых текстах «гейткиперского цикла».

Вторая волна решений Big Data приходится на первую половину «нулевых», связанный с ростом интернет-данных и зарождением интернет-торговли и последующим развитом соцсетей. Тогда операторы получили в свое распоряжение массу данных, связанных с поведением пользователей. С начала прошлого десятилетия берет начало «третья фаза» — к веб-данным прибавляется трафик от мобильных устройств. Больше деталей можно почитать, например, в этой статье.

По сути Big Data — это довольно новое направление. Всего несколько лет назад на этот инструмент обратили внимания национальные правительства и наднациональные структруры. Так, например, Соединенные Штатов были одними из первых, кто решил исследовать возможности технологий Big Data. В марте 2012 года администрация Обамы выступила с инициативой исследования и развития больших данных (Big Data Research and Development Initiative) с бюджетом в 200 миллионов. В Японии разработка больших данных стала одним из важных направлений национальной технологической стратегии в июле 2012 года. Организация Объединенных Наций выпустила доклад под названием «Большие данные для развития: возможности и проблемы» (Big Data for Development: Opportunities and Challenges). Проект был призван очертить основные проблемы, связанные с проблемами больших данных, и способствовать диалогу о том, как Большие Данные могут служить международному развитию.

Конечно же эти технологии вовсю используют те же соцсети и сетевые сервисы для анализа поведения пользователей.

Думаю,что дальнейшее развитие этих технологий увеличивает шансы на то, чтобы перевести прогностику и футурологию из разряда «гаданий на кофейной гуще» и «визионерства-фантазерства» в разряд более точных наук. Что для проектирования будущих процессов футурологии будут оперировать именно Большими Данными, а не только гипотезами, расплывчатыми образами и общими словами.

У меня есть надежда на то, что пандемия коронавируса может подтолкнуть развитые государства и крупные корпорации к созданию более надежных инструментов прогнозирования. Потому как это действительно какой-то парадок — вычислительные мощности становятся все мощнее, а мы не может научиться прогнозировать даже в краткосрочном периоде. С этим действительно надо что-то делать и для успеха в этом есть все предпосылки.

Телеграм-канал блога

Comments

comments

Оставить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *