Big Data: проблема, технология, рынок
30.09.2017
Андрей Найдич
Характеристики технологии
Объем данных (Volume)
Разнообразие форматов данных (Variety)
Скорость поступления и обработки информации
Ценность для бизнеса
Big Data как рынок
ИТ-инфраструктура
Организация и управление Big Data
Аналитическая обработка Big Data и выявление закономерностей
Средства поддержки принятия решения
Примеры реализации
Big Data — один из наиболее часто упоминаемых сегодня терминов в ИТ-публикациях. Однако, как это часто бывает с новыми понятиями, при краткости термина его смысл весьма расплывчат. Согласно англоязычной Википедии, Big Data — это наборы данных такого объема, что традиционные инструменты не способны осуществлять их захват, управление и обработку за приемлемое для практики время. Но, согласитесь, в этом смысле проблема «больших данных» существовала на протяжении всей истории развития ИТ. Всегда возникало желание обработать большие массивы данных за минимальное время, и всегда для этого оказывалось недостаточно мощности существующей ИТ-инфраструктуры. Почему же этот термин стал так актуален именно сейчас? И почему его толкования различаются от публикации к публикации? Попробуем разобраться.
Прежде всего отметим, что под термином Big Data в разном контексте могут подразумеваться данные большого объема, технология их обработки, проекты, рынок и даже компании, активно использующие эту технологию. Для того чтобы прояснить смысловое наполнение термина, необходимо рассмотреть все перечисленные аспекты, что мы и постараемся сделать в настоящей статье.
Очевидно, что так или иначе термин связан с проблемой накопления огромных массивов данных. Статистика поражает. За последние три года человечество произвело информации больше, чем за всю историю своего существования до 2008 года. И рост продолжается экспоненциально. По данным IDC, в 2011 году данных будет создано более 1,75 зеттабайт, что на порядок больше, чем в 2006 году (рис. 1), а в период между 2009-м и 2020 годом объем данных увеличится в 44 раза и составит 35 зеттабайт.