Большие данные. Принципы и практика построения масштабируемых систем обработки данных в реальном времени

В этой книге представлены теоретические основы организации систем больших данных и поясняется, каким образом они воплощаются на практике. В ней рассматривается лямбда-архитектура, предназначенная для построения подобных систем, и на примере конкретного веб-приложения поясняются особенности реализации всех уровней этой архитектуры с помощью инструментальных средств вроде Hadoop, Cassandra и Storm. Для чтения этой книги не требуется предварительное знакомство с особенностями анализа крупномасштабных данных или баз данных типа NoSQL, хотя полезно знать о традиционных базах данных. В крупномасштабных веб-приложениях, которые поддерживают работу социальных сетей, выполняют аналитику в реальном времени или поддерживают электронную торговлю, приходится обрабатывать большие массивы данных, объем и скорость обмена которыми превышают возможности информационных систем, основанных на традиционных базах данных. Для подобных приложений требуются архитектуры, в основе которых лежат кластеры машин для хранения и обработки данных любого объема и с любой скоростью. Правда, масштабируемость и простота не являются взаимоисключающими свойствами подобных архитектур. Эта книга поможет читателю научиться строить системы больших данных, используя архитектуру, специально предназначенную для фиксации и анализа данных в масштабе веб. В ней представлена простая для понимания и масштабируемая лямбда-архитектура, позволяющая разрабатывать информационные системы усилиями небольших команд. В книге даются теоретические основы организации систем больших данных и поясняется, каким образом они воплощаются на практике. Помимо общей инфраструктуры для обработки больших данных, читатель может ознакомиться с конкретными технологическими и инструментальными средствами вроде Hadoop, Storm и баз данных типа NoSQL. В этой книге рассматриваются следующие темы: Введение в системы больших данных. Описание особенностей обработки данных масштаба веб в реальном времени. Применение инструментальных средств вроде Hadoop, Cassandra и Storm. Возможность расширить свои знания и навыки за пределы традиционных баз данных. Для чтения этой книги не требуется предварительное знакомство с особенностями анализа крупномасштабных данных или баз данных типа NoSQL, хотя полезно знать о традиционных базах данных. Об авторах Натан Марц создатель системы Apache Storm и инициатор применения лямбда-архитектуры для построения систем больших данных. Джеймс Уоррен архитектор-аналитик с квалификацией в области машинного обучения и научных расчетов. Книга рассчитана на читателей, стремящихся освоить принципы построения систем больших данных и внедрить их на практике.