Когда вы пытаетесь превратить данные в информацию, данные, с которыми вы начинаете работать, очень важны. Данные могут быть простыми фактоидами (результатами чьего-то анализа) или «сырыми» транзакциями, изучение которых целиком и полностью лежит на пользователе.

Большинство наборов данных попадают на эти уровни агрегации. Если мы знаем, с данных какого вида нам придется начинать работать, мы сразу можем намного упростить задачу их правильной визуализации.

Давайте рассмотрим эти способы группировки данных по очереди, используя для примера потребление кофе. Предположим, что кафе учитывает каждую проданную чашку кофе и записывает два вида информации о продаже: пол покупателя и вид кофе (обычный, без кофеина или мокко).

Общая таблица таких данных по годам выглядит следующим образом (эти данные, кстати, полностью вымышлены):

Фактоид

Фактоид − это часть общей информации. Фактоид рассчитывается из исходных данных, но акцент делается на конкретной детали.

Ряд (series)

Это когда один вид информации (зависимая переменная) сравнивается с другим (независимая переменная). Часто в роли независимой переменной выступает время.

В этом примере общее количество проданного кофе зависит от года. Поэтому год − это независимая переменная («выберите год, любой год»), а количество продаж − зависимая («в этом году потребление кофе составляет 23,005 чашек»).

Рядом также может быть другой набор непрерывных данных, например температура. Посмотрите на эту таблицу, которая показывает, сколько времени требуется взрослому человеку, чтобы получить ожог первой степени от горячей воды. Здесь температура воды − независимый показатель.

Правительственный меморандум США, комиссия по безопасности потребления продукции, Питер Л. Армстронг, 15.09.1978

Также это может быть ряд несвязной, но связанной информации в категории, такой как основные марки автомобилей, породы собак, виды овощей, или масса планет солнечной системы.

Во многих случаях ряды данных имеют одну и единственную зависимую переменную для каждой независимой переменной. Другими словами, существует только одно количество чашек кофе, выпитых за каждый год. Обычно эти данные отображают в виде гистограммы, временной последовательности (динамического ряда) или столбчатой диаграммы.

Всего продаж

Если для каждой независимой переменной есть несколько зависимых, мы часто показываем информацию в виде диаграммы рассеивания или карты интенсивности, либо каким-то образом обрабатываем данные (например, определяем среднее значение), чтобы упростить то, что показываем. Мы вернемся к этому позже, когда будем говорить об использовании визуализации для демонстрации базовой дисперсии.

Многоряды

В многорядных данных есть несколько единиц зависимой информации и одна единица независимой информации. В этой таблице представлена информация о воздействии горячей воды, которую мы видели выше, однако она дополнена.

Давайте вернемся к нашему примеру с кофе − здесь может быть несколько рядов:

С таким набором данных мы знаем несколько фактов о 2001 годе. Мы знаем, что 16452 чашек было продано мужчинам, и что было продано 14021 чашку обычного кофе (с кофеином, сливками/молоком и сахаром).

Однако мы не знаем, как объединить эти данные в практических целях: они не связаны между собой. Мы не можем сказать, какой процент обычного кофе был продан мужчинам или сколько чашек досталось женщинам.

Иными словами, многорядные данные представляют собой просто несколько рядов одного графика или таблицы. Мы можем показать их вместе, но не можем укомплектовать или объединить так, чтобы это имело смысл.

Суммируемые многоряды

Как следует из названия, суммируемые многоряды − это отдельный показатель (пол, вид кофе), разбитый на подгруппы.

Поскольку мы знаем, что потребитель кофе может быть либо мужчиной, либо женщиной, то можем объединить эти показатели, чтобы получить более широкое видение потребления в целом. Прежде всего, мы можем продемонстрировать процентное соотношение.

Потребление кофе в 2001 году по гендерному признаку

Кроме того, мы можем сложить сегменты и показать целостную картину:

Общее количество чашек кофе по гендерному признаку

Сложность при работе с суммируемыми многорядами данных заключается в том, что необходимо знать, какие ряды совместимы друг с другом.

Например:

В этих данных нет ничего, что дало бы нам возможность объединить информацию. Необходимо человеческое понимание категорий данных, чтобы знать, что мужчины + женщины = полный набор, а также обычный кофе + кофе без кофеина + мокко = полный набор. Без этого знания мы не можем объединить данные или, что еще хуже, можем объединить их неправильно.

Итоговые записи

Следующая таблица итоговых записей напоминает данные, которые могла бы сгенерировать система кассовых терминалов в кафе. Она включает колонку с категориальной информацией (пол, с двумя возможными вариантами) и промежуточные суммы для каждого типа кофе. Кроме того, в нее входят итоговые суммы для этих типов.

Такой тип таблицы знаком каждому, кто хоть немного работал с инструментами типа Excel. Мы можем провести некоторые подсчеты:

• Среди потребителей кофе 5 мужчин и 3 женщины.
• Они выпили 16 обычных кофе, 8 без кофеина и 9 мокко.
• Мы продали 33 чашки.

Но, что еще важнее, мы можем объединять категории данных, чтобы углубить наше исследование. Например, поинтересоваться − предпочитают ли женщины определенный вид кофе? Это именно то, в чем Excel действительно превосходен, и это можно сделать с помощью инструмента под названием «Сводная таблица».

Ниже приведена таблица, в которой представлено среднее количество чашек обычного кофе, кофе без кофеина и мокко, приобретенных клиентами обоих полов:

На этой таблице мы видим очевидную тенденцию: женщины любят обычный кофе, а мужчины равномерно разделились между всеми тремя типами кофе. Для подобного статистически достоверного заключения данных недостаточно. Но все эти данные так или иначе выдуманные, так что перестаньте так переживать по поводу потребления кофе.

Однако, главное в этих данных то, что они определенным образом были агрегированы. Мы суммировали их в нескольких плоскостях − по полу и типам кофе, агрегировав их по имени клиента. Хоть это и не исходные данные, они все же близки к ним.

Что действительно хорошо в таком суммировании, так это то, что набор данных остается довольно небольшим. Оно также предлагает способы исследования этих данных. Довольно просто найти данные опросов, которые выглядят подобным образом; например, Google Form может вытянуть подобные данные из следующей анкеты:

В электронной таблице Google мы получаем следующие данные:

Использование визуализации для выявления базовой дисперсии

Когда у вас есть суммируемые записи или исходные данные, обычным делом будет объединить их с целью упрощения их демонстрации. Показывая общее количество выпитого кофе (суммируя исходную информацию) или среднее количество чашек на одного клиента (среднее значение от исходной информации), мы делаем данные более простыми для понимания.

Обратите внимание на следующие транзакции:

Мы можем показать среднее количество выпитых чашек кофе каждого типа в виде суммарного графика:

Среднее количество чашек

Но средние значения скрывают детали. Возможно, некоторые люди покупают одну чашку определенного типа кофе, а другие − несколько. Есть несколько способов визуализировать диапазон отклонений или дисперсию данных, которая демонстрирует исходную форму информации: например, графики интенсивности, гистограммы и графики рассеивания. Сохраняя исходные данные, вы можете получить в результате больше одной зависимой переменной для каждой независимой переменной.

Хорошая визуализация (например, гистограмма, которая подсчитывает, сколько людей вмещает каждая область или диапазон значений, составляющий в итоге среднюю величину) может обнаружить, что лишь несколько людей пьют много кофе, а большинство употребляет его в небольших дозах.

Взгляните на эту гистограмму, показывающую количество чашек кофе на каждого клиента. Мы всего лишь подсчитали, сколько людей выпивает одну чашку кофе, сколько − две, три, и так далее. Затем мы отразили в графике, как часто встречается каждое число (поэтому он и называется частотной гистограммой).

Среднее количество чашек в этом наборе данных − около 3. А величина наибольшей повторяемости, то есть самое часто употребляемое количество, − 2 чашки. Но, как показывает гистограмма, есть три заядлых кофемана, каждый из которых выпил по 7 чашек, увеличив таким образом среднее значение.

Другими словами, когда у вас есть исходные данные, вы видите исключения и выбросы (резко выделяющиеся значения) и можете более точно передать суть данных.

Даже эти данные, сколь бы подробными и информативными они ни были, не являются исходной информацией: они были агрегированы.

Агрегация происходит разными способами. Например, чек в ресторане обычно объединяет заказы по столу. Мы не можем узнать, что именно съел на ужин каждый конкретный человек за столом, только какие блюда подавали и сколько они стоили. Чтобы провести действительно глубокое исследование, нам нужны данные на уровне транзакций.

Отдельные транзакции

Транзакционные записи собирают данные о конкретном событии. Здесь не происходит агрегации данных вокруг какого-либо параметра, например чьего-то имени (хотя имя может входить в эти данные). Данные не накапливают во времени, они сиюминутны.

Эти транзакции можно агрегировать по любому из столбцов. По этим же столбцам можно создавать перекрестные ссылки. Отметки времени тоже можно объединить по отрезкам времени (по часам, дням или годам). В конце концов, первый набор данных о потреблении кофе по годам, который мы видели, является результатом этих исходных данных, правда, значительным образом  обобщенных.

Выбираем способ агрегации

Когда мы накапливаем данные по областям или каким-то образом их преобразуем, мы убираем исходную историю. Например, когда мы превратили изначальные транзакции в итоги по годам:

• мы сделали данные анонимными, удалив имена клиентов во время агрегации;
• мы сгруппировали отметки времени, суммировав их по годам.

Любой из этих фрагментов данных мог бы показать нам, что некто является заядлым любителем кофе (основываясь на общем количестве кофе, купленном одним человеком, или на уровне потребления согласно с отметками времени). Хотя мы можем и не найти применения нашим данным потребления кофе, но что если данные относились бы, например, к употреблению алкоголя? Было ли бы у нас моральное обязательство предупредить кого-то, если бы мы увидели, что конкретный человек постоянно употребляет большое количество спиртного? А что, если он кого-то убил, сев пьяным за руль? Являются ли данные о потреблении алкоголя предметом общественного интереса для суда, в отличие от потребления кофе? Имеем ли мы право объединять одни данные и пренебрегать другими?