Concept lineage tool

Abstract

Большинство организации становятся data-driven, зачастую обрабатывая данные из множества источников чтобы добиться работы критически важных бизнес-функций. Помимо решения задач, связанных с хранением  и обработкой больших данных, все актуальнее становятся задачи связанные с точностью этих данных и их происхождением. Здесь будет рассмотрен опыт компании GE, которая разработала свой концепт и инструмент для моделирования потоков данных и их анализа в интерактивном режиме. Компания предложила новый подход, который позволяет контекстуализировать потоки данных в бизнес-специфичной терминологии: концепт, бизнес/домен и продукт. Компания реализовала основные функции анализа, в том числе отслеживание происхождения данных и обнаружение всех систем, в которых находятся данные по заданным пользователем критериям. Этот инструмент очень быстро был взят пользователями на вооружение и за короткое время стал критически важным приложением для бизнеса с более чем 2200 системами источников данных.

Введение

Признание данных стратегически важным активом для бизнеса сделало управление корпоративными данными существенно важным за последние десятилетия. Корпоративная инфраструктура может состоять из сотен систем и тысяч различных типов данных. Для облегчения задачи управления данными GE придумало концепцию Concept lineage tool (далее Colt) и сделало продукт на ее основе. Благодаря Colt пользователь может собирать метаданные о различных системах и потоках данных между ними. (прим. хранилище данных в этом случае становится частным случаем и может быть рассмотрено как набор систем или каждая таблица может быть приравнена к системе). Эта информация доступна для исследования в интерактивном режиме в форме направленного графа, где узлы являются производителями/потребителями данных, а ребра представляют собой потоки данных между этими узлами.

Colt позволяет пользователям описывать потоки данных с помощью расширяемых иерархических таксономий, включающих комбинации из доменов, продуктов и концептов, которые связаны с потоками данных между системами. Кроме того, реализован функционал, облегчающий работу с графом, включая обзор всего графа, фильтрацию по типу систем (downstream/upstream), фильтрацию потоков данных на основе бизнес терминологии из таксономии. Colt позволяет понять каким образом данные распространяются по инфраструктуре, и отследить их происхождение как вверх по течению так и вниз. Эта способность отслеживать данные имеет критическое значение для оценки потенциального воздействия изменений в одном или нескольких узлах графа.

Несмотря на то, что Colt изначально создавался для удовлетворения конкретных потребностей GE, он разрабатывался с возможностью переиспользования в других организациях и индустриях. Модель метаданных и таксономию можно легко расширить, изменить или создать полностью свою.

Отслеживание концептов

Colt создан для отслеживания происхождения концептов, где концепт это логическая группировка нескольких элементов данных. Например, концепт Party Identity может включать в себя элементы данных содержащие имена, адреса, номера телефонов клиентов или потенциальных клиентов. Некоторые концепты могут содержать небольшое количество дата элементов, в то время как другие десятки. Для Colt достаточно определить потоки данных с точки зрения концептов, поскольку эти группы дата элементов обычно перемещаются вместе. Такой подход более масштабируемый, так как уменьшает объем метаданных, которые требуется отслеживать и поддерживать в актуальном состоянии.

Таксономии

Colt был разработан для фиксирования метаданных о потоке данных из одной системы в другую. Данные характеризуются набором таксономий, включая содержание данных (концепт) и контекст, в котором эти данные существуют.

·         Концепт – контент данных (например, Party Identity для данных которые содержат имена и адреса заказчиков)

·         Обработка – действие, выполняемое над данными потребляющей системой (создание, чтение, изменение, обогащение)

·         Бизнес контекст – бизнес, домен или направление бизнеса, для которого эти данные существуют.

·         Продуктовый контекст – линейка продуктов, для которой существуют эти данные

·         Другой контекст

Концепты, домены, продукты могут образовывать иерархические структуры из субконцептов, субдоменов и субпродуктов с произвольным количеством уровней.

Происхождение данных представлено в виде направленного графа.  В большинстве случаев графы происхождения данных состоят из трех и более сущностей – дата артефакты, системы или преобразования этих артефактов и агенты осуществляющие эти преобразования. Артефакты данных могут варьироваться от кортежей в базе данных до файлов.

HLD

Требования

1.       Возможность отображать весь граф систем 2.       Возможность, начиная с конкретной системы, просматривать системы потребляющие данные или передающие данные в эту систему 3.       Создавать, изменять и удалять потоки данных, используя соответствующие понятия таксономии 4.       Фильтровать граф с помощью таксономий 5.       Проверять граф, чтобы оценить логичность и консистентность 6.       Начиная с определенного узла, отслеживать данные в этом узле, чтобы обнаружить их происхождение или дистрибьюцию

Кроме того, группа администраторов должна иметь возможность редактировать граф, добавляя системы, определяя потоки данных между ними и создавать стандартные отчеты.

Архитектура

Хранение данных

Для моделирования и хранения графа были выбраны семантические технологии. Решение использовать их вместо реляционных хранилищ или NoSQL было принято по нескольким причинам. Первая, возможность использовать встроенный рекурсивный запрос для обхода графа. Вторая, семантические модели обеспечивают высокий уровень выразительности для представления метаданных и легко расширяются. Это позволило создавать Colt поэтапно с монотонным графиком развития. Традиционная СУБД потребовала бы большого количества миграции схемы или привела бы к запутанной большой схеме по мере расширения.

Использование NoSQL упростило бы подход к созданию схемы, но привело бы к значительным накладными расходам во время запроса.

Семантическая модель

Технология семантической модели SADL (Semantic Application Design Language) использовалась для создания модели и наполнения данными. SADL работает на базе английского языка и компилируется в OWL (https://www.w3.org/OWL/)

Использование английского языка позволяет генерировать описательные модели экспертам предметной области, которые не знакомы с Semantic Web. Это позволило сократить время разработки. SADL так же предоставляет инструменты и шаблоны, упрощающие загрузку данных в семантическое хранилище.

Семантическая модель была построена для представления систем данных и потоков данных между ними. Семантическая модель фиксирует метаданные об узлах, включая имя узла, тип и краткое описание. Несмотря на использование термина системы данных, узлы могут быть любого типа: база данных, хранилище данных, внешний источник, приложение, модель/аналитика, отчет или процесс. Каждый из этих типов представлен отдельным значком в пользовательском интерфейсе.

Звездочки представляют отношения «один ко многим». К примеру, поток данных может содержать концепты Contract Terms и Party Identity для продуктов Single Investor Lease в Fleet Services домене (поддомен North America Commercial Loans and Leases).

Contract Terms читаются и сохраняются потребителем, а Party Identity изменяется потребителем.

Иерархический характер допускает наследование, предполагается, что выбор родителя подразумевает выбор потомков. Если поток данных включает в себя концепт C, то он также включает в себя субконцепты: Са, Сb, Сс.

Модель Colt изначально происходит от модели, построенной для описания потока материалов в производстве. В этом случае, материалы отслеживаются по мере их прохождения через этапы процесса. Каждый шаг может создать, изменить, проверить или использовать материал.

Таким образом, в основе семантической модели лежит концепция называемая MoP (material or process)

Пользовательский интерфейс

Веб интерфейс позволяет пользователям создавать, управлять, просматривать и исследовать граф. Для отображения графа используются библиотеки Cytoscape.js и DynaTree.js.

Пользователь может исследовать граф несколькими способами. Можно просматривать весь граф и все потоки данных. Может выбрать одну или несколько систем и посмотреть откуда они получают данные или куда осуществляют дистрибьюцию данных. Такой анализ возможен в любой точке графа. Пользователь может выбрать отображение конкретного концепта или контекста. Возможно фильтровать граф по любому набору концептов, доменов, продуктов.

Дополнительные возможности

Трассировка

Сосредоточимся на отслеживании upstream потока данных. Объяснение может быть применено так же для downstream потока данных без потери общности, для этого потребуется изменить порядок узлов.

Алгоритм оценивает каждую систему по течению и определяет получила ли она соответствующие данные, если да, то оценивается следующая система по течению, до достижения терминальных узлов. В этом примере выполняется трассировка данных на систему Z.

Первой рассматриваемой системой является Y, далее рассматриваются W и X. При отслеживании алгоритм должен учитывать не только концепт, но и контекст. Концепт, домен, продукт представлены как {c,b,p}. При трассировке система W включается в происхождение данных, а система X исключается из трассировки, так как отправляет продукт q вместо p. Это очень упрощенный пример так как в реальности каждое ребро может содержать множество различных комбинаций концептов, доменов, продуктов. И каждая из них должна быть проверена.

Валидация

На практике так же требуется механизм корректности графа, чтобы определить, где он может быть неполным или неправильным. Валидация работает для каждой системы отдельно, определяя будут ли данные, которые данная система отправляет корректны с учетом того, какие данные она получает или создает. Система не пройдет проверку если будет обнаружено, что она отправляет данные, которые она ни создает, ни получает.

Алгоритмы трассировки и валидации будут здесь пропущены для облегчения восприятия.

Результат

С помощью этого инструмента пользователи точно представляют потоки данных и могут интерактивно их исследовать. Это дало существенное улучшение способности управлять данными.

Colt позволяет мгновенно отвечать на ключевые вопросы о системах и потоках.

Colt активно участвует в разработке ПО. С помощью него эффективно проводится анализ воздействия изменений и выявление критических точек.

По оценке компании Colt привел к сокращению на 50% времени и стоимости IT проектов.