📌 Цель:
Внедрить систематический подход к учету, управлению и описанию данных с использованием Collibra Asset Model. Это позволит четко определить владельцев данных, источники, связи между активами и правила управления.
🔹 1️⃣ Проблемы без четкой модели управления данными
🚨 Данные разрознены – нет единого места, где описаны все активы и их взаимосвязи.
🚨 Неизвестны владельцы данных – неясно, кто отвечает за актуальность и качество информации.
🚨 Сложности с lineage – пользователи не могут отследить, как данные трансформируются.
🚨 Отсутствие стандартизированного описания – один и тот же показатель может интерпретироваться по-разному.
Collibra Asset Model решает эти проблемы, создавая централизованный реестр всех данных и их связей.
🔹 2️⃣ Основные элементы модели управления активами (Collibra Asset Model)
📌 1. Бизнес-активы (Business Assets)
- Бизнес-глоссарий (Business Glossary) → единое определение всех ключевых терминов и показателей.
- Бизнес-процессы (Business Process) → какие данные используются в каждом процессе.
- Ключевые метрики (KPIs) → стандартные расчеты показателей.
📌 2. Дата-активы (Data Assets)
- Каталог данных (Data Catalog) → перечень всех доступных источников данных.
- Дата-продукты (Data Products) → оформленные источники данных, которыми управляют бизнес-домены.
- Физические структуры данных (Tables, Columns, Fields) → таблицы, колонки, структуры файлов.
📌 3. Технологические активы (Technology Assets)
- Системы и базы данных (Database, API, Files) → какие системы хранят данные.
- ETL/ELT-процессы (Data Pipelines) → как данные перемещаются между системами.
- Инструменты обработки данных (BI, ML, Analytics) → где и как используются данные.
📌 4. Политики управления (Governance Assets)
- Правила безопасности и комплаенса (Policy Rules) → GDPR, SOC2, ISO 27001.
- Метрики качества данных (Data Quality Metrics) → точность, полнота, актуальность.
- Управление доступом (Permissions, RBAC, ABAC) → кто может работать с данными.
🔹 3️⃣ Как выглядит модель управления активами?
📌 Пример структуры в Collibra Asset Model:
1. Бизнес-глоссарий (Business Glossary)
- Выручка (Revenue)
→ Определение: Общая сумма продаж за период.
→ Формула расчета: Сумма всех завершенных транзакций.
→ Источник: DBSS-система.
→ Владелец: Финансовый отдел.
2. Каталог данных (Data Catalog)
| Название | Тип | Источник | Ответственный | Связанные системы |
|---|---|---|---|---|
| Продажи за месяц | Data Product | DBSS | Sales Data Owner | Data Warehouse |
| Транзакции клиентов | Table | DBSS | IT Team | ETL |
3. Data Lineage (Происхождение данных)
📥 CRM (Система заказов) ➝ 🏗️ ETL (Обработка данных) ➝ 📊 DWH (Хранилище аналитики) ➝ 📈 BI (Отчетность Power BI)
📌 Инструменты: Data Mesh Manager, Collibra, OpenMetadata, Alation
🔹 4️⃣ Этапы внедрения модели управления активами
📌 Шаг 1: Создание бизнес-глоссария
- Определение ключевых бизнес-терминов и показателей.
- Внедрение единых формул расчета KPI.
📌 Шаг 2: Каталогизация источников данных
- Регистрация всех таблиц, API, файловых хранилищ.
- Добавление метаданных (форматы, SLA, обновление).
📌 Шаг 3: Визуализация lineage и связей
- Определение пути данных от источника до потребителя.
- Автоматизация lineage через инструменты.
📌 Шаг 4: Настройка управления качеством и доступом
- Внедрение автоматического мониторинга метрик качества.
- Разработка ролевой модели доступа (RBAC, ABAC).
🔹 5️⃣ Ожидаемые результаты
✅ Прозрачность данных – бизнес и IT-команды понимают, какие данные существуют и как они используются.
✅ Гибкое управление – легко добавлять новые источники и управлять их качеством.
✅ Соблюдение регуляторных требований – встроенные политики безопасности и аудита.
✅ Ускорение работы с данными – пользователи легко находят нужные данные и работают с ними.
📍 Итог:
Модель управления активами на основе Collibra Asset Model позволяет создать централизованный реестр всех данных, определить их владельцев и связать данные с бизнес-процессами.