Меню
Данные против организаций: почему бизнес тонет в информационном хаосе
Что такое мастер-данные и почему они важны для бизнеса? Какие бизнес-риски создаёт нехватка системного MDM? Какие организационные роли, процессы и архитектуры необходимы для устойчивого MDM/EIM? Как выстроить дорожную карту перехода от хаоса к достоверной информации? Как новые тренды (AI, Data Mesh, lakehouse, observability) влияют на практику управления данными? Почему при росте объёмов данных доверие к аналитике и AI падает? Эти и другие вопросы для редакции Global CIO в статье осветила Заруи Широян, архитектор по управлению данными BeringPro. Статья написана на основе мировых практик (ссылки на DMBOK и Gartner) и подкреплена профессиональным опытом Заруи.
Введение
В последние годы компании столкнулись с парадоксом: чем больше данных они собирают, тем меньше доверяют собственной аналитике.
Практически в каждой организации есть программа управления данными. Тем не менее, большинство данных низкого качества, у компаний слишком много разрозненных копий одного и того же материала, а проблемы безопасности и приватности стали нормой.
В чем корень проблемы?
Главным барьером на пути к порядку оказались не технологии, не методы и даже не высокие цели вроде управления корпоративной информацией. Главным барьером стал человеческий фактор: нежелание меняться, отсутствие четкой ответственности и привычка к тактическим «временным решениям» вместо системных решений. Приобретение инструментов или создание централизованных систем обработки данных — это лишь видимость первого шага. По-настоящему начать можно только с понимания тех сложных и противоречивых отношений, которые люди формируют со своей информацией.
Без формальной модели владения данными по умолчанию возникает неформальная (или де-факто), неконтролируемая форма собственности на информацию, которая блокирует любые улучшения. Без базового структурированного подхода, который обеспечивает измеримое повышение качества, у руководства просто не находится веских причин одобрять реальные меры по решению фундаментальных проблем.
Так что же пошло не так?
Вместо стратегического внедрения эффективных практик, старшие менеджеры предпочли тактические мини-проекты для лечения симптомов. Например, пользователю предоставлена недостоверная информация о ценах? Давайте наймем сотрудников, которые будут вручную обзванивать клиентов и проверять данные. Невозможно отыскать запись о клиенте из-за ошибки в имени? Без проблем создадим новую (а заодно, и ещё парочку).
Это та самая «управленческая суета», которая создает иллюзию контроля, но лишь усугубляет реальность. Результат предсказуем: аналитика буксует, отчёты противоречат друг другу, AI-модели обучаются на ошибках, а доверие к информации падает до нуля. Например, в CRM один и тот же клиент фигурирует под пятью разными ID или в системе закупок товар «Ноутбук Pro X» заведён дважды под разными кодами, с разными ценами и остатками.
Организации, которые хотят быть конкурентоспособными в информационную эпоху, не могут этого добиться, не осознав истинную ценность качественной информации. Важно понимать: это не «ошибки программистов» и не «неидеальные системы». Это следствие глубинной проблемы, отсутствия системного управления мастер-данными.
Почему это накопительный эффект ошибок?
Мастер-данные (клиенты, товары, контрагенты, сотрудники) — это не просто справочники. Это фундамент, на котором держатся все транзакции, аналитика и управленческие решения. Когда фундамент разрушается, рушится и способность бизнеса принимать взвешенные решения.
Данные не становятся активом автоматически. Они превращаются в актив только тогда, когда ими управляют как активом. Если же в компании возникает «вакуум владения», где ни бизнес, ни ИТ не считают данные своей зоной ответственности, мастер-данные превращаются в ничейный ресурс, который методично разрушает доверие.
Проблема не только в дубликатах. Каждая неточность, словно вирус, распространяется по всем процессам.
По оценкам, до 25% мастер-данных в организациях содержат критические ошибки, а каждая дублированная запись увеличивает издержки на обслуживание клиента на 10–15% (источник: Gartner. Data Quality: Best Practices for Accurate Insights, 2020, https://www.gartner.com/en/documents/3981874).
Поэтому вопрос звучит уже не «Где хранить справочники?», а «Можно ли доверять данным, на которых строится современный бизнес?».
Цена хаоса: четыре ключевых вызова
Учитывая эту реальность, не пришло ли время для фундаментального переосмысления управления данными? Пора действовать.
Осознание проблемы — только первый шаг. Второй, и главный — понять, как выстроить работу с данными правильно. Здесь уже не получится ограничиться точечными исправлениями. Нужен системный подход, новая философия и четкий план.
Данные — это единственная форма органического роста бизнеса в XXI веке. Самый ценный актив чаще всего делегируется самым низшим операционным уровням. Руководство упускает из виду главное: управление данными – стратегический вопрос, а не вспомогательная функция ИТ.
MDM (Master Data Management или управление мастер-данными) — это не просто инструмент, это философия взаимодействия между людьми, процессами и технологиями. Она строится на трех китах:
Значимость мастер-данных выходит далеко за рамки IT-проектов. Это вопрос корпоративной культуры, ответственности и новых бизнес-моделей.
Что же требует эта новая философия на практике? Чтобы принимать решения на основе достоверной информации, компания должна иметь единое представление о ключевых бизнес-концептах. Это требует:
Именно здесь MDM открывает дорогу к созданию по-настоящему интегрированного предприятия, где решения принимаются быстро и на основе качественной информации.
Информация как актив: теория vs реальность
Все говорят: «данные — это актив». Но что это значит на практике? Это значит, что с ними нужно обращаться так же, как с деньгами или запасами:
Все остальные операции — хранение, перемещение, репликация — не создают ценности сами по себе. Они лишь обслуживают главный процесс: правильное использование информации.
Управление данными как цепочка поставок
Чтобы управление данными работало, нужен не лозунг, а отлаженный процесс. Здесь прекрасно работает метафора цепочки поставок:
Управление цепочками поставок (логистика) — это давно стандартизированная и уважаемая дисциплина. С данными должно быть точно так же.
Data Management (DM) — это и есть ваша цепочка поставок данных. Она требует четких ролей, разделения обязанностей и контроля качества на каждом этапе.
Как это устроено: Data (Information) Management по DMBOK
Согласно международному своду знаний DAMA DMBOK, управление данными (Data Management, DM) — это многогранная дисциплина, охватывающая:
Управление данными (Data Management) — это «бережливое производство» для корпоративной информации: постоянное улучшение, контроль и стандартизация.
EIM: корпоративный уровень мышления
Enterprise Information Management (EIM) – это программа управления данными на уровне всей компании. Если Data Management – это операционная работа, то EIM – стратегия и корпоративная философия.
EIM обеспечивает:
Архитектура данных: чертеж вашего успеха
Архитектура данных (Data (Information) architecture) — каркас, который связывает модели, процессы, людей и технологии. Проще говоря, это «план предприятия» в области информации. Она отвечает на вопросы:
В DMBOK архитектура данных — часть общей корпоративной архитектуры (Zachman Framework – инструмент для описания архитектуры, созданный Джоном Захманом), обеспечивающая выполнение стратегических требований.
Концепция «Управления V»: разделение властей
Эффективное управление требует разделения ролей. Концепция «Управления V» визуализирует это:
Такой подход создает баланс между контролем и гибкостью, предотвращая «вакуум владения».
MDM: от «золотой копии» клиента к системе
MDM вырос из идеи создания «золотой копии» клиента (Customer Data Integration (CDI)). Очень быстро стало ясно, что «золотые записи» нужны как для продуктов, поставщиков, сотрудников, так и для других ключевых объектов. Сегодня MDM — это единая дисциплина, обеспечивающая согласованное управление всеми критически важными бизнес-сущностями. Согласно DMBOK, мастер-данные — это данные, которые обеспечивают контекст для бизнес-транзакций. Это сведения о клиентах, продуктах, сотрудниках, поставщиках и справочниках. MDM гарантирует, что эти данные согласованы, актуальны и доступны во всех системах предприятия.
Классическая архитектура MDM строится по принципу «hub-and-spoke»: данные из множества источников поступают в центральный MDM-хаб, где проходят очистку, согласование и объединение (match/merge). Для каждого мастер-объекта (например, клиента или товара) строится единая «золотая» запись по канонической модели данных. Затем «золотая» запись может быть опубликована обратно в исходные системы или передана потребителям (BI-системам, аналитике, внешним партнёрам). В процесс включены уровни интеграции (ETL/ELT или сервисные шины), механизмы верификации бизнес-правил, менеджмент качества и централизованное хранилище мастер-данных.
Классическая модель hub-and-spoke включает:
Качество данных: не красота, а необходимость
Качество данных — это основа всего. Оно измеряется по четырём ключевым критериям:
Плохое качество редко видно сразу. Оно проявляется через ошибки в процессах: компания может годами платить одному и тому же поставщику по двум разным договорам и юридическим лицам (например, ООО «Вента» и ООО «ВЕНТА») из-за дубликатов в справочнике контрагентов, что ведет к прямым финансовым потерям при сверке. Именно поэтому без системного управления (DM + MDM) любые усилия по повышению качества превращаются в дорогостоящие разовые акции. Почистили данные сегодня – через месяц хаос вернулся. Нужна система, которая предотвращает появление ошибок, а не борется с их последствиями.
Business Intelligence (BI)
Термин «Business Intelligence» (BI) был введен исследовательской компанией Gartner еще в 1990-х и с тех пор превратился в обобщенное название для всего, что связано с запросами, анализом и отчетностью.
Согласно DMBOK, BI — это:
Эффективность BI-системы напрямую зависит от качества данных. Некорректные или разрозненные данные делают любой, даже визуально совершенный дашборд, бесполезным. Принятие решений на такой основе создает иллюзию контроля и несет прямые риски для бизнеса.
Аналитика и продвинутая аналитика: когда прогнозы превращаются в фантастику
Аналитика — это следующий уровень работы с данными, который предполагает не просто составление отчётов о прошедших событиях, а использование современных технологий (статистика, машинное обучение, сложная математика) для выявления скрытых закономерностей, построения прогнозов и получения новой ценной информации. Но здесь кроется главная ловушка. Продвинутая аналитика бесполезна без продвинутого качества данных. Алгоритмы машинного обучения – не волшебство. Они не могут отличить «правду» от «лжи» в ваших данных. Они находят закономерности. И если ваши данные полны системных ошибок и дубликатов, алгоритмы найдут и усвоят эти ошибочные закономерности.
Искусственный интеллект и машинное обучение: самообучающаяся система
Искусственный интеллект (Artificial Intelligence, (AI) и машинное обучение (Machine Learning, ML) — это эволюция аналитики. Они создают замкнутые циклы, где система не только анализирует данные, но и самообучается, предлагает и автоматически запускает действия. Это невероятно мощный инструмент. Но именно здесь цена плохих данных становится катастрофически высокой.
Например, ML-модель для прогнозирования оттока клиентов, обученная на данных, где один клиент представлен несколькими записями с разной историей покупок, будет строить неадекватные прогнозы, «думая», что это разные люди с неустойчивым поведением. Это приведет к неэффективным маркетинговым кампаниям и потере лояльных клиентов.
Artificial Intelligence (AI) не ошибается. Он усердно воспроизводит и масштабирует те ошибки, которые уже есть в ваших данных.
Дорожная карта к доверию. Как из хаоса построить систему, которой можно доверять
Путь к данным, которым можно доверять, — это не единовременный проект, а стратегическое путешествие. Он начинается не с покупки софта, а с принятия простого решения на самом верху: считать данные активом и управлять ими соответственно.
Встаёт главный вопрос: что делать? Как именно перейти от хаоса к порядку? Как превратить данные из источника проблем в стратегический актив?
Это не «скачок через пропасть», а поступательное движение, где каждый шаг готовит почву для следующего. Такой подход формирует дорожную карту, которую компания строит под себя.
С чего начать? От видения — к плану
Первое и главное правило: буква «Е» в EIM (Enterprise Information Management) означает «предприятие». Это не отдельный проект для IT или маркетинга. Это программа уровня всей компании. Часто топ-менеджеры высказывают мысль: «Сначала докажите, что это работает в небольшом масштабе». Но как только пилот подтверждает экономический эффект, критически важно масштабировать подход на всё предприятие.
Управление данными (Data Governance, DG) должно разрабатываться и внедряться в общекорпоративном контексте, а не в рамках одного департамента. Разработка дорожной карты — это не просто план проектов. Это определение ожиданий руководства и сотрудников, создание общего языка и понимания того, куда мы движемся.
8 ключевых шагов для построения дорожной карты
План внедрения: от теории — к реальным результатам
После создания дорожной карты наступает этап реализации. Вот как может выглядеть поэтапный план:
Ключевой результат этого этапа — дорожная карта, которая:
Главное: вовлечение, не инициaция
Самая частая ошибка — считать, что всё начинается с написания плана. Нет. Всё начинается с вовлечения руководства и ключевых стейкхолдеров. Желание меняться — не то же самое, что способность меняться.
В одной компании все — и IT, и бизнес открыто признавали: «Данные по клиентам просто ужасны». Но проект по их очистке забуксовал. Почему? Ни один департамент не хотел брать на себя ответственность и быть первым, кто начнет работать по новым правилам. Потребовалась серьезная работа по подготовке организации к изменениям. Оценка текущей зрелости. Выстраивание межфункционального сотрудничества.
Главный враг на этом этапе — не технологии, а культурное сопротивление. Без работы с ним все остальные усилия могут оказаться бесполезными.
Стратегия, архитектура, внедрение: три ключевых фактора успеха
Дальнейший путь можно разделить на три больших блока:
Не работает без обратной связи
Если вы не можете это измерить — вы не можете этим управлять. Обязательно внедрите метрики и отчетность, которые будут показывать прогресс. Без них скептикам будет слишком легко закрыть программу при первых же трудностях. Вам нужны надежные показатели, которые демонстрируют очевидный эффект для бизнеса.
Три главных фактора успеха
Все это — последовательная работа, основанная на здравом смысле. Но именно она отделяет компании, которые тонут в хаосе, от тех, кто строит на данных свое конкурентное преимущество.
Хаос не исчезнет за один день. Поймите, где вы находитесь. И составьте свою дорожную карту к данным, которым можно доверять.
Заключение: Data-driven будущее. Куда ведёт дорога управления данными
Современный мир данных не стоит на месте. Технологии, которые казались инновационными еще вчера, сегодня становятся стандартом. Чтобы оставаться конкурентоспособными, компаниям нужно смотреть не только под ноги, выстраивая процессы, но и на горизонт.
Главные тренды ближайшего будущего
1. Data Fabric и Data Mesh: новая архитектура доверия.
Топовые компании уже отходят от идеи единого гигантского Data Lake («озера данных»), которое часто превращается в «неконтролируемое накопление данных». На смену приходят более гибкие концепции: Data Fabric и Data Mesh. Будущее за экосистемами связанных, но независимых данных, а не за монолитами.
Data Fabric — это архитектурный подход, который создает интеллектуальный «слой данных» поверх существующих хранилищ и систем. Он автоматически связывает источники, обеспечивает управление качеством, безопасность и доступность информации в режиме реального времени. Позволяет видеть и использовать данные как единое целое, даже если они физически распределены по десяткам разных платформ.
Data Mesh — это организационно-архитектурная модель, предложенная Зхамаком Дехгани. В ее основе лежит идея распределенной ответственности, где каждая бизнес-команда управляет «своими данными» как продуктом, отвечая за их качество и доступность. Это не технология, а способ организации работы с данными, который ломает централизованные «бутылочные горлышки».
Таким образом, Data Fabric решает «технический вопрос» (как интегрировать и управлять), а Data Mesh — «организационный» (кто отвечает и как использовать). Вместе они формируют архитектуру доверия, где данные становятся реальным активом.
2. Artificial Intelligence (AI) и Machine Learning (ML) как главные потребители данных.
AI/ML-модели становятся основным «потребителем» данных в компании. Они требуют не просто чистых данных, а огромных объёмов размеченных, актуальных и релевантных данных. Data-centric AI — это новый тренд, где фокус смещается с совершенствования алгоритмов на качество и разнообразие данных для их обучения. Без сильного MDM это невозможно.
3. Активное управление данными (Active Metadata Management).
Метаданные выходят из тени. Системы будут автоматически анализировать метаданные, чтобы понимать, откуда взялись данные, какого они качества, как их можно использовать и кому они доступны.
Новые специальности: кто будет управлять этим будущим?
Российские и мировые решения для MDM: стратегический выбор
Теоретический фундамент важен, но реализация зависит от выбора технологической платформы. Для российской аудитории этот выбор часто стоит между проверенными международными решениями и быстрорастущими отечественными продуктами, учитывающими специфику локальной ИТ-инфраструктуры и регуляторных требований.
Международные вендоры (например, Informatica MDM, IBM InfoSphere MDM, SAP Master Data Governance) предлагают зрелые, комплексные платформы, глубоко интегрированные в свои экосистемы. Их сильная сторона — богатый функционал, поддержка сложных сценариев и глобальные лучшие практики.
Российские решения демонстрируют быстрый рост и зачастую выигрывают в гибкости, скорости внедрения и адаптации под требования российского законодательства (таких как 152-ФЗ). Среди заметных игроков можно выделить как MDM-платформы от ведущих интеграторов, так и специализированное ПО, сфокусированное именно на управлении мастер-данными, предлагающее современные архитектуры (например, на основе микросервисов).
Ключевые критерии выбора:
Выбор между международной и российской MDM-платформой является стратегическим и зависит от архитектурных требований, бюджета, долгосрочных целей и политики информационной безопасности компании.
Главный вывод
Современные технологии Artificial Intelligence (AI), озера данных (Data Lake) и аналитика в реальном времени (Real-Time Analytics) являются мощным двигателем. Но качественные данные — это высокооктановое топливо для него. Залить низкокачественное топливо в двигатель Формулы-1 — значит проиграть гонку ещё до старта. Та же логика работает и в бизнесе: MDM, Data Governance и архитектура данных становятся основой, которая определяет, сможет ли компания конкурировать завтра.
Управление данными больше не рутинная обязанность, а стратегический инструмент гибкости и инноваций. Те, кто научится доверять своим данным, будут формировать новые правила игры, а не пытаться догнать лидеров. Будущее цифровой экономики начинается не с красивых отчётов, а с данных, которым можно доверять.
Источники и литература
Продолжая работу с beringpro.ru, вы подтверждаете использование сайтом cookies вашего браузера с целью улучшения предложения и сервиса на основе ваших предпочтений и интересов.
