Управление качеством данных: стратегии, инструменты, практика

Кроме того, по оценке компании IDC, по состоянию на 2020 г. более 40% данных в цифровом пространстве требуют обеспечения надежной защиты, а объем этих данных растет быстрее, чем все цифровое пространство [15]. Возникающие риски означают, что организации должны иметь возможность идентифицировать угрозы, определять и формулировать политики безопасности, выявлять источники данных и решать задачи по их управлению, а также внедрять технические средства контроля и документировать их применение для обеспечения реализации этих политик с целью ограничения ответственности организации при неконтролируемом использовании данных, которыми она управляет.
В особенности ГОСТ Р 59925-2021 "Информационные технологии. Большие данные. Техническое задание. Требования к содержанию и оформлению" содержит следующее:
Настоящий стандарт устанавливает требования к построению, содержанию, изложению, оформлению, порядку согласования и утверждения технического задания в сфере работы с большими данными для следующих видов деятельности, но не ограничиваясь ими:
- поставка массивов больших данных;
- оперирование большими данными;
- разработка или поставка технологий, средств (решений) для оперирования большими данными;
- внедрение технологий или средств (решений) для оперирования большими данными;
- предоставление в пользование технологий или средств (решений) для оперирования большими данными;
- техническая эксплуатация средств (решений) для оперирования большими данными.
При применении настоящего стандарта следует принимать во внимание, что большие данные необходимы при использовании цифровых технологий искусственного интеллекта, интернета вещей, распределенного реестра и других.
Информационная грамотность - это вид деятельности внутри организации, значение которого возросло в глобальном масштабе. Эта область охватывает четыре основных навыка сотрудников организации:
- умение считывать данные (понимать значение определенных показателей);
- владеть инструментами анализа для обработки данных (такими как BI-системы);
- понимать, как анализировать эти данные;
- умение аргументировать данные для принятия решений.
По словам аналитика А. Мамонова, с точки зрения управления, основанного на данных, идеальной ситуацией является то, что все данные, необходимые для принятия решений, независимо от их физического местоположения, организованы в единый каталог и могут быть разделены в соответствии с правами доступа.
В качестве инструмента следует использовать быструю BI-систему, которая позволяет проводить независимое исследование данных (например, создавать информационные панели без участия ИТ-экспертов) и поддерживает запросы на естественном языке (включая голосовые). Если менеджер знает текущую повестку дня, а также может видеть точную картину происходящего («цифровой двойник»), то принятое решение станет более определенным и даже очевидным.
2.2 Практические аспекты современных мероприятий по обеспечению качества данных
Для компаний очень важно располагать точной, актуальной и полной информацией, чтобы принимать обоснованные решения. Исследование, проведенное Международной ассоциацией по информации и качеству данных и сотрудниками Университета Арканзаса в Литл-Роке, дало ответы вопрос о деятельности по обеспечению качества данных.
Необходимым условием является соответствие усилий по обеспечению качества данных потребностям бизнеса. Наиболее распространенной бизнес-целью деятельности по обеспечению качества данных в их организациях является снижение рисков и обеспечение соответствия требованиям (38,6% респондентов). Эта цель в исследовании была названа в два раза выше, чем снижение издержек (18,9% респондентов) и увеличение прибыли (18% респондентов) [13].
Вышеизложенные результаты показывают, что если усилия по обеспечению качества данных будут более тесно увязаны с аспектами финансовой отчетности, касающимися доходов, они получат большую поддержку.
Основными стимулами, побуждающими компании уделять внимание качеству данных, являются: общее желание улучшить качество данных (68,4% респондентов), инструменты бизнес-аналитики и хранения данных (47,2%), нормативные требования, риски или юридические требования (39,8% респондентов). Примерно 5% составляют другие стимулы, такие как повышение сложности бизнеса, управление затратами и активами, совершенствование процессов, требования к оформлению документов, безопасность пациентов, измерение прибыльности и требования к отчетности.
Причины, по которым кампании инициируют кампании по повышению качества данных, также включают автоматизацию продаж (9,5%), большие данные (9,1%), проекты сервис-ориентированной архитектуры (8,7%), облачные вычисления (2,2%) (см. рис. 5).

Рисунок 5 - Основные причины, по которым компании проводят деятельность по обеспечению качества данных

Учитывая, что предметными областями, требующими планов улучшения данных, являются клиенты (66,7% респондентов), продукты (52,1% респондентов) и финансы (51,6% респондентов), можно с уверенностью отметить, что организации усердно работают над улучшением качества широкого спектра данных. В дополнение к перечисленным предметным областям респонденты также указали недвижимость, образование, науку, здравоохранение, соблюдение нормативных требований и транспорт [14].
Согласно результатам исследования, большая часть усилий по улучшению качества данных предпринимается во всей организации или функциональной области (28,3% респондентов). Около 20% респондентов заявили, что управление качеством данных осуществляется внутри отдела, а 16,7% респондентов заявили, что сотрудники активно и в каждом конкретном случае управляют качеством данных в своей организации.
2.3 Рекомендации совершенствования управления качеством данных в современных компаниях
В современном мире, чтобы быть лидером, необходимо избавиться от основной привычки оценивать результаты на основе дешевизны и точности исполнения. Выделяются здравый смысл, эффективность (результат/затраты) и скорость адаптации к новым условиям.
Компаниям, серьезно рассматривающим эффективность собственных ИТ, рекомендуется не зацикливаться на разовых решениях проблем, а критически проверять внутренние ИТ-сервисы и модифицировать их в соответствии с текущими тенденциями [15].
1. Устойчивость к изменениям.
Сегодня мир меняется, меняются организационные процессы и информационные технологии. В этих реалиях бесполезно предъявлять требования, основываясь на идеальном образе «вот-вот». Необходимо сформулировать стратегию развития ИТ на основе эффективной адаптации ИТ к изменениям в бизнес-процессах. Важна эластичность системы, а также изменения и непрерывность бизнеса всей ИТ-среды.
2. Мозаичная архитектура, основанная на принципах Lego.
Эффективная панорама лежит в области различных эффективных и взаимоинтегрированных профессиональных решений с несколькими централизованными системами: QCD, централизованным NSI, системой системного мониторинга и системой контроля качества данных. Необходимо отказаться от моносистем и отдельных фиксированных решений и стандартизировать системные требования с точки зрения управления данными и процессов интеграции.
3. Управление качеством данных.
Развитие управления архитектурой предполагает переход к управлению архитектурой предприятия. Комплексное проектирование бизнес-процессов, данных и управление ими позволят добиться максимального эффекта. При этом управление данными не должно «вырождаться» в набор правил и средств контроля. Необходимо создать полную корпоративную модель данных и построенную на ней систему управления качеством данных. Это позволит решить многие проблемы, связанные с интеграцией данных и внедрением в меняющуюся среду.
Создание решения, гарантирующего качество данных, - довольно тонкий и трудоемкий процесс. Экспертами было разработано несколько тенденций, которые могут помочь решить эту проблему [16].
1. Улучшить способность обеспечивать качество данных. Качество данных считается «единым целым». Фактически, качество данных - это совокупность восьми или более технологий подключения. Стандартизация данных является наиболее широко используемым методом, за которым следует проверка, верификация, мониторинг, анализ, согласование и т.д.
TDWI часто сталкивается с организациями, которые применяют только один метод, иногда только к наборам данных или предметным областям. Большинство решений для обеспечения качества данных требуют расширения числа применяемых технологий, наборов данных и предметных областей.
2. Обеспечение качества данных в режиме реального времени. Согласно исследованию TDWI, обеспечение качества данных в режиме реального времени является второй быстро развивающейся дисциплиной после управления основными данными, которой предшествовала популярность интеграции данных в режиме реального времени. Эксперты рекомендуют уделять этому первостепенное внимание, чтобы данные были очищены и стандартизированы сразу после их создания или обновления.
3. Координация с другими дисциплинами по управлению данными. Функция обеспечения качества данных очень полезна для смежных дисциплин управления данными. Например, эти функции следует применять к справочным данным, управляемым с помощью решения для управления основными данными, и интегрированное решение всегда будет выявлять проблемы с качеством данных.