Решения DataOps: что это такое и как это использовать

Бизнес все сильнее закапывается в работу с данными. На слуху Big data и машинное обучение, компании лихорадочно собирают всю возможную информацию о своем производстве, маркетинге, финансах и клиентах. Часто без внятного понимания, что со всем этим делать.

Этот океан данных скрывает в своих глубинах важные открытия и ценные бизнес-идеи. Но чтобы добраться до них и не «утонуть», нужны правильные инструменты – средства быстрой классификации, оценки, интеграции информации. Такие инструменты сегодня стремительно развиваются в IT, их объединяет термин DataOps.

Электронный гигант IBM определяет DataOps как координацию «людей, процессов и технологий для доставки надежных, высококачественных данных».

На практике это означает для компании способность быстро совмещать данные из разных источников, обрабатывать их с помощью средств машинного обучения и превращать в знания, полезные для бизнеса.

Зачем инвестировать в DataOps

Во всем мире DataOps воспринимается уже не как очередное модное веяние из IT, а как перспективное поле для инвестиций.

По оценкам Wells Fargo Asset Management, в 2021 году глобальные вложения в решения Big data и трансформацию бизнеса с помощью ИИ могут достичь объема в 1,8 триллиона долларов. Данные исследования 451 Research указывают, что 80% уже использующих DataOps компаний считают его полезным.

Суть DataOps - применение в работе с данными зарекомендовавших себя Agile-подходов. Они призваны максимально упростить ряд задач:

• Интеграция – объединение разрозненных баз данных в одно целое. Состыковать принципиально разные хранилища и источники данных бывает очень сложно.
• Проверка – беспрерывная верификация данных, чтобы гарантировать, что решения принимаются на основе точной информации. В некоторых сферах (медицина, финансы) проверка и перепроверка данных критически важна.
• Структурирование – организация массива данных, с учетом их происхождения, связей и хронологии изменений. Структурированные данные – это уже не «чулан» с цифрами и фактами, а потенциально полезная информация.
• Интерпретация – важно осознать, имеет ли полученная информация ценность для бизнеса. Для этого важно принять во внимание весь ее контекст.

Цель работы специалистов DataOps – поставить работу с данными “на конвейер”, обеспечить бизнес бесперебойным притоком точной и ценной информации.

В каких областях DataOps незаменим

• e-Commerce. Исследование данных помогает интернет-магазину прогнозировать поведение потребителей, выстраивать ценовую политику и формировать ассортимент. Оперативность DataOps незаменима, когда нужно реагировать на рыночные шоки и зарабатывать на трендах.
• Недвижимость. Перспективы DataOps в сфере Real Estate огромны – можно дать клиенту максимально подробный и гибкий каталог объектов, просчитывать стоимость недостроенного жилья на годы вперед, предугадывать риски для покупателей, арендаторов и застройщиков.
• Логистика. Правильная работа с данными поможет не только находить слабые места в цепочках поставок, но и прогнозировать их. Риски человеческих ошибок сводятся к минимуму.
• Фармакология и здравоохранение. Разработка новых лекарств все больше зависит от возможности проводить масштабные исследования и быстро получать надежные данные об их результатах. Использование машинного обучения в медицине уже стало реальностью – оно позволяет ставить более точные диагнозы.
• Финансы. DataOps незаменим, когда нужно наладить аналитику финансового поведения клиентов, прогнозировать риски и создавать новые банковские продукты. Успешность финтех-стартапа целиком зависит от того, как он работает с данными.

Сложности внедрения DataOps

Гибкая работа с данными дает неоспоримые преимущества. Но эти преимущества лучше оценивать с учетом типичных проблем, возникающих при внедрении практики DataOps.

Изолированность подразделений

Команды data-специалистов пытаются побороть изолированность отдельных подразделений и отделов компании, но сталкиваются с инертностью системы, технологическими препятствиями и даже сознательным сопротивлением. Важно хорошо планировать интеграцию баз данных, вовлекать в процесс сотрудников и получать фидбек.

Неподходящие инструменты

Внедрение DataOps неизбежно уходит в дискуссии о целесообразности инвестиций в относительно дорогие инструменты. Практика показывает, что «коробочные» решения в долгосрочной перспективе менее выгодны, чем кастомные разработки под конкретную бизнес-модель.

Подготовка специалистов

Многие data-специалисты годами работают в условиях повышенного стресса и не всегда имеют возможность развивать свои навыки. Часто им приходится изучать новые инструменты прямо в ходе работы над проектом. План по работе с данными должен учитывать время на адаптацию персонала.

Подходы к аналитике

Одной из главных особенностей DataOps является применение уже проверенных методов Agile в работе с данными. Важно научиться разбивать “большие” задачи и добиться всеобщей причастности команды к гибкой аналитике. Успешный проект может потребовать исследований и готовности менять подходы «на лету».

Практика показывает, что преимущества DataOps в долгосрочной перспективе стоят того, чтобы “осилить” все связанные с ними сложности.

Опыт Wezom

Принципы DataOps идеально вписываются в наш подход к разработке CRM и TMS систем. По сути, это огромные локомотивы, которые работают на данных, а на выходе выдают их еще больше.

Мы объединяем базы данных заказчика, внедряем продвинутые инструменты Big Data и формируем в компании новую культуру работы с информацией. Бизнес избавляется от оков бюрократии, менеджеры получают возможность быстро принимать верные решения, а вся система обретает зрелость и готовность к росту.

Мы разрабатываем системы “под ключ”, с полным вовлечением в бизнес заказчика. И гордимся результатами.