В этом случае возникает вопрос: как собирать и обрабатывать большой объем данных со скоростью, которую требует цифровой мир? Помимо технологий, необходимо иметь сверхспециализированную рабочую силу, и большинство компаний уже поняли, что недостаточно просто иметь аналитиков данных. Понятно, что эпоха больших данных требует большего.
Инженеры данных
В настоящее время наличие инженеров по обработке данных, способных сделать данные более читаемыми для других категорий специалистов, которым нужны те же данные для база данных телеграмм определенной цели (как, например, в случае со специалистами по аналитике в ClearSale), имеет основополагающее значение для принятия каждого решения более разумным и эффективным. решение для бизнеса.
Стоит отметить, что Data Engineer — это профессионал, более ориентированный на технологии, но который понимает, поверхностно или более глубоко, в чем реальная потребность Data Scientist и как перевести такой большой объем информации в «потребимые» данные. структура.
Преимущества инженерии данных
Наличие специалиста по инженерии данных дает разнообразные преимущества: от масштабируемости в реальном времени и возможности высвободить творческую работу до полной способности лучше понимать клиентов, продукты и процессы внутри организации.
Сочетание инженерии данных, науки о данных и статистической разведки позволяет компании не только иметь ясность в отношении значения текущих данных, но и иметь возможность прогнозировать, что эти же данные могут представлять собой в будущем бизнеса.
Обычно специалисты по обработке данных тратят значительную часть своего времени на очистку и обработку данных. Благодаря работе инженеров в этой области эти данные доходят до ученых «заранее готовыми» к использованию, что значительно увеличивает полезное время для других, более конкретных задач функции.
И в этот момент есть важный выигрыш в масштабируемости, потому что вместо 10 специалистов по обработке данных, тратящих 80% своего времени на репликацию концепций, очистку баз и обработку огромных объемов данных, вы можете иметь двух ученых, занимающихся анализом, и еще двух инженеров. сосредоточено на технологической инфраструктуре, что также приводит к значительному повышению эффективности.
Начало инженерии данных
В 2019 году больше всего у нас есть объем данных и инструментов, которые помогут их организовать и обработать. Умение работать с ними принадлежит, в первую очередь, профессионалам в области Data Engineering.
Вначале эту роль выполняли аналитики Business Intelligence , построившие знаменитые хранилища данных , часто используемые ими самими при анализе данных. Эту функцию выполняла в основном технологическая сфера.
Однако с появлением новых методов описательного и предписывающего анализа, с погружением профессионалов в статистику и смежные области, а также с «бумом» приема данных, эта профессия изменилась.
Конечно, работа в этой сфере, как правило, сложная. На протяжении всего процесса обучения и взросления профессионала необходимо соблюдать кривую обучения, необходимую для полного выполнения своей роли.
Более того, должно быть ясно, что инженер по данным не заменяет специалиста по данным или специалиста по статистической разведке. Это области, которые могут – и должны – работать вместе, чтобы гарантировать все возможные конкурентные преимущества в экосистеме каждой организации.
Инженерия данных в ClearSale
В контексте основного бизнеса ClearSale инженерия данных имеет основополагающее значение. Команда в этой области отвечает за сбор, организацию и обработку всей информации, которая будет использоваться специалистами по данным и командой аналитиков в постоянной работе над улучшением технологий и статистических моделей.
Синергия профессионалов в этих областях позволяет компании добиться эффективности, скорости и масштабируемости, чтобы заботиться о безопасности своих клиентов, как за счет увеличения возможностей по обнаружению мошенничества, так и за счет генерации идей, которые помогают в развитии работы.
Кроме того, такая совместная работа необходима для повышения производительности труда в целом, позволяя каждому специалисту сконцентрировать свои усилия на сфере своей работы.
Технические подробности
ClearSale занимает прагматичную позицию в отношении технологий и поставщиков. В настоящее время он использует сочетание реляционных, нереляционных и столбчатых баз данных, стремясь использовать каждую технологию особым образом в соответствии с каждой целью.
Мы используем гибридные локальные среды и более одного поставщика облачных услуг. Компания выбрала каппа -архитектуру для приема данных, отдав приоритет бессерверным приложениям , из извлечения транзакционных банков (когда нет возможности прямого использования единого источника источников истины / хранилищ данных журналов из устаревших транзакционных приложений, мы используем моделирование путем экстракторы), проходя через уровни распределенной обработки до прибытия готовых к использованию данных – будь то для транзакционного использования при обнаружении мошенничества в реальном времени или для пакетного анализа данных .
Когда мы решили реализовать большое озеро данных , которое объединило бы информацию о транзакциях из разных сегментов, мы были обеспокоены управлением данными при создании метаданных со всем «генеалогическим древом» одного и того же, поскольку несоответствие в числах является повторяющейся проблемой, когда информация доступен, и ученые, работающие с данными, проявляя творческий подход, создают свои собственные определения концепций - еще одна возможность для инженеров, где универсальные концепции могут быть материализованы в унифицированные представления данных.
Внедряя архитектуру, использующую модели машинного обучения как услугу , мы получаем эффективность при переобучении моделей и их развертывании в производстве. Мы применяем ту же методологию DevOps, которую используют команды разработчиков для пакетов elt/etl, что упрощает использование интегрированных тестов и быструю интеграцию после фиксации , а уровень ошибок в производственных пакетах близок к нулю.
Внутренний универсальный язык был выбран Python , хотя некоторые аналитики предпочитают использовать R для конкретного анализа. C# по-прежнему является языком, используемым разработчиками для серверной части , но некоторые части системы уже используют платформы, созданные на Python командами разработчиков в рамках аналитики .
Сегодняшний образ мышления внутри компании, в основном из-за ускоренного роста из года в год, заключается в том, чтобы иметь архитектуру с бесконечной масштабируемостью, с низким временем отклика и низкими административными затратами, чтобы инженеры и аналитики были сосредоточены на разработке и оптимизации новых процессов, а не на разработке и оптимизации новых процессов. беспокоясь о повторяющейся работе, которую можно автоматизировать или передать на аутсорсинг платформам как услуги . Это руководство напрямую соответствует методологии бережливого производства , принятой на всех уровнях и в командах компании.