1552
Олександр Федірко: час монетизації даних вже настав
— Технології&Авто
Диджиталізація — один з головних
бізнес-трендів останніх десятиліть. Безконтактна оплата карткою, смартгодинники, віддалена робота і
роботизована служба клієнтської підтримки вже стали частиною повсякденного
життя. Адаптація до подібних інновацій — запорука зростання, а в деяких
випадках і виживання бізнесу.
З часом цифровізація буде лише поглиблюватися:
за прогнозами, глобальний ринок цифрової
трансформації зросте більш ніж вдвічі всього за 5 років — з 2020 до 2025.
Кожен рік його сукупний середній темп зростання (CAGR) буде складати 16,5%.
Уявіть, наскільки гігантські об’єми різноманітних даних будуть накопичуватися в
мережі, і який їх обсяг вже доступний для аналізу.
З огляду на це я вирішив написати колонку для
Finance.ua про Big Data. За допомогою Big Data можна проаналізувати й
систематизувати дані з різноманітних джерел та використати їх, наприклад, для
підвищення ефективності таргетингу та комунікації з клієнтами.
При цьому інструменти технології широко доступні українському бізнесу вже
зараз.
Вступ до Big Data: що являє собою і як використовують
Терміном «Big Data» одночасно позначають як
проблематику, так і шляхи її вирішення. Big Data буквально перекладається, як
«Великі дані» — уся доступна структурована та неструктурована інформація. Це і є проблема, а от її
вирішення — методи, за допомогою яких дані обробляються, аналізуються і
систематизуються. Разом вони й утворюють Big Data.
Основа Big Data — принцип «3V». Volume,
variety, velocity: обсяг даних, їх формат (txt, pdf, audio, email, video, або
інший) та швидкість — передачі, оновлення й обробки.
Одним з базових інструментів роботи з Big Data
є Hadoop. Це програмна екосистема, яка є головним інструментом опрацювання і
систематизації структурованих та неструктурованих даних.
З 2010 року вона почала розповсюджуватися за моделлю open source, і швидко
стала стандартом індустрії. Адже Hadoop розв’язував важливу проблему Big Data,
а саме — масштабування необхідних системних потужностей для обробки даних.
Наприклад, у вас є системні потужності для
обробки 100 ТБ даних. Уявімо, що їх кількість подвоїлась, і тепер необхідно
обробляти 200 ТБ інформації. До появи Hadoop вам би знадобилось відповідно
збільшити системні потужності — у два рази. Це так зване «вертикальне масштабування»,
яке було зведене до «горизонтально» після Hadoop-революції. Саме цей софт
дозволив обробляти висхідний обсяг даних без необхідності закупівлі дорогого
спеціалізованого обладнання.
Big Data і бізнес
Розвиток інтернету, соцмереж, IoT-девайсів та
інших IT-продуктів, що збирають і дозволяють генерувати велику кількість даних
призвів до появи Big Data.
Тепер ми можемо вирішувати, в яких більш або менш очевидних сферах
застосовувати технологію.
Наприклад, зараз за допомогою Великих даних, дата-інженери аналізують коментарі
в соціальних мережах, темпи серцебиття, розраховують ефективність логістики та
прогнозують продажі.
Однією з цікавих сфер використання Big Data є
маркетинг. Великі дані трансформують маркетингові заходи в цифри, за якими
можна проаналізувати ефективність окремих PR-кампаній. Особливо активно цим
користується великий бізнес.
Наприклад: існує бренд, який запустив в одній
з мереж супермаркетів та в інтернеті рекламу нової лінійки молочних продуктів.
Дата-аналітики компанії збирають дані щодо таргетингу цільової аудиторії — де і
кому була показана реклама.
Після — отримують інформацію щодо покупок кожного клієнта мережі (за допомоги
бонусної системи або дисконтних карток. — Ред.).
В результаті інженери порівнюють отримані дані
й оцінюють ефективність реклами: скільки з тих, хто побачив оголошення онлайн і
офлайн, скористалися пропозицією.
Слід зауважити, що інструменти Big Data
актуальні не для всіх компаній. Бізнес, який розглядає можливість впровадження
технології, має попередньо оцінити обсяги своїх баз даних і надходження нової
інформації. Такий аналіз слід провести за принципом 3V та в перспективах
подальшого зростання.
З точки зору volume, variety, velocity обсяг,
швидкість надходження та формат структурованих та неструктурованих даних має
вимагати застосування інструментів Big Data.
Наприклад, якщо аналітичний відділ компанії може швидко обробити дані в межах якогось
умовного об’єму, для цього немає потреби.
При різкому зростанні надходження інформації, що перевищують запланований
рівень, слід розглянути впровадження Big Data інструментів.
Аналогічно зі зростанням: стрімке
масштабування бізнесу може в рази збільшити базу доступних даних. Для їх
швидкого аналізу знадобиться Big Data.
Big Data в українських компаніях
Серед вітчизняного бізнесу Big Data в
основному використовують великі гравці, які оперують значними потоками даних.
Найчастіше технологія зустрічається в телекомі, ритейлі (включно з
онлайн-сегментом), страховій сфері, а з недавнього часу — і у відносно консервативному
банківському секторі. Серед яскравих адептів Big Data — Сільпо, Kyivstar,
Rozetka, Prom.ua, Lifecell, ПриватБанк, monobank й інші.
Головний поточний тренд — Big Data стає
доступнішою ширшому колу гравців. Хмарні технології Microsoft, Google та Amazon
дозволяють вже зараз аналізувати дані бізнесу з обмеженим бюджетом.
Ціна питання — в межах декілька сотень USD, які нададуть доступ до відповідних
інструментів від хмарних провайдерів.
Завдяки доступності Big Data, в майбутньому технологію будуть все частіше
використовувати середній та навіть малий бізнес для поточної аналітичної
діяльності.
Головний трамплін для подальшого розвитку Big
Data в Україні — запозичення іноземного досвіду у використанні технології.
Закордонний бізнес часто застосовує Big Data у симбіозі з іншими програмними
рішеннями (Machine Learning, Data Science тощо), що дозволяє розв’язувати
специфічні проблеми.
Я підібрав декілька цікавих кейсів
впровадження аналітичних інструментів, які можуть бути корисними українським
компаніям:
● Grammarly — використовує
інструменти Big Data для аналізу помилок в лінгвістиці й покращення баз даних з
порадами;
● Youscan — за допомоги технології
швидко оцінює велику кількість коментарів в соцмережах і робить висновки щодо
їх характеру — позитивного, негативного чи нейтрального;
● tripmydream — аналізує персональні
вподобання, ціни на квитки, готелі, розваги. Це дозволяє спланувати подорож,
яка найбільше відповідає персональним захопленням;
● Reface — разом використовує
інструменти АІ, Machine Learning і Big Data для анімації та заміни облич у
відео.
Війна і ринок Big Data в Україні
Серед великих гравців найбільше постраждали
аграрний та індустріальний сектори: в рамках скорочення видатків через бойові
дії вони зменшували фінансування аналітичних відділів.
Проте в цілому ринок аналітики та інженерії даних ще не наситився і поступово
зростає, хоча і необхідність в дата-інженерах менша за звичайних програмістів.
На ринку праці скорочення були серед інженерів
рівня junior або middle. При цьому поріг входження в професію залишається
високим: дата-інженерами стають всередині компанії, переходячи за сумісними
навичками або за допомоги спеціальних курсів, що організовує роботодавець.
Типові базові вимоги для початкових рівнів дата-інженерів — досвід в програмуванні
на Python, роботи з SQL і англійська не нижче рівня В2.
Звісно, за кордоном більша необхідність в
дата-фахівцях. Західний ринок оперує більшими обсягами інформації та
асортиментом різноманітних підприємств. Тому деякі бізнес-сценарії, що
актуальні в ЄС і США, в Україні ніколи не використовуються, попри високу
технологічну IT-підготовку вітчизняних компаній.
Олександр Федірко, CEE Head of BigData Practice в GlobalLogic
За матеріалами: Finance.ua
Поділитися новиною
