سال 2019 سال بزرگی در سراسر جهان از منظر تولید داده بود. در این سال، صنعت داده 189 میلیارد دلار ارزش داشته که به نسبت سال 2018، 20 میلیارد دلار افزایش و این رقم در سال 2022 به مبلغی معادل 247 میلیارد دلار رسیده است.
طبق گفته IBM، روزانه 2.5 کُنتلین (quintillion) بایت داده تولید میشود. با گسترش دستگاههای هوشمند و سیستمهای اطلاعاتی، این حجم از دادهها هر روز بیشتر خواهند شد بهطوری که تخمین زده میشود در هر ثانیه 1.7 مگابایت، هر شخص روی کره زمین دیتا تولید میکند.
هرچه سازمانها سریع تر قادر به تبدیل این دادههای خام به بینش مفید باشند، میتوانند عملکردشان را سریع تر بهبود ببخشند. بههمینخاطر سرمایهگذاری روی تجزیه و تحلیل دادهها در زمانی که به آنها نیاز است، برای هر کسبوکاری که میخواهد سرآمد باشد، ضروری است.
با استفاده از بسترهای مبتنیبر Cloud، بسیاری از سازمانها قادر شدهاند برای مدیریت دادههایشان و همچنین تجزیه و تحلیل آنها از سرویسهایی استفاده کنند که علاوهبر از بین بردن دغدغه جمعآوری و حفظ اطلاعات، مسئله فراهمکردن زیرساخت برای تحلیل دادهها را از میان برداشته است. DAAS) Data as a Service) مانند همه فناوریهای AAS که مبتنیبر ارائه خدمت به شکل ابر هستند، بدون در نظرگرفتن منطقه جغرافیایی و فاصله بین سازمان ارائهدهنده و خدمتگیرنده، دادهها را مدیریت، ذخیره، جمعآوری، پردازش و تحلیل میکند.
تجزیه و تحلیل دادهها
توانایی ما در جمعآوری و تجزیه و تحلیل دادهها با سرعت بسیار بالایی درحال تحول است. ما هر ثانیه مقادیر زیادی از دادهها را جمعآوری کرده و بعد شروع به درک تاثیر واقعی آنها بر کسبوکارهایمان میکنیم. تمام این دادهها کوهی از طلا هستند که در انتظار استخراج و انتقال به قابلیتهایی هستند که به ما کمک میکنند تا در پیشبینی آینده مهارت بیشتری داشته باشیم. این قابلیتها، سازمانها را از محیطهایی که با دادههای ایستا و پیر مدیریت میشوند به محیطهای پویا و یادگیرنده تبدیل میکند.
در سالهای اخیر، اکثر مشاغل با درک اهمیت تحلیل دادهها در توسعه محصولات و همچنین مشتریمداری گامهای بزرگی را برداشتهاند. سال 2017 در یک مطالعه جهانی بیش از 3200 نفر از رهبران نشان دادهاند که دادهها به ستون اصلی بازاریابی تبدیل شدهاند.
به گفته محمد شکوهی یکتا، Data Scientist شرکت Apple، اولین قدم برای ساخت محصولات مفید و جلب رضایت مشتری از طریق دیتاها رخ خواهد داد. دادهها نقش اساسی در درک و پیشبینی نیازهای کاربران دارند و همانطور که استیو جابز هم بر این نکته تاکید داشته است، شرکتها باید با تجربههای مشتریان شروع و به سمت فناوری حرکت کنند، پس دادهها را باید همیشه در زمین بازی نگه داشت.
داده بهعنوان سرویس یا همان DAAS یک استراتژی مدیریت داده Open Source است که با استفاده از Cloud امکان ذخیرهسازی، ادغام، پردازش و تحلیل طیف گستردهای از منابع داده را از طریق اتصال به شبکه و APIها مهیا میکند.
ابزارهای مورد استفاده میلیونها کاربر برای تجزیه و تحلیل داده، مثل ابزارهای BI، پلتفرمهای علوم داده و ابزارهای داشبوردسازی همگی از دادههایی فراخوانی میکنند که روی یک منبع داده قرار دارند. حال اگر چندین منبع داده وجود داشته باشد که هیچ اتصالی به یکدیگر نداشته باشند، دیگر این ابزارها توانایی فراخوانی و مدیریت دادهها را ندارند. به همین علت دنیای فناوری اطلاعات وظیفه دارد که این دادهها را به محیطهای مرتبط با هم و کیوبهای اطلاعاتی منتقل کند. راهحلهایی که DAAS ارائه میکند با استفاده از ارتباط بین انبارهای داده و مابقی سیستمها و ساخت یک دیتا مدل منطقی، به شرکتها و سازمانها این امکان را میدهد تا دادههایی را که قبلا در محیطهای مختلف رها شده بودند و دسترسی سریع به آنها امکان نداشت، مورد استفاده قرار بگیرند.
هرچه سازمانها، سیستمها و زیرساختهای خود را به سمت Cloud پیش میبرند، DAAS یا Data as a Service بیشتر به یک راهحل محبوب برای مدیریت دادهها و آنالیز آنها تبدیل میشود. شرکتها و سازمانها با استقبال از DAAS میتوانند چابکی و سرعت بخشیدن در تصمیمگیریهایشان را افزایش دهند و میزان اعتمادشان به دادههایشان را بالا ببرند.
DAAS مانند نرمافزارهای SaaS یک استراتژی محاسبات ابریست که شامل ارسال اپلیکیشنها و برنامهها به کاربران از طریق شبکه هستند. درست همانطور که SaaS نیاز به نصب و مدیریت را از سمت کاربران به صفر میرساند، DAASهم بیشتر منابع ذخیره داده و پردازش آن را از طریق ابر منتقل میکند.
درحالی که SAAS محبوبیت خود را بیشتر از یک دهه است که بهدست آورده، DAAS مفهومی است تازه که رو به گسترش است. علت این است که در ابتدا خدمات رایانش ابری عموما برای حجم زیادی از دادهها طراحی نشده بودند. آنها متعهد به میزبانی برنامهها و ذخیرهسازی دادههای اصلی (که شامل ادغام، یکپارچهسازی، تجزیه و تحلیل و پردازش داده نمیشود) بودند. همچنین پردازش دادهها از طریق شبکه به علت پهنای باندهای محدود امکانپذیر نبود. اما امروزه با وجود زیرساختها و سیستمعاملهای مبتنی بر ابر که بهطور خاص برای پردازش سریع دادهها در مقیاس بزرگ طراحی شدهاند، DAAS هم به اندازه SAAS عملی و سودمند شده است. پیشبینی میشود تا انتهای سال 2023 با نرخ رشد 300% این بازار رشد عظیمی داشته باشد. رویکرد DAAS مزایای زیادی از قبیل توانایی انتقال دادهها بهراحتی از یک پلتفرم به پلتفرم دیگر، سهولت در اداره، سازگاری بین سیستمعاملهای متنوع و دسترسی جهانی به اطلاعات را دارند.
چرا DAAS؟
در مقایسه با ذخیرهسازی و مدیریت دادهها بهصورت on-Premises، DAAS چندین مزیت قابل توجه دارد که سرعت، قابل اعتماد بودن و عملکرد بهتر، مهمترین آنها است. مزایای دیگری نیز وجود دارد که موارد زیر به آنها اشاره دارد:
- حداقل زمان راهاندازی: سازمانها میتوانند ذخیرهسازی و پردازش دادهها را بلافاصله با استفاده از DAAS آغاز کنند.
- بهبود عملکرد: زیرساختهای ابری کمتر مستعد خرابی یا اختلال هستند و Downtime کمتری دارند.
- انعطافپذیری بیشتر: DAAS مقیاسپذیرتر و انعطافپذیرتر از سیستمهای on-premises است. زیرا منابع بیشتری را میتوان در هرلحظه به ابرها اختصاص داد.
- صرفهجویی در هزینهها: بهینهسازی هزینههای مدیریت و پردازش دادهها یکی از مهمترین محبوبیتهای DAAS است و سازمانها میتوانند در هر زمان بسته به نیازشان میزان متفاوتی از منابع را به خود اختصاص دهند.
- تعمیر و نگهداری خودکار: ابزارها و خدمات روی سیستمعاملهای DAAS بهصورت خودکار توسط ارائهدهنده سرویس مدیریت و بهروز میشوند.
سیستمهای مبتنیبر DAAS
DAAS یک مفهوم عمیق در دنیای دادههاست که مفاهیم دیگری همچون AaaS (Analytic as a Service) و Real-time analytics از این مفهوم سرمنشا میگیرند.
اگر شما و سازمانتان درحال ورود به دنیای تجزیه و تحلیل دادهها هستید، ممکن است اصطلاح Analytics بهعنوان سرویس را شنیده باشید. در ابتداییترین حالت، این مفهوم به معنی استفاده از فناوریهای مبتنی بر وب برای تجزیه و تحلیل دادهها است.
AaaS (Analytics as a Service) ترکیبی از نرمافزارهای تجزیه و تحلیل و فناوری Cloud است. با استفاده از این بستر بهجای ایجاد یک انبار داده بزرگ به شکل on-premises، میتوان به یک پلتفرم تحلیلی از راه دور دسترسی پیدا کرد. AaaS برای بسیاری از مشاغل یک دارایی ارزشمند است، چراکه سازمانهایی که نیاز به تجزیه و تحلیل دادهها دارند، میتوانند برای اجرا و نگه داشتن برنامههای تحلیلی بهجای استفاده از زیرساختهای پر هزینه و متعدد، با بهرهبردن از نیروها و سختافزارهای کمتر به نتیجه دلخواه خود برسند. نرمافزارهایی مانند CloudMoyo و Microsoft Azure از جمله نرمافزارهایی هستند که امروزه این سرویس را ارائه کرده اند و درحال رشد هستند.
اما در این مقاله ما میخواهیم با مفهومی آشنا شویم که با استفاده از این سرویس میتوان در لحظه، دادهها را پردازش و تحلیل کرد و قدرت تصمیمگیری را در حد قابل توجهی سرعت بخشید.
Real-time analytics
همانقدر که Bigdata به یک مفهوم عظیم جهانی تبدیل شده Real-time analytics هم یک دانش کلیدی و سرنوشتساز است. تجزیه و تحلیل بهصورت Real-time با استفاده از منطق و ریاضیات، پردازشهایی را روی دادهها فقط چند ثانیه بعد از در دسترس قرار گرفتن آنها انجام میدهد تا کاربران بتوانند اطلاعات ارزشمندی را در زمانی که به آنها نیاز دارند، دریافت کنند. سازمانها دیگر به دنبال افرادی که بتوانند مشکلات را حل کنند، نیستند؛ سازمانها به دنبال افرادی هستند که بتوانند مشکلات و مسائل را پیشبینی کنند و این پیشبینیها بدون استفاده از سیستمهای تجزیه و تحلیل Real-time بسیار دشوار خواهد بود.
به عبارت ساده، دادهها به شما میگویند چه اتقافی در گذشته افتاده است اما با استفاده از Real-time analytics میتوانیم بگوییم چه اتفاقی درحال افتادن است.
بهترین مثال برای فکر کردن به تجزیه و تحلیل بهصورت Real-time ، مقایسه آن با یک مانیتور اندازهگیری ضربان قلب در بیمارستان است. هنگامی که بوق نامنظم شنیده میشود، به پرستاران اطلاع میدهد که مشکلی درمورد بیمار آنها وجود ندارد. به همین شکل این سیستمها به سازمانها اجازه میدهند تا از سلامت نحوه کار خود مطلع باشند.
بارزترین مزیت تجزیه و تحلیل دادهها بهصورت Real-time این است که دیگر هیچ، زمان از دست رفتهای وجود نخواهد داشت و با کاهش تاخیر یا شکاف زمانی که بین دریافت دادهها و تحویل اطلاعات وجود دارد، محصول خود را که اطلاعاتی برای تصمیمگیری بهتر هستند، ارائه خواهد کرد. مانند بطری شیر داخل یخچال، دادهها نیز دارای تاریخ انقضا هستند. 69 درصد از دادههای جمعآوریشده توسط سازمانها در زمان درست مورد پردازش قرار نمیگیرند و از دست میروند.
تجزیه و تحلیل دادهها در زمان واقعی به این معنی است که دادهها در هنگام ورود پردازش شوند و کاربر بهصورت Real-time با اطلاعاتی که کسب میکند، تصمیمگیریهایی انجام دهد یا نوتفیکیشنهایی دریافت کند. البته نباید مفهوم Real-time با آنی اشتباه گرفته شود، چرا که این زمان برای سازمانها میتواند از میلی ثانیه تا ساعتها متفاوت باشد. بهطور مثال، یک راننده درحال پخش محصولات لبنی باید بتواند در چند دقیقه اطلاعاتی از مقصد خود، تعداد محصولاتی که در یک منطقه جغرافیایی باید پخش کند و… کسب کند اما قیمتگذاری برای محصولات میتواند حتی تا یک ساعت هم طول بکشد.
با این حال بسیاری از سازمانها بهدنبال تجزیه و تحلیل در زمان واقعی نیستند و این میتواند دلایل مختلفی مانند عدم تخصیص بودجه کافی، ترس از چالشهای پیش رو یا تمایل نداشتن تیم مدیریتی باشد اما خب این سازمانها باید بدانند بهزودی از عرصه رقابت عقب خواهند ماند.
تجزیه و تحلیل دادهها حتی با تاخیر، همیشه مفید خواهد بود اما Real-time analytics نحوه استفاده سیستمها از دادهها را برای پیشبینی نتایج و تدوین برنامههای لازم با بهرهگیری از حداقل زمان ممکن، متحول میکند. این امر کمک بسیار زیادی به مدیریت ریسک در مواقع بحرانی خواهد کرد.
این سیستمها دادهها را در یک بستر واحد جمعآوری خواهد کرد که این امر خود موجب دسترسی سریع تر و آسان تر به آنها و همچنین افزایش امنیت خواهد بود.
تجزیه و تحلیل دادهها به شکل Real-time از دو زاویه میتواند مورد استفاده قرار بگیرد
1- مشتریمداری و پیشبینی آنچه که احتمالا مشتری میخواهد بخرد یا دوست داشته باشد:
پیشبینی حرکت مشتری قبل از هر گونه فعالیتی، بر اساس Real-time analytics انجام خواهد شد. شما باید بدانید مشتری چه چیزی را ترجیح میدهد، چه نیازهایی دارد و با چه مشکلاتی برای رفع نیاز مواجه است. رفتار مشتریان به سرعت درحال نوسان است. بهطور مثال، اگر یک بازیگر مشهور در یک مراسم کیف دستی خاصی را به دست گرفته باشد، فروش میتواند به شکل دیدنی افزایش پیدا کند.
فروشگاهی را تصور کنید که مشتری کالایی را در سبد خرید خود قرار میدهد، اما قبل از خرید، تصمیم میگیرد فروشگاه را ترک کند. Real-time analytics در همان لحظه برای مشتری پیشنهادی درمورد همان کالا در نظر میگیرد و او را ترغیب به خرید میکند. یا با استفاده از برچسبهای RFID تعبیهشده روی کالاها میتوان اطلاعات زیادی درمورد نحوه برخورد با کالا را به دست آورد مثل اینکه چه کسانی آنها را به سبد خرید خود اضافه میکنند و چه کسی خرید نهایی را انجام میدهد.
2- تحلیلهای پیشبینیکننده برای عملیاتهای داخلی سازمانها:
همانطور که دیگر سازمانی بدون استفاده از سیستمهای ERP، CRM و… کسبوکار خود را آغاز نمیکند، اکنون در تمام جهان کمتر سازمانهایی هستند که از سیستمهای تحلیل داده بهره نبرند. دادههایی که در سیستمهای عملیاتی تولید میشوند، اغلب به دام میافتند یا نادیده گرفته میشوند.
بهطور مثال، برخی از شرکتهای بزرگ از این مفهوم در تماسهای تلفنیشان استفاده کردهاند تا رفتار مشتری را از طریق تلفن تحلیل کنند و بهترین تصمیم را در لحظه بگیرند. فرض کنید یک مشتری عصبانی به نظر برسد، سیستم بهصورت خودکار برای برآوردن نیاز او تماس را به یک متخصص وصل خواهد کرد.
استفاده از Real-time analytics در صنعت بانکداری
Real-time analytic روشی است که به بانکها امکان میدهد تا دادههای جاری را بهسرعت و پویا بررسی و از آن استفاده کنند. این روش میتواند در بسیاری از زمینههای صنعت بانکداری مفید باشد. برخی از موارد کاربرد آن عبارت است از:
- مدیریت فروش: بانکها میتوانند با استفاده از تحلیل دادهها، نیازها و رفتارهای مشتریان خود را بهتر درک کنند و به آنها پیشنهادات متناسب و شخصیسازیشده بدهند. برای مثال یک بانک در آسیا با استفاده از Real-time analytic، 15000 میکروسگمنت را در پایگاه مشتریان خود شناسایی کرد و یک مدل next product to buy ساخت که احتمال خرید را سه برابر افزایش داد.
- مدیریت ریسک مالی: بانکها میتوانند با استفاده از Real-time analytic روندهای بازار را پایش کنند و درصورت لزوم، تصمیمات سریع و مناسب برای کاهش خطرات نامطلوب بگیرند. برای مثال یک بانک در آمریکا با استفاده از یادگیری ماشینی، تخفیفهایی را که شعب به مشتریان میدادند، مورد بررسی قرار داده و الگوی نامناسب تخفیف را شناسایی و اصلاح کرد. پس از اعمال تغییرات، درآمدهای بانک در مدت چند ماه 8 درصد افزایش یافت.
- مدیریت ریسکهای غیر مالی: بانکها میتوانند با استفاده از Real-time analytic فعالیتهای مشکوک و نامطلوب را شناسایی و از آن جلوگیری کنند. بهعنوان نمونه، تقلب در پرداختها و پولشویی یا حملات سایبری.
استفاده از Real-time analytics در سایر صنایع
بهبود ارتباط بین توزیعکننده، عمدهفروشان و خردهفروشان امری حیاتی و مهم برای سازمانها است. برای سازمانهایی که عناصر متحرک زیادی مثل عمدهفروشان یا توزیعکنندگان دارند، استفاده از Real-time analytics برای اداره تدارکات بسیار ضروریست و میتوانند اقداماتشان را بر اساس تقاضا یا عوامل دیگر مدیریت کنند. بهطور مثال، آمازون روشی را تحت عنوان «پیشبینی حملونقل» ابداع کرده و شروع تحویل بستهها قبل از اینکه مشتری دکمه «خرید» را بزند، آغاز میشود.
مشاهده Real-time داشبوردهای مدیریتی برای دادههایی که بهصورت مداوم درحال تغییر هستند، مثل فروش ساعتی مجموعه فروشگاههای غذایی در مناطق مختلف امری است که بسیاری از سازمانها همیشه به دنبال آن بودهاند. سیستمهای تجزیه و تحلیل در زمان واقعی با استفاده از زیرساختهای لازم این امر را ممکن کردهاند که با مشاهده آن در زمانهایی که کسبوکارها دچار نوسان هستند، بسیار کارآمد و قابل توجه خواهد بود.
مزایای مشترکی که در تمامی صنایع و کسبوکارها با استفاده از سیستمهای Real-time analytics به دست خواهد آمد، شامل پیشبینی تقاضا، بهینهسازی قیمت، توسعه محصول، تخمین میزان تولید، بررسی خط تولید و مداخله سریع قبل از نقص ماشینآلات، بهبود اثربخشی تبلیغات و بازاریابی، بهبود استراتژیهای قیمتگذاری، بهبود عملیات ثبت سفارش و دریافت هشدار بر اساس پارامترهای مشخص و از پیش تعریفشده میشود.
چالشهای پیادهسازی سیستمهای Real-time
این سیستمها مانند هر سیستم دیگری بر سر راه خود موانعی دارد که ممکن است اجرای آنها را در سازمانها با مشکل مواجه کند:
- زیرساختهای مناسبی برای تجزیه و تحلیل دادهها موجود نباشد یا ابزارهای موجود برای Real-time analytics کافی نباشند.
- عدم وجود یک رویکرد جدید: اگر شرکت شما عادت دارد هفتهای یک بار گزارشها و تفکرهای افراد را دریافت کند، این رویکرد میتواند فرایندهای تجاری را تحتالشعاع قرار بدهد؛ چرا که از این به بعد هر لحظه کاربران برای دریافت و گزارش اطلاعات باید منتظر باشند. اما این مزیت که کارشناسان قبلا زمان زیادی را برای تجزیه و تحلیل اطلاعات صرف میکردند، اکنون زمان بیشتری برای انجام سایر کارها خواهند داشت و اینکه قطعا موجب افزایش بهرهوری خواهد شد را نباید نادیده گرفت.
- برخی فکر میکنند اجرای Real-time analytics کار آسانی برای سازمانشان است اما اگر یک کسب و کار به پردازش سریع دادهها عادت نکند، میتواند منجر به معیوب ساختن یا حتی خرابی سیستم شود. با وجود تمام طرفدارانی که این پدیده دارد اما ممکن است مشاغل کوچک تر به آن احتیاجی نداشته باشند یا قادر به رسیدگی آن نباشند.
معماری سیستمهای Real-time
معماری سیستمهای Real-time از قابلیتهای In-Memory OLTP و In-Memory Column store در Microsoft SQL Server استفاده میکنند که این قابلیتها در ایجاد انبارهای داده یک جهش و گام بزرگ است که موجب بهبود عملکرد ۱۰ تا ۱۰۰ برابری شدهاند. با وجود قابلیت In-memory سیستمهای عملیاتی در سازمانها تا ۳۰ برابر سرعتشان بیشتر شده و ارتقای سرعت اجرای Queryها و گزارشها تا صد برابر، سرعت بیشتری به ارائه دیدگاههای کسبوکار را درپی دارد. شاخصهای In-Memory Column store با اسکن ده ها میلیارد سطر در ثانیه در سختافزارهای صنعتی معمول، این امکان را برای کاربران فراهم میکند تا حجم قابل توجهی از داده را با سرعت فوقالعاده بالا تبادل و شناسایی کنند. SQL سرور به ارائه یک معماری قدرتمند برای پلتفرم داده میپردازد که با قابلیت تبادل و آنالیز دادهها بهصورت تقریبا Real-Time به پیشبرد اهداف کسبوکار منجر میشود.
سیستمهای مبتنیبر داده که هر چرخه تصمیمگیری و برنامهریزی را دقیقتر و چابکتر میکنند، میتوانند به سرعت مجموعه وسیعی از دادههای ساختاریافته و بدون ساختار را کشف و الگوهای پنهان آنها و همبستگی میانشان را درجهت بالابردن بینش تجاری پیدا کنند. واضح است دادههایی که بهصورت Real-time به دست آمدهاند تاثیر قابل توجهی بر رشد هر صنعت خواهد داشت و هرچه دادههای بیشتر و بیشتر جمعآوری، پردازش و استفاده شود، تاثیرات ماندگارتری بر جهان بهوجود خواهد آورد. امروزه انفجار دادهها از هر امر دیگری واقعیتر و نمایان تر است.
برخی شرکتها با ایجاد و اجرای قابلیتهای تحلیل داده مزیت رقابتی خود را افزایش میدهند اما دسته دیگری هم وجود دارند که شاید اجرای این سیستمها برایشان در داخل سازمان امکانپذیر نباشد. انعطافپذیریای که سرویسهای مبتنی بر Cloud میتواند برای آنها ایجاد کند، این پیادهسازی را برای آنها امکانپذیرتر خواهد کرد. سیستمهایی که در این مطلب برای استفاده بهتر از دادهها پیشنهاد داده شد، میتوانند سناریوها و رویکردهای مختلفی را برای تحلیل دادهها در هر سازمانی ایجاد کند و درنهایت بدون استفاده از سیستمهای بهرهمند از Analytics، تصمیمات حساس بر اساس دادههای ساعتها، روزها یا هفتههای قبل گرفته میشوند. آیا شما میتوانید هزینههای ایجادشده بر اثر عدم استفاده از این سیستمها را بر عهده بگیرید؟
نویسنده: پریناز بنیاسدی، مدیر پروژه های استقرار شرکت راهکارهای فناوری تحلیلی هوشآیند