پس منظر

2017 کے آغاز میں مجھے IoT، بگ ڈیٹا اور مشین لرننگ ورک لوڈز کے لیے کلاؤڈ پلیٹ فارمز کا جائزہ لینے کی خاطر پروف آف کنسیپٹس (POCs) کا ایک جامع مجموعہ بنانے کا کام سونپا گیا۔ مقصد یہ تھا کہ Azure، AWS، GCP، IBM Bluemix (اب IBM Cloud) اور Alibaba Cloud کا یکساں استعمال کے مواقع پر موازنہ کیا جائے — اور پھر کلاؤڈ اپنانے کا ایک اسٹریٹجک روڈ میپ تجویز کیا جائے۔

یہ POCs ایج کمپیوٹنگ (LTE کے ساتھ Raspberry Pi)، میسج بروکرز (Facebook، Azure اور Adafruit IO پر MQTT)، ڈیٹا لیکس اور مشین لرننگ پائپ لائنز تک پھیلے ہوئے تھے۔

ہدف

حقیقی ہارڈ ویئر اور حقیقی ڈیٹا کے ساتھ IoT انجیشن، بگ ڈیٹا پروسیسنگ اور مشین لرننگ کے لیے پانچ کلاؤڈ پلیٹ فارمز کا جائزہ لینا اور ان کا موازنہ کرنا۔

کامیابی کے معیارات:

  • SigFox اور LoRaWAN کے ذریعے حقیقی Raspberry Pi آلات سے ٹیلی میٹری وصول کرنا
  • Hadoop (HDFS، Yarn، MapReduce) کے ساتھ اسٹریمنگ ڈیٹا پروسیس کرنا
  • Azure Data Factory اور AWS Glue کے ساتھ ڈیٹا لیک پائپ لائنز بنانا
  • ہر پلیٹ فارم پر ML ماڈلز کی تربیت اور تعیناتی
  • قابلِ تکرار ماحول کے لیے IaaS لیب مینجمنٹ کو خودکار بنانا

طریقۂ کار

میں نے تمام پلیٹ فارمز پر یکساں ورک لوڈز چلائے:

  1. ایج لیئر
    Raspberry Pi آلات پر Raspbian فلیش کیا، LTE موڈیمز جوڑے، اور SigFox اور LoRaWAN گیٹ ویز کنفیگر کیے۔ ہر Pi پلیٹ فارم کے مخصوص بروکرز — Azure IoT Hub، AWS IoT Core، IBM Watson IoT اور Adafruit IO — کو MQTT پیغامات بھیجتا تھا۔

  2. اسٹریم انجیشن
    MQTT ٹیلی میٹری کو ہر پلیٹ فارم کے اسٹریمنگ انجن کی طرف روٹ کیا گیا: Azure Stream Analytics، AWS Kinesis، Google Cloud Dataflow اور IBM Streaming Analytics۔ یکساں پے لوڈ سائز کے تحت لیٹنسی اور تھروپُٹ ناپے گئے۔

  3. ڈیٹا لیک اور بگ ڈیٹا
    خام ٹیلی میٹری کو ہر پلیٹ فارم کے ڈیٹا لیک (Azure Data Lake Store، AWS S3، Google Cloud Storage) میں محفوظ کیا۔ ایگریگیشن کے لیے Hadoop MapReduce جابز چلائیں اور نتائج ہر پلیٹ فارم کی ML سروس کو فراہم کیے۔

  4. مشین لرننگ
    Azure ML، AWS SageMaker، Google AI Platform اور IBM Watson Studio پر یکساں ریگریشن ماڈلز (سینسر ڈرفٹ کی پیش گوئی کے لیے) کی تربیت کی۔ تربیت کے وقت، تعیناتی کی لیٹنسی اور لاگت کا موازنہ کیا۔

  5. IaaS آٹومیشن
    ہر پلیٹ فارم کے CLI/SDK کے ذریعے VM کی پروویژننگ اور خاتمے کو اسکرپٹ کیا، جس سے ہر ٹیسٹ سائیکل کے لیے قابلِ تکرار لیب ماحول ممکن ہوا۔

چیلنجز

  • مختلف پلیٹ فارمز کے MQTT بروکر نفاذات میں QoS (کوالٹی آف سروس) کی سطحوں اور retained-message کے رویّے میں باریک فرق تھے۔
  • LoRaWAN گیٹ وے کی کنفیگریشن فراہم کنندگان کے درمیان نمایاں طور پر مختلف تھی — Raspberry Pi کنسنٹریٹر بورڈز پر حسبِ ضرورت فرم ویئر ایڈجسٹمنٹ درکار تھی۔
  • Hadoop جابز کی ٹیوننگ ہر پلیٹ فارم کے لیے الگ تھی؛ جو Yarn کنفیگریشنز Azure HDInsight پر چلتی تھیں وہ Amazon EMR پر بغیر ترمیم کے ناکام ہو جاتی تھیں۔
  • پانچ کلاؤڈز پر لاگت کی نگرانی خود ایک پراجیکٹ تھی — ہر پلیٹ فارم کے بلنگ ماڈل کے لیے الگ مانیٹرنگ ڈیش بورڈز درکار تھے۔

نتیجہ

اس جائزے سے 120 صفحات پر مشتمل سفارشاتی رپورٹ تیار ہوئی جسے CTO کے دفتر نے اپنایا۔ بنیادی کلاؤڈ کے طور پر Azure منتخب ہوا، اور DR (ڈیزاسٹر ریکوری) کے متبادل کے طور پر AWS۔ خودکار لیب ماحول مستقبل کے POCs کے لیے کمپنی کا معیار بن گیا، جس نے نئے پراجیکٹ کے آغاز کا وقت ہفتوں سے گھٹا کر گھنٹوں تک کر دیا۔

اہم سبق

ملٹی کلاؤڈ کا مقصد لاک اِن سے بچنا نہیں — بلکہ ہر کام کے لیے درست ٹول چننا ہے۔ IoT انجیشن میں Azure کو ترجیح ملی، بگ ڈیٹا میں اُس وقت AWS کو، اور ML کی تربیت GCP پر سب سے زیادہ کفایتی رہی۔ سفارش عملی تھی، نظریاتی نہیں۔