كيف يبدو يوم عمل مهندس خطوط بيانات بدوام جزئي في كفر الشيخ؟ مهام يومية بين سحب البيانات وتحليلها والتعاون مع فرق التحليل السحابية.
الساعة السابعة والنصف صباحاً. أحمد يفتح حاسوبه المحمول في غرفته الصغيرة التي تطل على حديقة هادئة في كفر الشيخ. القهوة الساخنة بجواره، والشاشة أمامه تُظهر نافذة طرفية مفتوحة على آخر سجلات تشغيل خطوط البيانات التي عمل عليها بالأمس. اليوم يوم عمل جزئي، لكن المهام لا تقل أهمية عن أي يوم دوام كامل. أحمد ليس موظفاً بدوام كامل بعد، لكنه مهندس خطوط بيانات مبتدئ في شركة الدلتا الذكية لتحليل البيانات، ودوره حيوي رغم ساعات العمل المرنة.
أول ما يفعله أحمد عند بدء يومه هو مراجعة سجلات الـ ETL (Extract, Transform, Load) التي تعمل تلقائياً خلال الليل. الشركة تعتمد على هذه العمليات لسحب بيانات من عدة مصادر خارجية وداخلية، مثل واجهات برمجة التطبيقات (APIs) التابعة لشركاء تجاريين وقواعد بيانات داخلية. مهمته الأولى اليوم هي التأكد من أن جميع البيانات تم سحبها بنجاح ولم تحدث أخطاء أثناء النقل. لو وجد أي مشكلة، عليه تتبع مصدرها وإصلاحها قبل أن تبدأ فرق التحليل في الاعتماد على هذه البيانات.
يقول أحمد لنفسه وهو يتصفح سجلات الأخطاء: "لو فشلت عملية سحب البيانات من واجهة برمجة التطبيقات الخاصة بالعميل X، سيضطر الفريق إلى العمل على بيانات قديمة، وهذا سيؤثر على التقارير النهائية." يستخدم بايثون وسكويل لمراجعة البيانات والتحقق من تنسيقها. أحياناً تكون المشكلة بسيطة، مثل تغيير في هيكل البيانات القادمة من واجهة برمجة التطبيقات الخارجية، وأحياناً تتطلب إعادة كتابة جزء من الكود لضمان استمرارية التدفق.
بعد التأكد من سلامة سحب البيانات، ينتقل أحمد إلى مرحلة التحويل. هنا، البيانات الخام التي تم سحبها تحتاج إلى تنظيف وهيكلة قبل تحميلها في قواعد البيانات السحابية. مثلاً، قد تكون البيانات القادمة من واجهة برمجة التطبيقات الخارجية مليئة بالأخطاء أو القيم المفقودة، أو قد تكون بتنسيق JSON معقد يحتاج إلى تسطيح قبل تحميله في قاعدة بيانات علائقية.
يستخدم أحمد مكتبات بايثون مثل Pandas وNumPy لتنظيف البيانات وتوحيدها. أحياناً يكتب سكربتات صغيرة لتحويل التواريخ من تنسيق إلى آخر، أو لاستبدال القيم الفارغة بقيم افتراضية. هذه المرحلة تتطلب دقة عالية، لأن أي خطأ هنا سينتقل إلى التقارير النهائية التي يعتمد عليها العملاء لاتخاذ قراراتهم.
بعد الانتهاء من التحويل، تأتي مرحلة التحميل. البيانات المنظّمة تُحمّل في قواعد بيانات سحابية مثل Google BigQuery أو Amazon Redshift. أحمد يتأكد من أن الجداول الجديدة متزامنة مع النسخ السابقة، وأن جميع المفاتيح الخارجية (foreign keys) صحيحة. أحياناً يضطر إلى كتابة استعلامات سكويل معقدة للتأكد من عدم تكرار البيانات أو فقدانها أثناء التحميل.
في منتصف اليوم، ينضم أحمد إلى اجتماع افتراضي مع فريق التحليل. رغم أنه يعمل بدوام جزئي، إلا أن دوره لا ينتهي عند تحميل البيانات. الفريق يعتمد عليه لتوفير بيانات دقيقة وفي الوقت المناسب. في الاجتماع، يطلب أحدهم بيانات إضافية عن مبيعات الشهر الماضي، وآخر يسأل عن سبب تأخر تحديث أحد التقارير اليومية.
أحمد يشرح للفريق أن هناك مشكلة مؤقتة في واجهة برمجة التطبيقات الخاصة بأحد العملاء، وأنهم يعملون على حلها. أحياناً يضطر إلى كتابة سكربت سريع لسحب البيانات يدوياً من مصدر بديل حتى يتم إصلاح المشكلة. هذه اللحظات تجعل عمله مُرضياً، خاصة عندما يرى كيف تعتمد الفرق الأخرى على البيانات التي يساهم في توفيرها.
بعد الاجتماع، يتلقى أحمد رسالة على سلاك من زميل في الفريق يطلب منه مراجعة سكربت جديد كتبه لتحسين أداء أحد خطوط البيانات. أحمد يفتح السكربت، يراجعه سطراً بسطر، ويقترح بعض التعديلات لتحسين الأداء وتقليل وقت التنفيذ. هذه اللحظات الصغيرة من التعاون هي التي تجعل العمل ممتعاً، خاصة عندما يشعر بأن مساهمته تُحدث فرقاً حقيقياً
الساعة الثالثة عصراً. أحمد ينهي آخر المهام لليوم. يراجع مرة أخيرة سجلات التشغيل للتأكد من عدم وجود أخطاء، ثم يكتب ملخصاً قصيراً عما أنجزه ويرسله إلى مديره عبر البريد الإلكتروني. أحياناً يترك ملاحظات لفريق الغد، مثل الإشارة إلى مشكلة تحتاج إلى متابعة أو اقتراح لتحسين أحد العمليات.
قبل إغلاق الحاسوب، يتصفح أحمد بعض الوثائق الفنية الجديدة التي نشرتها الشركة حول تحسين أداء خطوط البيانات. رغم أنه مبتدئ، إلا أنه يحاول دائماً تعلم شيء جديد كل يوم. هذه العادة ساعدته على النمو بسرعة في دوره، وجعلته يشعر بالثقة في قدرته على التعامل مع تحديات أكبر في المستقبل.
يغلق أحمد الحاسوب وينظر من النافذة. يوم عمل جزئي انتهى، لكنه يوم مليء بالإنجازات الصغيرة التي تتراكم لتشكل قيمة حقيقية. ربما ليس كل يوم هكذا، فهناك أيام مليئة بالضغوط والأخطاء، لكن عندما يرى البيانات التي ساهم في توفيرها تُستخدم لاتخاذ قرارات مهمة، يشعر بأن عمله له معنى.
البيانات ليست مجرد أرقام، بل هي قصص تنتظر من يفك شفرتها. دور مهندس خطوط البيانات هو تحويل هذه القصص إلى شكل يمكن للآخرين فهمه والاستفادة منه.
— أحد مهندسي البيانات في شركة الدلتا الذكية
📌 شاهد التفاصيل الكاملة وقدّم على وظيفة "Part-time Data Pipeline Engineer" الآن