تحليل البيانات

عندما نتخذ أي قرار؛ سواء كان سيؤثر علينا على المدى القصير أو الطويل، قرار يومي متكرر أو قرار مصيري يكون ذلك بناءاً على التفكير فيما مررنا به من قبل، وما هي النتائج التي سوف نحصل عليها بناءاً على تنفيذ هذا القرار في المستقبل.

هذا العملية تعتبر تحليل لماضينا ومحاولة توقع مستقبلنا، واتخاذ القرارات بناءًا على هذا التحليل والتوقع، وهذا هو جوهر عملية تحليل البيانات بشكل مبسط.

الشركات الناجحة في العالم تعتمد على تحليل بيانات عملائها ومستخدميها بشكل مستمر منذ عدة سنوات، وذلك من خلال فرز بيانات استهلاكهم من قبل علماء ومحللو البيانات للوصول إلى أنماط خاصة بسلوكهم، والتي يمكن من خلالها تحسين المنتجات والخدمات وزيادة المبيعات.

في هذا المقال نناقش مجال تحليل البيانات مع نبذة عن أهم عناصره الأساسية.

أهم المصطلحات في مجال تحليل البيانات Data Analysis

يعتبر مجال تحليل البيانات من المجالات التي تتشعب بشكل كبير، وتحتوي في طياتها على أكثر من مصطلح، هذه المصطلحات تعبر بشكل عام عن مكونات هذا العلم ومكوناته؛ مثل مصطلح تحليل البيانات، ومصطلح البيانات الضخمة، واللذان رغم ارتباطهما ارتباط وثيق ببعضها، إلا أنهما مختلفين في تعريفهما.

ولكي نفهم مجال تحليل البيانات بشكل واضح يجب أن نتطرق إلى تعريف كل مصطلح بشكل منفرد، ومعرفة دور الأفراد في كل منها، وذلك حتى نستطيع تكوين صورة كاملة عن هذا المجال وأجزاءه المرتبطة ببعضها البعض.

تم تحديد الترتيب التالي للمصطلحات ليبدأ بالمصطلحات الأعم والأشمل ثم المصطلحات التي تعتبر جزء منها أو تعتمد عليها.

1. البيانات الضخمة Big Data

يطلق مصطلح البيانات الضخمة على البيانات العادية التي يكون حجمها ضخم، وتحتوي على كمية كبيرة من المعلومات، والتي من صفاتها أيضاً أن حجمها يزداد بمعدل سريع وعالي مع مرور الوقت، بالإضافة إلى أنها تتصف بالتعقيد والتداخل بشكل يجعل التعامل معها أو حتى تخزينها عن طريق أدوات وبرامج إدارة البيانات العادية أمر صعب للغاية.

الهدف الأساسي من تحليل البيانات الضخمة هو الوصول إلى معلومات واضحة عن الوضع الحالي وتوقعات محددة عن المستقبل، وذلك يكون من خلال دراسة سلوك المستخدمين الذين تم جمع بياناتهم بالطرق المختلفة.

هناك أهداف أخرى لتحليل البيانات الضخمة؛ مثل الوصول إلى قيم حقيقية تعبر عن أوضاع الشركات في الأسواق العالمية مقارنة بمنافسيها، كما أن البيانات الضخمة يتم الاعتماد عليها في استخراج المعلومات التي تساعد في دراسة دوافع الجريمة، أو منع الكوارث الطبيعية، أو على أقصى تقدير الاستعداد لها بالشكل المناسب الذي يحد من خطرها على البشرية.

سبب تضاعف حجم البيانات بمعدل سريع يرجع إلى انتشار الأجهزة التي يتفاعل معها المستخدمون، والتي تعتمد على الإنترنت حتى لو بشكل بسيط.

ففي البداية كان الأمر يقتصر على أجهزة الحاسب الآلي المكتبي والمحمول، ثم توسع ليشمل عدد ضخم من أجهزة الجوال خاصة مع صدور نظام أندرويد.

والذي كان النواة الأساسية لظهور أجهزة التابلت ثم التلفاز الذكي، وصولاً إلى الأجهزة التي تعتمد على إنترنت الأشياء مثل الثلاجة الذكية والسيارات الذكية، أو أي جهاز إلكتروني يتصل بالإنترنت وله واجهة استخدام بسيطة يحتوى على بيانات خاصة يتفاعل المستخدم معها.

بالنسبة للشركات أو التعامل التجاري والاقتصادي مع البيانات الضخمة… كل الأجهزة التي ذكرناها سابقاً ترسل بياناتها بشكل أو بآخر (بتصريح من المستخدم أحياناً وبدون تصريح أحياناً أخرى) إلى شركاتها المصنعة.

والتي بدورها تقوم بتحليل هذه البيانات بهدف الحصول على معلومات عن تفاعل المستخدم مع المنتج، رضاه عنه، استياء من إحدى خصائصه، تفاصيل أكثر عن مدى استعداده لشراء هذا المنتج مجدداً أو نسخ محسنة منه، وأي معلومات يمكن استخدامها في توقع سلوك المستخدم في المستقبل تجاه هذا المنتج أو العلامة التجارية الخاصة به.

أمثلة تقع تحت تعريف البيانات الضخمة:

• بيانات تداول أسهم البورصة.
• بيانات وكالة الفضاء ناسا.
• بيانات مواقع التواصل الاجتماعي.
• بيانات سلوك مستخدمي مواقع المتاجر الإلكترونية.
• بيانات مستخدمي الأجهزة الذكية مثل الساعات الذكية.

الأمثلة السابقة تولد يومياً بيانات حجمها يتراوح بين 1 تيرابايت إلى 500 تيرابايت.

2. علم البيانات Data Science

علم البيانات ببساطة هو علم يستخدم عدة مجالات مثل البرمجة والرياضيات والإحصاء و تعلم الآلة Machine learning للوصول إلى معلومات مفيدة من البيانات الضخمة Big Data.

عادة ما يستخدم علم تحليل البيانات في اتخاذ قرارات و والوصول إلى توقعات من خلال تحليل هذه البيانات من اتجاهات وعوامل مختلفة، بعض من هذه العوامل قد يكون غير واضح في الوقت الحالي، وهو أمر ضروري كون هذا العلم يُعتمد عليه في اتخاذ قرارات مستقبلية وخطط تتم على المدى الطويل.

3. عالم البيانات Data Scientist ودوره

يقوم عالم البيانات data scientist -من خلال تطبيق خوارزميات خاصة بتعلم الآلة- بتحليل البيانات المتاحة لديه من صور وكلمات ومقاطع فيديو، لتصنيع ذكاء اصطناعي قادر على أداء المهمات التحليلية للبيانات التي عادة ما تحتاج إلى العنصر البشري لتحليلها.

ليصل هذا الذكاء الاصطناعي في النهاية إلى تنبؤات وتوقعات يمكن استخدامها في تقديم تقارير واضحة، والتي تساعد الشركات في الوصول إلى معلومات يمكن الاعتماد عليها في اتخاذ قرارات تتعلق بمستقبل نشاط هذه الشركات وتزيد من معدل نجاحهم.

ما هو Data Analysis

نستطيع تعريف تحليل البيانات أو الـ Data Analysis على أنها عملية ترتيب وتنقيح البيانات لاكتشاف معلومات مفيدة لاتخاذ قرارات خاصة بمجالات معينة مثل المال والأعمال، الصحة وغيرها، والغرض الأساسي من تحليل البيانات هو استخراج معلومات مفيدة منها واتخاذ قرارات مؤثرة بناءًا عليها.

أي أن محلل البيانات يستخدم علم تحليل البيانات في التعامل مع البيانات الضخمة لاستخراج معلومات مفيدة منها، وذلك بطلب من الشركات والمؤسسات الكبرى التي لديها هذا الكم من البيانات وتود تحليلها.

تحويل البيانات إلى صورة مرئية Data Visualization

على الرغم من أنه لا يُذكر بما فيه الكفاية عند التحدث عن مجال تحليل البيانات، إلا أن قسم الـ Data Visualization (أو تحويل البيانات إلى أشكال مرئية بسيطة) يعد من الأقسام الهامة في مجال تحليل البيانات.

حيث تكمن أهميته في أن عملية تحليل البيانات يجب أن يكون لها ناتج يفهمه غير المتخصصين؛ هذا الناتج قد يكون رسم بياني أو مخطط أو أي شكل مرئي يمكن أن يستوعبه أصحاب القرار مثل المديرين التنفيذيين وأصحاب الأسهم.

لا تقتصر أهمية هذا المجال على كونه يقوم بتنقيح وترتيب المعلومات الموجودة في البيانات الضخمة ويقدمها في صور ورسوم بيانية إلى أصحاب القرار، بل هو يعتبر المنتج النهائي للجميع، أي أن كلاً من محلل البيانات وعالم البيانات يعملان على أن يكون المنتج النهائي الخاص بهما هو مجموعة الصور أو المخططات والرسوم البيانية، والتي توضح معنى البيانات التي قاما بتحليلها بشكل أنيق ومرتب.

دور محلل البيانات Data Analysis

مثل عالم البيانات؛ يقوم محلل البيانات بنفس الدور التحليلي مع اختلاف أساسي، وهو أن المحلل لا يقدم تنبؤات لما يمكن أن يحدث مستقبلاً، هو فقط يقوم بتحليل البيانات المتاحة لتحليل الوضع الحالي للشركات والمؤسسات العملاقة.

أهم الجهات التي تعتمد على تحليل البيانات

• البنوك.
• شركات الاتصالات.
• شركات الأدوية.
• كبار المصنعين.
• الجامعات.
• مختبرات العلوم.
• منصات التواصل الاجتماعي.
• مواقع التجارة الإلكترونية.

الطلب على وظيفة Data Analysis

وظيفة محلل البيانات أو data analyst تندرج تحت أكثر الوظائف طلبا في العالم في الوقت الحالي، هذا الطلب ازداد بشكل مرتفع في السنوات الأخيرة على وجه الخصوص، وذلك بسبب الارتفاع الضخم في تواجد الأشخاص على الإنترنت لأغراض التسوق أو العمل او الترفيه مما أدى إلى زيادة حجم البيانات على الإنترنت.

منصات مثل فيس بوك وامازون ونتفلكس زاد عدد مستخدميها في العام الماضي ليصل إلى معدلات غير مسبوقة من حيث المشتركين الجدد أو التواجد على المنصات نفسها.

أزمة هذا المجال الكبرى هي أن هذا الطلب المرتفع على وظيفة محلل البيانات لا يوازي العدد المتاح من المتخصصين في هذا المجال عالمياً (هذه بالطبع ميزة لكل مقبل على تعلم هذا المجال).

فعلى الرغم من أن الاجور في هذا المجال قد تصل إلى 100 ألف دولار سنوياً، إلا أن عدد المحللين على مستوى العالم لا زال لا يوازي العدد المطلوب، يرجح البعض أن سبب هذا العجز؛ هو أن التخصص في هذا المجال يحتاج إلى دراسة مكثفة في مجالات مثل البرمجة والتحليل والإحصاء وغيرها.

كيف تبدأ في مجال تحليل البيانات

مجال تحليل البيانات مجال شيق للغاية وسواء كنت تخطط للعمل كمحلل بيانات أو عالم بيانات، فهناك عدة معلومات يجب معرفتها قبل الدخول في هذا المجال، في هذه الفقرة سوف نعرفك على الخطوات التي ينصح الخبراء بإتباعها للحصول على وظيفة في هذا المجال:

1. احصل على شهادة أكاديمية في إحدى هذه المجالات تكنولوجيا المعلومات IT علوم الحاسب الآلي Computer science، أو اي شهادة لها علاقة بالحاسب الألى بشكل عام.

(حصولك على شهادة علمية في مجال الرياضيات أو الإحصاء بجانب المجالات السابقة سوف يسهل عملية دخولك في هذا المجال، وسوف نشرح هذه النقطة بالتفصيل في الفقرة القادمة).

2. اكتسب خبرة خاصة بالمجال الذي سوف تتخصص في تحليل بياناته مثل مجال الأعمال أو الصحة.

3. التحق بوظيفة لها علاقة بتحليل البيانات حتى لو كانت وظيفة أولية بسيطة، لاكتساب خبرة في المجال بشكل عام.

4. ابدا في تطوير قدراتك في هذا المجال، سواء بشكل أكاديمي مثل الالتحاق ببرنامج دراسي معتمدة أو البحث والدراسة بشكل فردي.

نعرف أن بعض من هذه الخطوات قد تكون صعبة بعض الشيء، لكنها تضمن لك أن تتميز في مجال تحليل البيانات وتتخذه كمهنة، وكعادة أي مهنة تحتاج للدراسة قبل البدء بها وهو أمر منطقي في مجال العمل.

لاحظ أن أحد أسباب كون مهنة محلل أو عالم البيانات مربحة يرجع إلى أن عدد المتخصصين فيها نادر، وهذا لا يتعلق بالضرورة بكون المجال صعب التعلم بل بكونه مجال يحتاج الكثير من الدراسة الجادة والصبر.

لا تقلق من كيفية الحصول على شهادات في هذا المجال، لأن هناك العديد من منصات التعلم عبر الإنترنت مثل موقع كورسيرا و موقع يوديمى، والتي توفر دورات مكثفة للمبتدئين لمساعدتهم في معرفة المجالات والمهارات اللازمة للدخول بشكل رسمي في هذا المجال.

كما أن كورسيرا تحديداً توفر مسارات دراسية كاملة في تحليل البيانات توازي الشهادات الكبرى.

لذا إذا كنت على وشك البدء في تغيير مسارك المهني، فمجال تحليل البيانات يستحق التفكير والدراسة بشكل كبير، وفي الفقرة التالية سوف نوضح بشكل مبسط أهم المجالات والمهارات التي يحتاجها محلل البيانات في عمله اليومي.

متطلبات العمل في مجال Data Analysis

كما ذكرنا سابقاً يحتاج محلل البيانات أن يكون ملم ببعض المجالات حتى يتمكن من تحليل البيانات بالشكل المطلوب منه.

وإليك أهم المجالات المطلوب أن يكون ملم بها:

1. البرمجة

البرمجة جزء هام من مجال تحليل البيانات، وإذا كنت تريد البدء في هذا المجال تحتاج أن تكون ملم بلغة برمجة واحدة على الأقل، لذا ينصح الخبراء في المجال بتعلم لغة برمجة بايثون Python و R كبداية لتتمكن من التعامل مع مكتبات علم تحليل البيانات مثل reshape2 و ،scipy، وذلك كون لغة بايثون من لغات البرمجة السهلة في كتابتها نسبياً بعكس لغات البرمجة الأخرى مثل جافا Java.

2. الإحصاء

بالرغم من أن البرمجة مطلب أساسي للدخول في هذا المجال إلا أن الإلمام به بدون وجود معرفة أساسية بعلم الإحصاء يعتبر اهداراً للوقت، لأن علم الإحصاء يعتبر من الخطوات الأولى في عملية تحليل البيانات.

احرص على دراسة كل من الإحصاء الوصفي والاستنتاجي، حيث يشير الأول إلى المقاييس الكمية التي تصف خصائص العينة، بينما يقصد بالأخير التدابير التنبؤية التي تستنتج خصائص السكان الأكبر من خلال تفسير العينة.

بشكل عام سوف تحتاج إلى معرفة الأساسيات في علم الإحصاء، لكن لا تقلق علم الإحصاء علم ممتع كما أن بعض المفاهيم قد تكون مألوفة بالنسبة لك، وقد تتذكرها بسهولة كونك غالباً درستها في المرحلة الثانوية.

3. الرياضيات

الناتج النهائي لعملية تحليل البيانات هو الأرقام لذلك يعتبر الالمام بالرياضيات أمر أساسي لتكون محلل بيانات،

بشكل مبدئي تحتاج للإلمام بعلم الجبر، وكيفية صياغة المشاكل على أرض الواقع إلى معادلات رياضية يمكن فهمها وحلها.

4. تعلم الآلة

علم تعلم الآلة أو machine learning يستخدم الجبر والإحصاء ليتوصل إلى توقعات محسوبة بدقة بناءًا على البيانات التي تتم معالجتها

كمحلل بيانات تحتاج فقط لمعرفة بضعة أمثلة في مجال خوارزميات تعلم الآلة مثل تحليل المكونات الرئيسية، والشبكات العصبية.

ومن المهم معرفة أن محلل البيانات لا يحتاج إلى معرفة النظرية الخاصة بهذه الخوارزميات أو حتى تفاصيل عملها، ولكن يجب أن يعرف سلبيات وإيجابيات هذه الأمثلة، وكذلك متى يجب عليه أن يستخدمها أو لا يستخدمها في تحليل البيانات.

5. معالجة البيانات

يقصد بمصطلح معالجة البيانات أو Data wrangling جمع البيانات في صورتها الغير معالجة، وترتيبها وتنظيمها لتتحول لبيانات يمكن قراءتها وفهمها، ويحتاج هذا المجال الإلمام بأساسيات التعامل مع برامج قواعد البيانات MySQL ، oracle.

سوف تحتاج أيضاً لمعرفة كيفية صياغة البيانات في شكل ملفات ذات امتداد csv وxml.

6. حل المشاكل

البيانات الضخمة تحتوي على عدد ضخم من المعلومات، وبالرغم من التقدم التقني لازال هذا المجال يعد من المجالات المعقدة، لأن تحليل هذه البيانات قد يستغرق وقتاً ومجهوداً طويلاً وهما عاملان غير متاحين بالشكل الكافي.

فمثلاً عندما تتعمق كمحلل في هذا المجال سوف يصادفك العديد من المشاكل، (لا تنس أنك تحلل بيانات مستخدمين بشر يتغير سلوكهم طبقا لعوامل كثيرة وأحياناً قد لا تكون هذه العوامل واضحة).

لذا مهمتك دائما تتمحور حول حل أي مشاكل تعيق فهمك لهذا السلوك، وتحليل البيانات بالشكل الذي يحقق الاستفادة القصوى للجهة التي تعمل لصالحها في أقل وقت ممكن وبأقل مجهود، للدرجة التي تجعلك متمكن من عملية التحليل نفسها، مما يتيح لك الوقت الكافي لاستخدام هذه البيانات في التنبؤ إن كنت عالم بيانات، أو في معرفة وقياس أوضاع وظروف حالية على أرض الواقع إن كنت محلل.

خاتمة

قدمنا في هذا المقال مقدمة بسيطة لمجال علم البيانات وأهم المصطلحات الخاصة به، لنساعدك في التعرف على هذا المجال دون الدخول في تفاصيل تقنية عميقة، خاصة أن هذا المجال يحتوي على تفاصيل كثيرة ومعقدة لكنها شيقة ومحببة للمهتمين به، سواء من باب المعرفة العامة أو من باب التخصص فيه مستقبلاً.