الدورة الافتراضية لـ: Udemy |
هل سئمت نسخ القيم ولصقها يدويًا في جدول بيانات؟ هل تريد أن تتعلم كيفية الحصول على معلومات مثيرة للاهتمام في الوقت الفعلي وحتى غريبة من الإنترنت باستخدام برنامج نصي بسيط؟ هل أنت متشوق لاكتساب مهارة قيمة للبقاء في صدارة المنافسة في هذا العالم القائم على البيانات؟ إذا كان الجواب نعم ، فقد أتيت إلى المكان الصحيح في الوقت المناسب! مرحبًا بك في Web Scraping and API Fundamentals in Python! الدورة النهائية في جمع البيانات! تجريف الويب هو أسلوب للحصول على معلومات من صفحات الويب أو مصادر البيانات الأخرى ، مثل واجهات برمجة التطبيقات ، من خلال استخدام البرامج الآلية الذكية.
يتيح لنا Web Scraping جمع البيانات من مئات أو آلاف الصفحات باستخدام بضعة أسطر من التعليمات البرمجية.
من إعداد التقارير إلى علم البيانات ، يلغي الاستخراج التلقائي للبيانات من الويب العمل المتكرر.
على سبيل المثال ، إذا كنت قد عملت في مؤسسة جادة ، فلا شك أنك تعلم أن إعداد التقارير موضوع متكرر.
هناك تقارير يومية وأسبوعية وشهرية وربع سنوية وسنوية.
سواء كان هدفك هو تنظيم بيانات موقع الويب أو بيانات المعاملات أو بيانات العملاء أو حتى معلومات أبسط مثل تقارير توقعات الطقس ، فهي لا غنى عنها في عالم اليوم.
وعلى الرغم من أن مهمة المتدربين في بعض الأحيان هي الاهتمام بذلك ، فإن القليل جدًا من المهام يوفر تكاليف أكثر من أتمتة التقارير.
عندما يتعلق الأمر بعلوم البيانات ، يأتي المزيد والمزيد من البيانات من مصادر خارجية ، مثل صفحات الويب والملفات القابلة للتنزيل وواجهات برمجة التطبيقات.
إن معرفة كيفية استخراج هذه البيانات وهيكلها بسرعة هي مهارة أساسية ستميزك في سوق العمل.
نعم ، حان الوقت لرفع مستوى لعبتك ومعرفة كيف يمكنك أتمتة استخدام واجهات برمجة التطبيقات واستخراج المعلومات المفيدة من مواقع الويب.
في الجزء الأول من الدورة ، بدأنا بواجهات برمجة التطبيقات.
تم تصميم واجهات برمجة التطبيقات خصيصًا لتوفير البيانات للمطورين ، لذا فهم أول مكان يتم التحقق منه عند البحث عن البيانات.
سنتعرف على طلبات GET وطلبات POST وتنسيق JSON.
يتم استكشاف كل هذه المفاهيم من خلال أمثلة مثيرة للاهتمام وبطريقة مباشرة.
في بعض الأحيان ، ومع ذلك ، قد لا تكون المعلومات متاحة من خلال استخدام واجهة برمجة التطبيقات ، ولكن يتم تضمينها في صفحة ويب.
ماذا يمكننا أن نفعل في هذا السيناريو؟ قم بزيارة الصفحة وقم بتدوين البيانات يدويًا؟ من فضلك لا تفعل ذلك! سوف نتعلم كيفية الاستفادة من المكتبات القوية مثل Beautiful Soup ونطلب HTML لكشط أي موقع ويب ، بغض النظر عن مجموعة اللغات المستخدمة في HTML و JavaScript و CSS.
بالتأكيد ، للتخلص ، ستحتاج إلى معرفة شيء أو شيئين عن علوم الكمبيوتر على الويب.
لهذا السبب قمنا أيضًا بتضمين قسم اختياري يغطي أساسيات HTML.
اعتبرها مكافأة لكل المعرفة التي ستكتسبها! سوف نستكشف أيضًا العديد من مشاريع الكشط.
سنقوم بمصدر بيانات الفيلم وهيكلها من قائمة تصنيف Rotten Tomatoes ، مع فحص كل خطوة من خطوات العملية بالتفصيل.
سيساعدك هذا على تطوير شعور بالتخلص في العالم الحقيقي.
سنغطي أيضًا كيفية استخراج البيانات من العديد من صفحات الويب في وقت واحد ، وهي حاجة شائعة عندما يتعلق الأمر باستخراج البيانات.
وبعد ذلك سيكون دورك لممارسة ما تعلمته من خلال المشاريع المختلفة التي نقترحها.
لكن هناك المزيد! قد لا يسير تجريف الويب دائمًا كما هو مخطط له (لهذا السبب ستأخذ هذه الدورة التدريبية ، بعد كل شيء).
يتم إنشاء مواقع الويب المختلفة بطرق مختلفة وغالبًا ما يتم انسداد برامج الروبوت الخاصة بنا.
لهذا السبب ، سنبذل قصارى جهدنا لاستكشاف المزالق الشائعة التي قد تواجهها أثناء التجريف ونقدم لك طرقًا للإبحار حول هذه المشكلات أو التعامل معها.
يتضمن ذلك رؤوس الطلبات وملفات تعريف الارتباط وأنظمة تسجيل الدخول والمحتوى الذي تم إنشاؤه بواسطة JavaScript.
لا تقلق إذا كنت معتادًا على القليل من هذه المصطلحات أو لا شيء على الإطلاق.
سنبدأ من الأساسيات ونشق طريقنا إلى المنافسة.
أيضًا ، نعتقد اعتقادًا راسخًا أن الممارسة تؤدي إلى الكمال ، لذا فإن هذه الدورة ليست في الجانب النظري للأشياء كثيرًا ، ولكنها تتخذ نهجًا أكثر عملية.
بالإضافة إلى أنه يحتوي على عدد كبير من تمارين الواجبات المنزلية والملفات القابلة للتنزيل والدفاتر ، بالإضافة إلى أسئلة الاختبار وملاحظات الدورة.
نحن ، فريق 365 Data Science ، ملتزمون بتزويد طلابنا بمحتوى عالي الجودة فقط.
وبينما نحب إنشاء المحتوى الخاص بنا داخل الشركة ، قررنا هذه المرة التعاون مع خبير حقيقي في الصناعة: Andrew Treadway.
أندرو هو كبير علماء البيانات في شركة نيويورك للتأمين على الحياة.
وهو حاصل على ماجستير في علوم الكمبيوتر مع التعلم الآلي من معهد جورجيا للتكنولوجيا وهو ممارس متمرس يتمتع بأكثر من 7 سنوات من الخبرة في برمجة بايثون المتعلقة بالبيانات.
وهو أيضًا مؤلف حزمة yahoo fin ، المستخدمة على نطاق واسع لاستخراج بيانات أسعار أسهم Yahoo التاريخية.
كما هو الحال مع جميع دوراتنا ، لديك ضمان استرداد الأموال لمدة 30 يومًا ، إذا قررت في أي وقت أن التدريب ليس مناسبًا لك.
إذن ليس لديك ما تخسره وكل شيء لتكسبه؟ فما تنتظرون؟ انقر فوق زر الشراء الآن ودعنا نبدأ في جمع البيانات معًا!
تمتلك Udemy أكبر مستودع للدورات التدريبية عبر الإنترنت في العالم
الوصول إلى محتوى الدورة ، بمجرد الانتهاء ، حتى تتمكن من الاستمتاع بتحديثاتها المستقبلية
يشارك الخبراء في مجالاتهم من جميع أنحاء العالم خبراتهم في Udemy
من جميع أنحاء العالم ، تم تسجيل 480 مليون مرة في دورات Udemy
مرحبا، كيف أستطيع مساعدتك؟ هل أنت مهتم بدورة؟ حول أي موضوع؟
أضف تقييمك