الدرس السابع اختبار الاختراق عبر ثغرة ملف main level 7 – robots.txt

الدرس السابع اختبار الاختراق عبر ثغرة ملف main level 7 – robots.txt

اليوم ، سأناقش كيفية استخدام robots.txt من قبل المخترقين للحصول على موطئ قدم في البيئة الخاصة بالموقع وكيف يمكن أن يؤدي العثور على مخاطرة منخفضة في ملف robots.txt إلى مزيد من التنازلات.

في مقالة غاري ماكجرو الأخيرة “عندما تسوء إدارة المخاطر ،” يقدم إرشادات لتحليل المخاطر وإدارة المخاطر باستخدام تحليل مخاطر البرمجيات كمثال لتوضيح كيف يمكن أن تصبح القضايا ذات المخاطر المتوسطة قضايا عالية المخاطر. يشير الدكتور ماكجرو إلى أنه من المهم تحقيق توازن في برنامج الأمان من خلال الحفاظ على مستوى متساوٍ بين الأمان وممارسة الأعمال الجيدة ، وموازنة أصولك ووضعها في الفئات السهلة التالية: عالية ومتوسطة ومنخفضة المخاطر. ويشير إلى أنه من المهم أن تكون هناك ضوابط أمنية تنتشر في مجموعتك بالكامل ، ولا يجب ترك أي مناطق عارية.

ما هو الروبوت؟
روبوتات الويب أو برامج الزحف أو العناكب هي برامج تزور الصفحات العديدة على الإنترنت وتسترجع بشكل متكرر جميع الصفحات المرتبطة ليتم فهرستها لعمليات البحث المستقبلية. وقد تم إعداد robots.txt لتقليل طلبات الروبوت غير المرغوب فيها أو الزائدة ويوفر طريقة يمكن من خلالها لمطوري مواقع الويب توجيه الروبوتات إلى أجزاء مواقعهم التي يرغبون في الوصول إليها. سيتحقق الروبوت من معلمات ملف robots.txt ويتحرك أو يفهرس وفقًا لذلك

ما هو robots.txt؟
Robots.txt هو ملف نصى يتم إنشاؤه لإرشاد برامج روبوت الويب (عادةً برامج روبوت محركات البحث) إلى كيفية الزحف إلى الصفحات الموجودة على موقع الويب الخاص بهم. يعد ملف robots.txt جزءًا من بروتوكول استبعاد برامج الروبوت (REP) ، وهو عبارة عن مجموعة من معايير الويب التي تنظم كيفية قيام برامج الروبوت بالزحف إلى الويب والوصول إلى وفهرسة المحتوى ، وعرض ذلك المحتوى للمستخدمين. يتضمن التقرير أيضًا توجيهات مثل الروبوتات الفوقية ، بالإضافة إلى تعليمات صفحة ، أو دليل فرعي ، أو على مستوى الموقع لكيفية معالجة محركات البحث للارتباطات (مثل “متابعة” أو “nofollow”).

في الواقع ، تشير ملفات robots.txt إلى ما إذا كان بإمكان وكلاء مستخدم معينين (برامج الزحف على الويب) الزحف إلى أجزاء من موقع الويب أم لا. يتم تحديد تعليمات الزحف هذه بـ “عدم السماح” أو “السماح” بسلوك وكلاء مستخدم معينين (أو جميعهم).

التنسيق الأساسي:
وكيل المستخدم: [اسم وكيل المستخدم]
عدم السماح: [لا يجب الزحف إلى سلسلة عنوان URL]

في هذا المثال ، أوضح كيف يمكن أن يؤدي العثور على مخاطرة منخفضة مثل العثور على ملف robots.txt إلى اكتشاف عالي المخاطر (على سبيل المثال ، الحصول على حق وصول المشرف إلى نظام إدارة المحتوى). نظرًا لأن الروبوت يستكشف موقع الويب ، فإنه يتحقق من وجود ملف robots.txt ويبحث عن معلمات السماح وعدم السماح. يمكن أن تحتوي هذه المعلمات أحيانًا على معلومات مفيدة للمهاجم. على سبيل المثال ، يمكن أن تتجاهل برامج bots البرامج الضارة وبرامج البريد الإلكتروني ملف robots.txt تمامًا أثناء جمع عناوين البريد الإلكتروني أو البحث عن نقاط ضعف موقع الويب. بالإضافة إلى ذلك ، يكون الملف في موقع معروف ويمكن الوصول إليه بشكل عام ، مما يسهل على أي شخص ، بما في ذلك المهاجمين ، معرفة ما تحاول إخفاءه. توجد الأمثلة التالية بشكل شائع في ملفي WordPress و Drupal robots.txt. كلاهما نظامان مفتوحان لإدارة المحتوى (CMS) يعملان على الملايين من المواقع المشهورة.

فما هو أفضل استخدام REP لمنع نقاط الضعف مثل هذه؟ عدم السماح بكل شيء؟

User-agent: * Disallow: /

هذا ليس مثاليًا نظرًا لأنه لم يعد من الممكن فهرسة موقعك على الويب بشكل صحيح بواسطة محركات البحث ، وهو أمر فظيع بالنسبة إلى تحسين محركات البحث في موقعك ، لذلك كن محددًا. تسمح فقط للروبوت لفهرسة الحد الأدنى. X-Robots-Tags (رأس HTTP مكافئ لعلامة وصفية لبرامج الروبوت) والعلامات الوصفية لبرامج الروبوت هي عناصر تحكم في الفهرسة على مستوى الصفحة والتي يمكن استخدامها عن طريق تضمين العلامات التي تدعمها جميع المتصفحات على صفحات HTML أو رؤوس HTTP. تتيح لك العلامة الوصفية لبرامج الروبوت التحكم في كيفية فهرسة الصفحات. يمكن استخدام X-Robots-Tag في استجابة رأس HTTP ، كما يمكن تحديد العلامات الوصفية على أنها X-Robots-Tag.

قم بتحديث نواة WordPress الخاصة بك باستخدام تصحيح عدم الفهرسة ، والذي يتضمن إرسال رأس X-Robots-Tag. سيؤدي هذا إلى إزالة جميع أدلة WordPress من نتائج محرك البحث. ومن الحلول الجيدة الأخرى استخدام العلامات الوصفية لـ robot مثل HTML التي تمنع إدراج نتائج البحث مع السماح بالربط إلى تلك الصفحات المطلوبة.

اترك رد

إملأ الحقول أدناه بالمعلومات المناسبة أو إضغط على إحدى الأيقونات لتسجيل الدخول:

شعار وردبرس.كوم

أنت تعلق بإستخدام حساب WordPress.com. تسجيل خروج   /  تغيير )

Google photo

أنت تعلق بإستخدام حساب Google. تسجيل خروج   /  تغيير )

صورة تويتر

أنت تعلق بإستخدام حساب Twitter. تسجيل خروج   /  تغيير )

Facebook photo

أنت تعلق بإستخدام حساب Facebook. تسجيل خروج   /  تغيير )

Connecting to %s