كيفية منع برامج زحف OpenAI من تجريف موقع الويب الخاص بك

كيفية منع برامج زحف OpenAI من تجريف موقع الويب الخاص بك
القراء مثلك يساعدون في دعم MUO. عند إجراء عملية شراء باستخدام الروابط الموجودة على موقعنا ، فقد نربح عمولة تابعة. اقرأ أكثر.

بينما يحب المستخدمون ChatGPT للكم الهائل من المعلومات التي يحتويها حاليًا ، لا يمكن قول الشيء نفسه عن مالكي مواقع الويب.





MUO فيديو اليوم قم بالتمرير للمتابعة مع المحتوى

يستخدم ChatGPT من OpenAI برامج الزحف لكشط مواقع الويب ، ولكن إذا كنت مالك موقع ويب ، ولا تريد أن يصل زاحف OpenAI إلى موقع الويب الخاص بك ، فإليك بعض الأشياء التي يمكنك القيام بها لمنع ذلك.



كيف يعمل زحف OpenAI؟

أ زاحف الويب (المعروف أيضًا باسم العنكبوت أو روبوت محرك البحث) هو برنامج آلي يقوم بمسح الإنترنت بحثًا عن المعلومات. ثم يقوم بتجميع هذه المعلومات بطريقة يسهل على محرك البحث الوصول إليها.





تقوم برامج زحف الويب بفهرسة كل صفحة من كل عنوان URL ذي صلة ، وعادةً ما تركز على مواقع الويب الأكثر صلة باستعلامات البحث الخاصة بك. على سبيل المثال ، لنفترض أنك تبحث في Google عن خطأ معين في Windows. سيقوم متتبع ارتباطات الويب داخل محرك البحث الخاص بك بفحص جميع عناوين URL من مواقع الويب التي يعتبرها أكثر موثوقية فيما يتعلق بموضوع أخطاء Windows.

يُطلق على زاحف الويب الخاص بـ OpenAI اسم GPTBot ، ووفقًا لـ وثائق أوبن إيه آي ، يمكن أن يساعد منح GPTBot الوصول إلى موقع الويب الخاص بك في تدريب نموذج الذكاء الاصطناعي ليصبح أكثر أمانًا ودقة ، ويمكنه أيضًا المساعدة في توسيع قدرات نموذج الذكاء الاصطناعي.



كيفية منع OpenAI من الزحف إلى موقع الويب الخاص بك

مثل معظم برامج زحف الويب الأخرى ، يمكن حظر GPTBot من الوصول إلى موقع الويب الخاص بك عن طريق تعديل موقع الويب ملف robots.txt البروتوكول (المعروف أيضًا باسم بروتوكول استبعاد الروبوتات). يتم استضافة ملف .txt هذا على خادم موقع الويب ، ويتحكم في كيفية تصرف برامج زحف الويب والبرامج الآلية الأخرى على موقع الويب الخاص بك.

فيما يلي قائمة قصيرة بما يحتويه ملف ملف robot.txt يمكن للملف القيام بما يلي:



  • يمكنه منع GPTBot تمامًا من الوصول إلى موقع الويب.
  • يمكنه منع الوصول إلى صفحات معينة فقط من عنوان URL بواسطة GPTBot.
  • يمكنه إخبار GPTBot بالروابط التي يمكنه اتباعها والتي لا يمكنه اتباعها.

فيما يلي كيفية التحكم في ما يمكن لـ GPTBot القيام به على موقع الويب الخاص بك:

منع GPTBot تمامًا من الوصول إلى موقع الويب الخاص بك

  1. قم بإعداد ملف robot.txt ، ثم قم بتحريره باستخدام أي أداة لتحرير النص.
  2. أضف GPTBot إلى مواقعك ملف robots.txt على النحو التالي:
 User-agent: GPTBot 
Disallow: /

منع وصول GPTBot إلى صفحات معينة فقط

  1. قم بإعداد ملف ملف robot.txt ملف ، ثم قم بتحريره باستخدام أداة تحرير النص المفضلة لديك.
  2. أضف GPTBot إلى مواقعك ملف robots.txt على النحو التالي:
 User-agent: GPTBot 
Allow: /directory-1/ 
Disallow: /directory-2/

ومع ذلك ، ضع في اعتبارك أن تغيير ملف robot.txt الملف ليس حلاً بأثر رجعي ، وأي معلومات قد جمعتها GPTBot بالفعل من موقع الويب الخاص بك لن تكون قابلة للاسترداد.



يسمح OpenAI لمالكي مواقع الويب بإلغاء الاشتراك من الزحف

منذ أن تم استخدام برامج الزحف لتدريب نماذج الذكاء الاصطناعي ، كان مالكو مواقع الويب يبحثون عن طرق للحفاظ على خصوصية بياناتهم.

هل يمكنني تسجيل مكالمة هاتفية على جهاز iPhone الخاص بي

يخشى البعض من أن نماذج الذكاء الاصطناعي تسرق عملهم بشكل أساسي ، بل ويعزو عدد أقل من زيارات الموقع إلى حقيقة أن المستخدمين الآن يحصلون على معلوماتهم دون الحاجة إلى زيارة مواقعهم على الإنترنت.

بشكل عام ، ما إذا كنت تريد منع برامج الدردشة المدعومة بالذكاء الاصطناعي تمامًا من فحص مواقع الويب الخاصة بك هو اختيارك تمامًا.