Η Cloudflare παρέχει σε όλους τους πελάτες της νέα εργαλεία για τον έλεγχο των AI bots στους ιστότοπούς τους.
Από τον Ιούλιο του 2024, οι πελάτες της Cloudflare είχαν τη δυνατότητα να αποκλείσουν όλους τους AI crawlers με ένα μόνο κλικ. Τώρα, αντί για ένα γενικό μπλοκάρισμα, οι ιδιοκτήτες ιστότοπων μπορούν να επιλέξουν μεταξύ τριών κατηγοριών: Η “Αναζήτηση” καλύπτει την ευρετηρίαση μηχανών αναζήτησης, η “Εκπαίδευση” καλύπτει τη συλλογή δεδομένων για την εκπαίδευση μοντέλων AI, και η “Πράκτορας” καλύπτει bots που ενεργούν για λογαριασμό χρηστών, όπως το ChatGPT.
Από τις 15 Σεπτεμβρίου 2026, τα bots Εκπαίδευσης και Πράκτορα θα μπλοκάρονται οι διαφημίσεις, καθώς τα διαφημιστικά σήματα δείχνουν ότι ένας ιστότοπος θέλει ανθρώπινους επισκέπτες. Οι crawlers Αναζήτησης θα συνεχίσουν να επιτρέπονται. Οι πολυδιάστατοι crawlers όπως το Googlebot, που πραγματοποιούν τόσο αναζήτηση όσο και εκπαίδευση, θα αντιμετωπίζονται σύμφωνα με τον αυστηρότερο κανόνα. Οι νέες επιλογές είναι διαθέσιμες και στους χρήστες του δωρεάν προγράμματος.
Η Cloudflare πιέζει τους διαχειριστές bot να διαχωρίσουν τους crawlers τους και προηγουμένως κάλεσε την Google για τη συγχώνευση του search crawler με το AI crawler. Τον Ιούνιο του 2026, ο Prince σημείωσε ότι η κίνηση των bots είχε ξεπεράσει αυτή των ανθρώπων στο διαδίκτυο για πρώτη φορά, ένα ορόσημο που αρχικά δεν αναμενόταν μέχρι τα τέλη του 2027.
Νέα βάση δεδομένων bot προσφέρει πιο λεπτομερή έλεγχο στις επιχειρήσεις
Για εταιρικούς πελάτες, η Cloudflare λανσάρει επίσης τη BotBase, μια αναζητήσιμη βάση δεδομένων όλων των γνωστών bots ενσωματωμένη απευθείας στον πίνακα ελέγχου. Εμφανίζει πώς κάθε bot κατηγοριοποιείται και πώς χρησιμοποιεί το περιεχόμενο, είτε απλώς συνδέεται με σελίδες είτε τις αναπαραγάγει πλήρως.
Η Cloudflare αλλάζει επίσης τους κανόνες για τα πιστοποιημένα bots. Προηγουμένως, όλα τα πιστοποιημένα bots επιτρέπονταν αυτόματα. Εφεξής, η κατηγορία ενός bot καθορίζει αν λαμβάνει πρόσβαση. Η ετικέτα “Πιστοποιημένο” από μόνη της δεν θα επαρκεί πλέον: Οι διαχειριστές bot θα χρειάζεται να αποδεικνύουν ότι αναγνωρίζονται ειλικρινά και δεν καταχρώνται την πρόσβαση που τους δίνεται.
Πηγή: Cloudflare
