La protezione della rete e il servizio di ottimizzazione CloudFlair hanno dichiarato lunedì che il motore di ricerca AI utilizza il bot Stealth e altre strategie per evitare le linee guida senza crusco del sito Web del motore di ricerca AI, se il fatto è che se il fatto è che se le regole di Internet sono state violate per più di tre decenni, sono stati segnalati i servizi di protezione della rete e ottimizzazione.
UN Post di blogI ricercatori di CloudFlare affermano che la società ha ricevuto reclami da clienti che applicano le impostazioni ai robot del proprio sito. File di testo e app Web che hanno bloccato la confusione dell’applicazione Web da parte dei firewall hanno negato la raschiatura del bot attraverso i firewall. Nonostante questi passaggi, Cloudflair ha affermato che la confusione ha continuato ad accedere al contenuto dei siti.
I ricercatori hanno affermato di essere pronti per essere testati per se stessi e hanno scoperto che quando la confusione familiare ha affrontato il blocco da robot. File di testo o regole del firewall, la confusione ha cercato siti usando stealth bot, che segue più tecniche per mascherare la sua attività.
> 10.000 domini e pochi milioni di richieste
I ricercatori hanno scritto: “Questo crawler non divulgato ha usato più IP che non sono elencati nelle gamme IP ufficiali di confusione e ruotano i robot.text da questi IP a una risposta dal blocco e dal cloudflare”, hanno scritto i ricercatori. “Oltre alla rotazione dell’IPS, abbiamo osservato le richieste di ASN diversi nel tentativo di evitare i blocchi del sito Web.
I ricercatori hanno fornito la seguente immagine per illustrare la strategia che usavano.
Se vero, questa condotta diffonde le regole di Internet per più di tre decenni. Nel 1994, suggerito ingegnere Martizon Coaster Protocollo di esclusione robotChe ha fornito un formato amante della macchina per informare gli equipalatori che non erano consentiti su nessun sito particolare. I siti che hanno installato il semplice file robots.text nella parte superiore della loro homepage. Lo standard, che è stato ampiamente osservato da allora ed è stato approvato, è diventato uno standard ai sensi della task force formale di ingegneria Internet 2022IL
