L’altro giorno, dopo aver letto questo post, mi è venuta la curiosità di andare a sbirciare in giro tra i file robots.txt di vari siti. Cosa sono i file robots.txt? Sono muri tirati su dagli amministratori di un sito internet per evitare che i motori di ricerca entrino in alcune stanze del sito stesso. In pratica servono per dire a Google, Yahoo e compagnia…
3 citazioni | fonte: Gery Palazzotto in un blog | leggi il post
Pazzo per Repubblica il 20 febbraio 2010
… con l'aiuto del sito di Gery Palazzotto:I file robots.txt… tirati su dagli amministratori di un sito internet per evitare che i motori di ricerca entrino in alcune stanze del sito stesso.… spider dei motori di ricerca un articolo (che nel caso specifico è…
pwd il 22 febbraio 2010
In Italia, pare un gesto da irresponsabili spiegare ai lettori che lo sciopero dei piloti tedeschi è finito perché un tribunale del lavoro ha costretto la Lufthansa…è solo colpa di B. I giornali, in Italia, sono anche questo, non dimentichiamolo. …
Salgalaluna il 23 febbraio 2010
… sito internet può nascondere delle pagine ai motori di ricerca, grazie al file “robots.txt”, un semplice file di testo in cui si indicano tutte le parti del sito che google deve ignorare. WPvideo 1.…