Google toto ráno oznámil, že nahrál a zveřejnil Požadavek na komentáře k jeho Internet Engineering Task Force, aby formalizovala specifikaci protokolu pro vyčlenění botů poté, co byl tento protokol jakýmsi neformálním standardem pro celý internet po dvacet pět let.
 
Oznámení.
 
Google napsal na jeho blogu: „Společně s původním tvůrcem protokolu, správci webů a dalšími internetovými vyhledávači jsme zdokumentovali způsob, jakým je REP používáno u moderního internetu a nahráli jsme jej k IETF. Předložený REP náčrt reflektuje přes dvacet let zkušeností z praxe spoléhání se na robots.txt pravidla, které jsou využívány jak GoogleBotem, tak ostatními populárními procházeči, stejně tak jako asi půl miliardou webových stránek, které spoléhají na REP.“
 
Nic se nemění.
 
Zeptal jsem se Garyho Illyes ze společnosti Google, který byl součástí tohoto oznámení, jestli se tedy něco bude zásadně měnit a on odpověděl: „Ne, nic se měnit nebude.“
 
Takže proč tohle dělat?
 
Protože protokol vyčlenění botů nikdy nebyl formální standard, není tu žádná oficiální ani definitivní příručka, kterou by mohli lidé používat k aktualizacím či k ujištění, že specifický syntax musí být následován, aby se dosáhlo daných výsledků. Každý hlavní internetový vyhledávač adoptoval robots.txt jako příkazy pro procházeči, ale není to oficiální standard. A to se všechno nyní změní.
 
Google zveřejnil pro širokou veřejnost jeho robots.txt analyzátor.
 
S tímto Google oznámil, že otevírá pro širokou veřejnost jeho část robots.txt, který analyzuje robots.txt soubor. „Zveřejnili jsme naši C++ knihovnu, kterou používají naše produkční systémy k analýze a shodě pravidel v robots.txt souboru,“ uvedla společnost Google. Nyní můžete tuto knihovnu vidět na Githubu, dokonce i dnes, pokud chcete.
 
Proč nás to zajímá.
 
Nic specifického se dnes nemění, avšak s touto změnou přijde také krok, který z něj udělá formální standard, což otevírá dveře pro spoustu věcí a pro spoustu změn. Mějte na paměti, že internet používal tento standard po dvacet pět let, aniž by to byl někdy oficiální standard. Takže není zcela jasné, co se bude nebo co se může změnit v budoucnosti. Pro tento moment však platí, že pokud tvoříte vašeho vlastního procházeči, můžete použít analyzátor robots.txt od Google, který vám pomůže.