Cume Rinviate un File Aggiornatu o Novu Robots.txt

robots txt

A nostra agenzia gestisce cunsultazione di ricerca biulogica per parechji venditori SaaS in l'industria. Un cliente chì avemu principiatu pocu tempu fà cù una pratica abbastanza standard, piazzendu a so applicazione nantu à un sottudominiu è spustendu u so situ di brochure in u duminiu core. Questa hè una pratica standard postu chì permette à a vostra squadra di produzzione è à a vostra squadra di marketing di fà l'aggiornamenti secondu e necessità senza alcuna dipendenza da l'altru.

Cum'è un primu passu in l'analisi di a salute di a ricerca organica, avemu registratu sia u librettu sia i duminii d'applicazione in Webmasters. Hè quandu avemu identificatu un prublema immediata. Tutte e pagine di l'applicazione sò state bluccate da l'indexazione da i motori di ricerca. Navigamu versu a so entrata robots.txt in Webmasters è identificamu immediatamente u prublema.

Mentre si preparavanu per a migrazione, a so squadra di sviluppu ùn vulia micca chì u sottodominiu d'applicazione fussi indexatu da a ricerca, dunque ùn anu permessu l'accessu à i mutori di ricerca. U schedariu robots.txt hè un schedariu truvatu in a radica di u vostru situ - yourdomain.com/robots.txt - chì permette à u mutore di ricerca di sapè se duveranu o micca rastrellà u situ. Pudete scrive regule per permette o ùn permetta micca l'indexazione nantu à tuttu u situ o percorsi specifici. Pudete ancu aghjunghje una linea per specificà u vostru fugliale di sitemap.

lu Robots.txt u fugliale avia a seguita entrata chì impedisce à u situ di esse scansiatu è indiziatu in u ranking di i risultati di ricerca:

User-agent: * Disallow: /

Avia duvutu esse scrittu cusì:

User-agent: * Permettenu: /

Quest'ultima dà permessu à qualsiasi mutore di ricerca chì arrampica u situ chì ponu accede à qualsiasi repertoriu o schedariu in u situ.

Bellu ... allora avà chì u robots.txt u schedariu hè perfettu ma cumu a sa Google è quandu verificheranu di novu u situ? Ebbè, pudete assolutamente dumandà chì Google controlli u vostru robots.txt, ma ùn hè micca troppu intuitivu.

Navigate à a Google Search Console Search Console à u Crawl> Tester robots.txt. Puderete vede u cuntenutu di u più recente file robot.txt rastrellatu in u Tester. Se vulete rimandà u vostru fugliale robots.txt, fate cliccà Invia è un popup emergerà cun alcune opzioni.

rimettite robots.txt

L'ultima opzione hè Dumandate à Google d'aghjurnà. Cliccate nantu à u buttone blu Invia accantu à quella opzione è poi navigate torna à u Crawl> Tester robots.txt opzione di menu per ricaricà a pagina. Avà duvete vede u fugliale robots.txt aghjurnatu cù un stampu di data chì mostra chì hè statu rastrellatu di novu.

Se ùn vedite micca una versione aggiornata, pudete cliccà invià è selezziunà Vede a versione caricata per navigà versu u vostru propiu file robots.txt. Parechji sistemi cacheeranu stu schedariu. In fattu, IIS genera stu schedariu dinamicamente basatu annantu à e regule inserite da a so interfaccia d'utilizatore. Probabilmente duverete aghjurnà e regule è rinfriscà a cache per publicà un novu schedariu robots.txt.

robots-txt-tester

Chì ne pensi?

Stu situ utilizeghja Akismet per reducisce u puzzicheghju. Sapete ciò chì i dati di i vostri dati è processatu.