Google archiwizuje php z ajaxa, jak uniknąć Opcje

[timon27]

Dziś odkryłem że google zmieniając algorytmy zrobiło coś bardzo głupiego:
archiwizuje nie tylko strony po których porusza się użytkownik, ale również fragmenty wczytywane ajaxem.
Mam na stronie np. index.php kod w stylu:

[HTML] pobierz, plaintext 
wczytaj_przez_ajax('div.php','id_divu')
[HTML] pobierz, plaintext 

a google archiwizuje również div.php.
Nawet nie wiem jak to robi, bo wczytaj_przez_ajax to przecież moja własna funkcja.
W wynikach wyszukiwania pojawia się div.php i po jego kliknięciu pojawia się moja strona okrojona do diva, bez menu i wszystkich szablonów.

Jakieś pomysły jak najzgrabniej tego uniknąć?

Ten post edytował timon27 19.02.2014, 22:08:13

[markuz]

Tworzysz plik robots.txt a w nim umieszczasz:

Kod

User-agent: *
Disallow: /div.php

Ten post edytował markuz 20.02.2014, 09:02:00

[timon27]

Robots mam, nawet strefy klienta tam zablokowałem.
Po prostu nie pamiętałem (IMG:style_emoticons/default/smile.gif) .
Tak, myślę że tak najprościej.