robots.txt i sitemapa - jak to powinno byc Opcje

[robert1974]

witam.
Pewnie problemy sa oczywiste, ale w googlach szukam i nie wiem jak to powinno byc.

na domenie mojadomena.com mam 4 strony strona1,2,3,4 w kazdej plik index.php i katalog /pics ze zdjeciami ktore strona wyswietla.

Czyli wchodzac na strone podaje sie :
http://mojadomena.com/strona1/
http://mojadomena.com/strona2/
http://mojadomena.com/strona3/
http://mojadomena.com/strona4/

Strony 1,2,3 sa gotowe i chcialbym by google je zaczal widziec i indexowac. strona4 chcialbym by byla niewidoczna dla Agentow.

Storzylem plik robots.txt w ktorym pisze tak:

User-agent: *
Disallow: /mojadomena.com/strona4/
Allow: /mojadomena.com/strona1/
Allow: /mojadomena.com/strona2/
Allow: /mojadomena.com/strona3/

Pytanie1: nie wiem czy to Allow jest konieczne, moze tylko Disallow dla strony4 by wystarczylo, a moze wlasnie przez to Allow robie jakis problem?


chce stworzyc sitemape, uzywam do tego narzedzia: https://www.xml-sitemaps.com/ (choc inne co probowalem robia to samo) i zawsze dostaje cos takiego:

<?xml version="1.0" encoding="UTF-8"?>
<urlset
xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9
http://www.sitemaps.org/schemas/sitemap/0....p.xsd">
<!-- created with Free Online Sitemap Generator www.xml-sitemaps.com -->

<url>
<loc>http://mojadomena.com/</loc> <-- tu jest poprawna domena oczywiscie
<lastmod>2014-12-27T09:02:17+00:00</lastmod>
<changefreq>daily</changefreq>
</url>
</urlset>


Pytanie2: wyobrazam sobie ze w takiej sitemapie powinnienem miec wszystkie podkatalogie i katalogii strony a nie tylko taka jedna linijke. I ze jakies narzedzie stworzy mi taka strukture, a ja z niej usune tylko strone4 z podkatalogami strony4.

Co ja robie zle, lub rozumuje zle?

dziekuje za pomoc.

Ten post edytował robert1974 20.01.2015, 22:33:37

[Pyton_000]

1. Robots.txt trzyma się zasady "Co nie jest zabronione jest dozwolone" więc Allow nie jest konieczne. Przydaje się gdy w wykluczonym katalogu chcesz indeksować coś.

2. A masz linki na stronie głównej domeny do podkatalogów? Robot sobie z kosmosu nie weźmie linków. Utwórz linki do podstron które chcesz żeby zindeksowało i odpal jeszcze raz.

[robert1974]

hm... o kurcze, to troche wyjasnia. bo ja w glownym katalogu nie mam zandego html / php z linkami do podstron. Tylko ze nie planowalem.

Dodalem prosta stronke w glownym katalogu i teraz zadzialalo lepiej dzieki za pomoc.

no i musze pomyslec zeby i ta glowna strona miala jakis kontent, bo zapene SEO calosci zalezy w duzej mierze od tej pierwszej.

[Pyton_000]

możesz zrobić subdomeny na tekatalogi wtedy na pewno będzie lepiej

[robert1974]

Ja juz to wszystko i tak mam w subdomenie takze nie.
Zrobie strone glowna, ale to troszke w przyszlosci.

Teraz na tapecie mam SEO i bezpieczenstwo, wiec pewnie bede niepokoil na te tematy

[trueblue]

Pytanie2: wyobrazam sobie ze w takiej sitemapie powinnienem miec wszystkie podkatalogie i katalogii strony a nie tylko taka jedna linijke. I ze jakies narzedzie stworzy mi taka strukture, a ja z niej usune tylko strone4 z podkatalogami strony4.

Wygeneruj sobie mapę skryptem php, albo statyczny plik, albo dynamiczny.
W robots.txt podaj adresy do map, można kilka.
Link w mapie może zawierać również lokalizację związanego z nim zdjęcia.

[robert1974]

Wygeneruj sobie mapę skryptem php, albo statyczny plik, albo dynamiczny.
W robots.txt podaj adresy do map, można kilka.
Link w mapie może zawierać również lokalizację związanego z nim zdjęcia.

jakims konkretnym skryptem php?
obecny sitemap wygenerowany www.xml-sitemaps.com zawiera po prostu link do strony glownej i 3 podstron. Zakladam (?) ze to co wewnatrz tych podstron to sobie juz google sam zaindeksuje, nie musze mu mowic gdzie sie znajduja obrazki czy fimy i jaka maja nazwe.

probuje doczytac co to znaczy statyczny albo dynamiczny.
linki mam zdefiniowane statyczne, jesli to o to chodzi. Nie zmieniaja sie.

w robots.txt dodalem wlasnie sitemap, dzieki.

[trueblue]

Własnym. Tak, aby wygenerować linki wewnętrzne i aby była zgodna z tym schematem:
https://support.google.com/webmasters/answe...080646&rd=1

Statyczna, to po prostu gotowy plik xml/txt.
Dynamiczna to xml generowany "na ekran".
Pierwszy generuje do pliku (i do tego pliku na serwerze podajesz url w robots.txt), drugi "na ekran", jedyna różnica.
Oprócz tego możesz zgłosić mapę w Google Webmasters Tools.

Jeśli masz dużo linków wewnętrznych lub struktura strony jest skomplikowana to warto stworzyć mapę witryny. Jeśli nie, to nie ma sensu.

Sprawdź co obecnie zaindeksował Google, w szukajce wpisz:
site:domena.pl

[robert1974]

Własnym. Tak, aby wygenerować linki wewnętrzne i aby była zgodna z tym schematem:
https://support.google.com/webmasters/answe...080646&rd=1

Statyczna, to po prostu gotowy plik xml/txt.
Dynamiczna to xml generowany "na ekran".
Pierwszy generuje do pliku (i do tego pliku na serwerze podajesz url w robots.txt), drugi "na ekran", jedyna różnica.
Oprócz tego możesz zgłosić mapę w Google Webmasters Tools.

Jeśli masz dużo linków wewnętrznych lub struktura strony jest skomplikowana to warto stworzyć mapę witryny. Jeśli nie, to nie ma sensu.

Sprawdź co obecnie zaindeksował Google, w szukajce wpisz:
site:domena.pl

1. poszukam jakiegos skryptu php do tego na sieci. Bo nie taki spec jestem jeszcze by generowac sitemapy wlasnym php skryptem
2. te programy online do generowania sitymapy generuja tylko linki do podstron, nie ma linkow do innych obiektow jak zdjecia czy filmy.
3. zglosilem sitemape w google tools
4. struktura strony jest prosta i linkow dozo nie ma.
5. jeszcze nic nie zaindeksowal, bo dopiero wczoraj zmienilem robots.txt by mogl to zrobic. Z tego co rozumiem moze to potrwac nawet pare dni.

[trueblue]

5. jeszcze nic nie zaindeksowal, bo dopiero wczoraj zmienilem robots.txt by mogl to zrobic. Z tego co rozumiem moze to potrwac nawet pare dni.

Indeksacja przebiega również bez istniejącej mapy witryny. Jeśli Google wie, że strona istnieje (a wie bo zgłosiłeś, mógłby też natrafić na linki prowadzące do niej na innych stronach), to zaindeksuje przebiegając po linkach wewnętrznych.
Tak jak pisałem, nie ma sensu tworzyć mapy witryny dla nieskomplikowanej struktury i małej liczby linków.

[robert1974]

na ta chwile po wipisaniu site:nazwadomenty w google dostaje tylko "Opis tego wyniku jest niedostępny z powodu robots.txt – Więcej informacji."
ale mam nadzieje, ze to jest stara informacja, i nowy robots.txt jest juz ok i pozwala docierac botom tam gdzie zefiniowalem.

apropos czy trzeba czy nie, to ja niestety nie wiem, i nie mam doswiadczenia. probuje robic wszystko to co pisza na stronach by z zerowego startu byc na 1szej stronie google w jakims rozsadnym czasie (3 miesiecy?). Przygoda

wciaz google nie zaindexowal, a dzis trzeci dzien sie rozpoczal.

[trueblue]

W Google Webmaster Tools jest funkcja "Pobierz jako robot", sprawdź czy nic go nie blokuje.

[robert1974]

hm.... bardzo ciekawe, nie wiem czy to przypadek, czy rzeczywiscie wlasnie TO pomoglo, ale zaraz jak uzywlem tego Fetch and Render jako Google to sie zaindexowaly bo widze je teraz w google. i site:mojadomena.com pokazuje to co powinna.
dziekuje!

Ten post edytował robert1974 22.01.2015, 12:50:17

[sidor]

https://www.xml-sitemaps.com/
Tutaj możesz wygenerować kod.