robots.txt i sitemapa - jak to powinno byc Opcje

[robert1974]

witam.
Pewnie problemy sa oczywiste, ale w googlach szukam i nie wiem jak to powinno byc.

na domenie mojadomena.com mam 4 strony strona1,2,3,4 w kazdej plik index.php i katalog /pics ze zdjeciami ktore strona wyswietla.

Czyli wchodzac na strone podaje sie :
http://mojadomena.com/strona1/
http://mojadomena.com/strona2/
http://mojadomena.com/strona3/
http://mojadomena.com/strona4/

Strony 1,2,3 sa gotowe i chcialbym by google je zaczal widziec i indexowac. strona4 chcialbym by byla niewidoczna dla Agentow.

Storzylem plik robots.txt w ktorym pisze tak:

User-agent: *
Disallow: /mojadomena.com/strona4/
Allow: /mojadomena.com/strona1/
Allow: /mojadomena.com/strona2/
Allow: /mojadomena.com/strona3/

Pytanie1: nie wiem czy to Allow jest konieczne, moze tylko Disallow dla strony4 by wystarczylo, a moze wlasnie przez to Allow robie jakis problem?


chce stworzyc sitemape, uzywam do tego narzedzia: https://www.xml-sitemaps.com/ (choc inne co probowalem robia to samo) i zawsze dostaje cos takiego:

<?xml version="1.0" encoding="UTF-8"?>
<urlset
xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9
http://www.sitemaps.org/schemas/sitemap/0....p.xsd">
<!-- created with Free Online Sitemap Generator www.xml-sitemaps.com -->

<url>
<loc>http://mojadomena.com/</loc> <-- tu jest poprawna domena oczywiscie
<lastmod>2014-12-27T09:02:17+00:00</lastmod>
<changefreq>daily</changefreq>
</url>
</urlset>


Pytanie2: wyobrazam sobie ze w takiej sitemapie powinnienem miec wszystkie podkatalogie i katalogii strony a nie tylko taka jedna linijke. I ze jakies narzedzie stworzy mi taka strukture, a ja z niej usune tylko strone4 z podkatalogami strony4.

Co ja robie zle, lub rozumuje zle?

dziekuje za pomoc.

Ten post edytował robert1974 20.01.2015, 22:33:37

[trueblue]

Własnym. Tak, aby wygenerować linki wewnętrzne i aby była zgodna z tym schematem:
https://support.google.com/webmasters/answe...080646&rd=1

Statyczna, to po prostu gotowy plik xml/txt.
Dynamiczna to xml generowany "na ekran".
Pierwszy generuje do pliku (i do tego pliku na serwerze podajesz url w robots.txt), drugi "na ekran", jedyna różnica.
Oprócz tego możesz zgłosić mapę w Google Webmasters Tools.

Jeśli masz dużo linków wewnętrznych lub struktura strony jest skomplikowana to warto stworzyć mapę witryny. Jeśli nie, to nie ma sensu.

Sprawdź co obecnie zaindeksował Google, w szukajce wpisz:
site:domena.pl

[robert1974]

Własnym. Tak, aby wygenerować linki wewnętrzne i aby była zgodna z tym schematem:
https://support.google.com/webmasters/answe...080646&rd=1

Statyczna, to po prostu gotowy plik xml/txt.
Dynamiczna to xml generowany "na ekran".
Pierwszy generuje do pliku (i do tego pliku na serwerze podajesz url w robots.txt), drugi "na ekran", jedyna różnica.
Oprócz tego możesz zgłosić mapę w Google Webmasters Tools.

Jeśli masz dużo linków wewnętrznych lub struktura strony jest skomplikowana to warto stworzyć mapę witryny. Jeśli nie, to nie ma sensu.

Sprawdź co obecnie zaindeksował Google, w szukajce wpisz:
site:domena.pl

1. poszukam jakiegos skryptu php do tego na sieci. Bo nie taki spec jestem jeszcze by generowac sitemapy wlasnym php skryptem (IMG:style_emoticons/default/smile.gif)
2. te programy online do generowania sitymapy generuja tylko linki do podstron, nie ma linkow do innych obiektow jak zdjecia czy filmy.
3. zglosilem sitemape w google tools
4. struktura strony jest prosta i linkow dozo nie ma.
5. jeszcze nic nie zaindeksowal, bo dopiero wczoraj zmienilem robots.txt by mogl to zrobic. Z tego co rozumiem moze to potrwac nawet pare dni.

[trueblue]

5. jeszcze nic nie zaindeksowal, bo dopiero wczoraj zmienilem robots.txt by mogl to zrobic. Z tego co rozumiem moze to potrwac nawet pare dni.

Indeksacja przebiega również bez istniejącej mapy witryny. Jeśli Google wie, że strona istnieje (a wie bo zgłosiłeś, mógłby też natrafić na linki prowadzące do niej na innych stronach), to zaindeksuje przebiegając po linkach wewnętrznych.
Tak jak pisałem, nie ma sensu tworzyć mapy witryny dla nieskomplikowanej struktury i małej liczby linków.