Indexierung durch Googlebot

[Moritz]

Moin,

immer wieder lese ich in etlichen fachlich dafür konzipierten Bereichen über die Gestaltung einer robots.txt und der meta tags. Kann es zutreffend sein, dass eine Sperrung einer Seite in der robots.txt zwar den guten Bot darin hindert, diese Seite zu besuchen, eine Indexierung jedoch dennoch erfolgen könnte, sofern Verlinkungen auf jene Seite vorliegen und mein eigener Schutz im Head keinen meta tag "noindex, nofollow" aufweist?

Bspw. so:

Code: Alles auswählen

 <meta name="robots" content="noindex, nofollow" />

Oder ist das eher unwahrscheinlich oder gar falsch meinerseits interpretiert?

[Nils]

Was für 'ne Frage...
Es wäre mal interessant diese Frage mit einem Test zu klären.

Zu den Meta-Tags kann ich dir sagen das NOINDEX nicht heißt, dass Bots diese Seite nicht besuchen dürfen. Zumindest machen die das. NOINDEX heißt ja nur, nicht indexieren und das machen die lieben Bots dann auch nicht.
NOFOLLOW ist meiner Ansicht nach mehr oder weniger wirkungslos. Diese Links werden eindeutig verfolgt. Ob die fürs Ranking gewertet werden, ist eine andere Sache.

[Moritz]

Hallo Nils und @ All,

mein Gedanke ist, dass ich zwar per robots.txt eine Bitte äußere, eine betreffende Seite nicht aufzusuchen. Der Link von außen jedoch eine Indexierung möglichen machen könnte, da im Headbereich der betreffenden Seite bspw. ausgegeben wird:

Code: Alles auswählen

<meta name="ROBOTS" content="INDEX">

Was sollte die Suchmaschine davon abhalten, nicht zu indexieren?

Gilt robots.txt vor meta tag?