bookeyさんのタグ「googlebot」についてのクリップ一覧｜@nifty クリップ http://clip.nifty.com/users/bookey bookeyさんのタグ「googlebot」についてのクリップ一覧 Official Google Blog: The Robots Exclusion Protocol http://clip.nifty.com/entry?url=http%3A%2F%2Fgoogleblog.blogspot.com%2F2007%2F02%2Frobots-exclusion-protocol.html&title=Official%20Google%20Blog%3A%20The%20Robots%20Exclusion%20Protocol
This is the second in a short series of posts about the Robots Exclusion Protocol, the standard for controlling how web pages on your site are indexed. This post provides more details and examples of mechanisms to control access and indexing of your website by Google.

In the first post in this series, I introduced robots.txt and robots META tags, giving an overview of when to use them. In ... 続きを読む続きを読む

クリップへ追加するクリップへ追加する

]]> http://googleblog.blogspot.com/2007/02/robots-exclusion-protocol.html 58410 bookey 2007-02-23T00:23:54Z googlebot robot.txt Google Internet computer mixiがクローキングしちゃってる :: ぼくはまちちゃん！ http://clip.nifty.com/entry?url=http%3A%2F%2Fmxxi.hamachiya.com%2F2007%2F01%2Fmixi_10.html&title=mixi%E3%81%8C%E3%82%AF%E3%83%AD%E3%83%BC%E3%82%AD%E3%83%B3%E3%82%B0%E3%81%97%E3%81%A1%E3%82%83%E3%81%A3%E3%81%A6%E3%82%8B%20%3A%3A%20%E3%81%BC%E3%81%8F%E3%81%AF%E3%81%BE%E3%81%A1%E3%81%A1%E3%82%83%E3%82%93%EF%BC%81 すると、上からいくつかのところに「mixi(ﾐｸｼｨ)ﾓﾊﾞｲﾙ」の文字がでてくるよね！
うんうん…え、あれれ！

検索結果の要約のところに、しっかりとコンテンツの一部がでちゃってるよ！ なんで！ 続きを読む続きを読む

クリップへ追加するクリップへ追加する

]]> http://mxxi.hamachiya.com/2007/01/mixi_10.html 46788 bookey 2007-01-07T15:56:31Z mixi SEOspam googlebot Internet business