秋元@サイボウズラボ・プログラマー・ブログ: GoogleがHTMLフォームの送信先もインデックスすると発表

478 2

秋元@サイボウズラボ・プログラマー・ブログ: GoogleがHTMLフォームの送信先もインデックスすると発表

http://labs.cybozu.co.jp/blog/akky/archives/2008/04/google-goes-to-dee... 本文へ

（本文から引用）

張られているリンクをより多く見つける目的で、GooglebotにHTML Formを送信させて出てきたページもクロールさせる、という発表があった。
JavascriptやFlashの中から他ページへのリンクを抽出するというのは既に実施していて、今回はそれをページ上の入力フォームにも拡大するものだということ。いわゆるディープウェブ、見えないウェブといわれる領域への進出だ。
クロールされるフォームは以下のようなものに限定されるようだ。
GETメソッドであることrobot.txtなどで除外指定されていないことpasswordフィールドを持たないことuser, id, accountなどのフィールドを持たないこと
これらを満たすフォームに対して、クローラはいくつか適当な文字を入れてフォームを実行し、その結果新しいリンクが現れたらその先もクロール対象にする、ということ。
この方法で見つかったリンクはこれまでのPageRank計算には加算されず、クロール対象をより広げるために使われる。

この機能強化の影響だが、まずジェネレータ系や検索機能を持つサイトで、サブミットしないと情報が出てこなかったサイトで、よりGoogleの結果が増えそう...
続きを読む

この記事をクリップする

この記事をクリップしたユーザー一覧

monmonさん 2008/04/13 00:03
タグ：
> クロールされるフォームは以下のようなものに限定されるようだ。
>
> * GETメソッドであること
> * robot.txtなどで除外指定されていないこと
> * passwordフィールドを持たないこと
> * user, id, accountなどのフィールドを持たないこと
>
> これらを満たすフォームに対して、クローラはいくつか適当な文字を入れてフォームを実行し、その結果新しいリンクが現れたらその先もクロール対象にする、ということ。

googleはこんなところにもくるのか

この記事にコメント！

みんなのおすすめ商品（Amazon.co.jp）

　　あなたもアフィリエイトを始めませんか？　　　　


とある科学の超電磁砲 4―とある魔術の禁書目録外伝 (電撃コミックス) 69人がクリックしました著者：鎌池和馬出版社: M.Co.(角川グループパブリッシング)	きのう何食べた? 3 (モーニングKC) 37人がクリックしました著者：よしながふみ出版社: 講談社	NARUTO (巻ノ48) (ジャンプコミックス) 12人がクリックしました著者：岸本斉史出版社: 集英社