5月2日にYahoo! Searchの公式ブログで発表された「robots-nocontent」タグは、ページに含まれるコンテンツのうち、重要なものだけにクローラを集中させるためのもので、タグを追加したセクションにYahoo! Searchのクローラは反応しない。たとえばナビゲーション用のメニューや広告など、クローラが収集しても意味のないセクションに対して追加する。ブログでは以下のような形で除外したいコンテンツを囲む例が紹介されている。

<div class="robots-nocontent"> ～ </div>
<p class="robots-nocontent"> ～ </p>

　Yahoo! Searchは、この新しいタグによって、検索でサイト内の正しいページがヒットするようになり、トラフィックとコンバージョンの両方をアップするためには、こうした適切なターゲティングとマッチングが重要だとしている。

　しかし、このタグついては現在のところ賛否両論となっており、GoogleやMicrosoftのLive Searchが正式に追従する動きは出ていない。検索エンジン情報サイトのsearch engine landでは、Danny Sullivan氏が、robots-nocontentタグはヤフーが独自に定義したものであることを強調している。また、このSullivan氏の記事に対して、GoogleのエンジニアであるMatt Cutts氏は「個人的に評価する」としながら、robots-nocontentタグで囲まれたセクションに含まれるリンクの扱いが不明確な点についての見解を寄せている。こうした反応に対して、Yahoo! Searchは公式ブログで、このタグは該当セクションに含まれるリンクの取り扱いについては影響を与えないという情報を付け加えた。また、このタグの利用は「クローキング（cloaking）」ではない点も強調している（クローキングは、通常のサイト訪問者が見るページと別のページへクローラを誘導すること）。

　目的は明確であるものの、このタグが有効なサイトは、一部の大量なコンテンツを抱えるサイトだけに限られるのではないかとの見方も出ており、その導入についてはこれからも議論を重ねていく必要がありそうだ。

"Introducing Robots-Nocontent for Page Sections" （Yahoo! Search Blog）
参考記事：
"Yahoo Supports New Robots-Nocontent Tag To Block Indexing Within A Page"（search engine land）
「Yahoo!、検索の向上を目指し新タグ導入」（Japan.internet.com）