【SEO入門編】robots.txtの役割とSEOでの正しい使い方

2026年2月14日 2026年2月14日

マーケティングダイナー管理人

robots.txtとは？何のために使うファイルなのか

robots.txtとは、
検索エンジンのクローラーに対して「どのURLを巡回してよいか／よくないか」を伝えるためのファイル です。

サイトのルート（例：https://example.com/robots.txt）に設置され、
検索エンジンはサイトをクロールする前に、このファイルを最初に確認します。

主に Google などの検索エンジンは、
robots.txtの指示を参考にしながらクロールの範囲を判断します。

robots.txtはSEOに直接影響するのか？

robots.txt自体が、
検索順位を直接上げることはありません。

しかし、使い方を間違えると
SEOに致命的な悪影響を与える可能性がある 重要なファイルです。

クロールの最適化という役割

検索エンジンには、
サイトごとに「クロールできる量（クロールバジェット）」があります。

robots.txtを使うことで、

不要なURLへのクロールを止める
重要なページにクロールを集中させる

といった クロールの最適化 が可能になります。

robots.txtとnoindexの違いは？

ここは非常によく混同されるポイントです。

robots.txt

「クロールしないでください」と伝える
インデックス可否を直接指定するものではない

noindex

「インデックスしないでください」と伝える
ページを検索結果に出さない指示

⚠️ robots.txtでブロックしたページは、
検索エンジンが中身を見られないため、
noindexの指示も読み取れません。

そのため、

検索結果に出したくない → noindex
クロール自体を避けたい → robots.txt

と 役割を分けて考えることが重要 です。

robots.txtで制御するべきページ例

次のようなURLは、robots.txtで制御されることが多いです。

管理画面（/wp-admin/ など）
検索結果ページ（/?s= など）
並び替え・絞り込みURL
システム的に生成される不要なURL

これらはユーザー向けコンテンツではないため、
クロール対象から外してもSEO上問題ありません。

robots.txtでやってはいけないNG例

① 重要ページを誤ってブロックする

robots.txtは影響範囲が大きいため、

Disallow: /

のような記述を入れると、
サイト全体がクロールされなくなる 危険があります。

② インデックスさせたくないページをrobots.txtだけで止める

「検索結果に出したくない」ページを
robots.txtだけで制御するのはNGです。

この場合は、

noindex
もしくはページ削除＋301/410

を使うべきです。

WordPressでのrobots.txt運用の考え方

WordPressでは、
robots.txtを 直接編集しなくても仮想的に出力 される場合があります。

大切なのは、

今どんな内容が出力されているか
不要なDisallowが入っていないか

を一度確認することです。

SEOプラグインを使っている場合も、
初期設定のまま放置しない ことが重要です。

Search Consoleで必ず確認したいポイント

robots.txtを設定・変更したら、
Search Consoleで次の点を確認しましょう。

robots.txtの取得エラーがないか
ブロックしているURLが意図通りか
クロールエラーが増えていないか

設定ミスは、
Search Consoleを見ないと気づけないことが多い です。

まとめ：robots.txtは「強力だが慎重に使う」

robots.txtは、

クロールを最適化できる
不要なURLを整理できる

という強力なSEO調整ツールです。

一方で、

設定ミスの影響が大きい
noindexとの役割を誤解しやすい

という側面もあります。

基本は、

クロール制御 → robots.txt
インデックス制御 → noindex

この考え方を守ることで、
SEOの土台を安全に整えることができます。

投稿者プロフィール

マーケティングダイナー管理人

本サイトの管理人です。サイトの運営と記事執筆も行っています。