https://www.devkuma.com/jp/tags/robots/ https://www.devkuma.com/jp/tags/robots/logo/180x180.jpg https://www.devkuma.com/jp/tags/robots/ Recent content in Robots on devkuma Hugo -- gohugo.io jp kc@example.com (kc kim) kc@example.com (kc kim) The devkuma https://www.devkuma.com/jp/docs/robots/ Sat, 17 Apr 2021 08:32:00 +0900 kc@example.com (kc kim) https://www.devkuma.com/jp/docs/robots/ <h2 id="本来の検索エンジンの動作方式">本来の検索エンジンの動作方式</h2> <ul> <li>インターネット検索エンジン排除標準(Robots Exclusion Protocol)である。</li> <li>クローラーというロボットがインターネットを巡回し、サイトの情報を収集する。</li> <li>インデクサーはクローラーが収集した情報を分析する。</li> <li>分析されたデータを基に、検索エンジンごとのアルゴリズムに従って検索結果を返す。</li> </ul> <h2 id="robotstxt-とは">robots.txt とは？</h2> <ul> <li><code>robots.txt</code> は、クローラーに「クロールするページ」または「クロールしないページ」を知らせるテキストファイルである。</li> <li>そのドメインの最上位ディレクトリに公開される。</li> <li><code>robots.txt</code> はまだ勧告であり、必ず守る義務はない。</li> </ul> <h2 id="robotstxt-形式">robots.txt 形式</h2> <ul> <li>User-agent: 検索ボット名</li> <li>Allow: アクセス許可設定(Googlebot のみに適用可能)</li> <li>Disallow: アクセス遮断設定</li> <li>Crawl-delay: 次回訪問までのディレイ(秒)</li> <li>Sitemap: サイトマップ指定</li> </ul> <h2 id="robotstxt-使用例">robots.txt 使用例</h2> <p><strong>すべての検索ボットにすべての文書へのアクセスを許可</strong></p> <div class="highlight"><pre tabindex="0" style="background-color:#f8f8f8;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;"><code class="language-text" data-lang="text"><span style="display:flex;"><span>User-agent: * </span></span><span style="display:flex;"><span>Allow: / </span></span></code></pre></div><p><code>*</code> はすべてのロボットを意味し、<code>/</code> はすべてのディレクトリを意味する。</p> <p><strong>すべての検索ボットにすべての文書へのアクセスを遮断</strong></p> <div class="highlight"><pre tabindex="0" style="background-color:#f8f8f8;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;"><code class="language-text" data-lang="text"><span style="display:flex;"><span>User-agent: * </span></span><span style="display:flex;"><span>Disallow: / </span></span></code></pre></div><p><strong>特定ディレクトリへのアクセスを許可</strong></p> <pre tabindex="0"><code>User-agent: Googlebot Allow: /foo/bar/ </code></pre><p><strong>特定ディレクトリへのアクセスを遮断</strong></p> <pre tabindex="0"><code>User-agent: Googlebot Disallow: /foo/bar/ </code></pre><p><strong>Googlebot だけ許可し、残りはすべて遮断</strong></p> <div class="highlight"><pre tabindex="0" style="background-color:#f8f8f8;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;"><code class="language-text" data-lang="text"><span style="display:flex;"><span>User-agent: Googlebot </span></span><span style="display:flex;"><span>Allow: / </span></span><span style="display:flex;"><span> </span></span><span style="display:flex;"><span>User-agent: * </span></span><span style="display:flex;"><span>Disallow: / </span></span></code></pre></div><h2 id="サイト負荷パフォーマンスの観点">サイト負荷(パフォーマンス)の観点</h2> <p>クローラー巡回によってサイト負荷が増加する場合、<code>robots.txt</code> で重要ではない大量のコンテンツをクローラー巡回から除外し、サイト負荷を減らし、重要なコンテンツへの巡回効率を向上させることができる。</p> <p>重要なコンテンツと重要ではないコンテンツを区別することは、SEO とサイト負荷の面でもよい。</p> <p>重要ではないコンテンツには次のようなものがある。</p> <ul> <li>検索エンジンにインデックスしなくてもよいページ</li> <li>価値が低いコンテンツページ</li> <li>同一コンテンツの複数ページ</li> <li>サイトに入れた広告のランディングページ</li> <li>限定された人だけに公開したいページ</li> <li>管理システムファイル</li> </ul> <h2 id="セキュリティ観点">セキュリティ観点</h2> <p><code>robots.txt</code> に「クロールしたいページ」または「クロールしないページ」を設定すると、限定された人だけに公開したいコンテンツが見えてしまうことがある。</p> <p><code>robots.txt</code> に管理システムファイルや限定公開ページを設定すると、検索エンジン結果には表示されないが、<code>robots.txt</code> には公開されるため直接見えてしまう。したがって、セキュリティ上重要な管理ファイルや特定の限定された人だけに公開したいページには、ログイン認証や IP アドレス制限など確実なアクセス制限を設ける必要がある。</p> <h2 id="参照">参照</h2> <ul> <li><a href="https://developers.google.com/search/docs/advanced/robots/intro?hl=ko" target="_blank" rel="noopener">Google 検索セントラル | Robots.txt 紹介<i class="fas fa-external-link-alt"></i></a></li> <li><a href="https://namu.wiki/w/robots.txt" target="_blank" rel="noopener">Namu Wiki: robots.txt<i class="fas fa-external-link-alt"></i></a></li> </ul> web SEO robots