devkuma – Web

Sitemap

kc@example.com (kc kim) — Sat, 17 Apr 2021 08:32:00 +0900

Sitemap とは？

Google、Naver などの検索エンジンにサイトを包括的にインデックスさせるためのファイルである。基本的には URL が並んだファイルだと考えればよい。ボットはこのファイルを基にサイトを巡回する。

コンテンツのタイプや更新頻度などを指定できるが、最も重要なのは sitemap.xml のある位置である。sitemap.xml 以下のドメインの URL だけがクロールされるため、設置場所に注意する必要がある。基本的にはルートに置くのがよい。

Sitemap XML 形式

<?xml version="1.0" encoding="UTF-8"?>
<urlset>
  <url>
    <loc>https://www.devkuma.com/docs/java/static/</loc>
    <lastmod>2022-04-03T20:41:00+09:00</lastmod>
    <changefreq>monthly</changefreq>
    <priority>0.5</priority>
   </url>
</urlset>

タグ	必須/任意	説明
`<urlset>`	必須	全体を囲むタグで、現在のプロトコル標準を参照する。
`<url>`	必須
`<loc>`	必須	ページの URL。最後にスラッシュを含める必要があり、値は 2,048 文字以下で指定する。
`<lastmod>`	任意	ファイルの最終更新日。
`<changefreq>`	任意	ページ更新頻度。
`<priority>`	任意	URL 優先順位。 0.0 ~ 1.0 の値を指定できる。基本値は 0.5。

ページ更新頻度(changefreq)一覧:

always: アクセスするたびに内容が更新される
hourly: 1 時間に 1 回以下
daily: 1 日に 1 回以上
weekly: 1 週間に 1 回以上
monthly: 1 か月に 1 回以上
yearly: 1 年に 1 回以上
never: 定期的にクロールされる(更新しなくてもよいページ)

複数の Sitemap ファイルを使用する場合

URL が 50,000 以上になると、複数の Sitemap が必要になる。その場合、サイトマップインデックスファイルを作成し、サイトマップが複数あることをクローラーに知らせる。

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>https://www.devkuma.com/sitemap1.xml.gz</loc>
      <lastmod>2022-12-06T01:57:17+09:00</lastmod>
   </sitemap>
   <sitemap>
      <loc>https://www.devkuma.com/sitemap2.xml.gz</loc>
      <lastmod>2021-01-01</lastmod>
   </sitemap>
</sitemapindex>

タグ	必須/任意	説明
`<loc>`	必須	Sitemap ファイル名
`<lastmod>`	任意	ファイルの最終更新日

参考

sitemaps.org

robots.txt

kc@example.com (kc kim) — Sat, 17 Apr 2021 08:32:00 +0900

本来の検索エンジンの動作方式

インターネット検索エンジン排除標準(Robots Exclusion Protocol)である。
クローラーというロボットがインターネットを巡回し、サイトの情報を収集する。
インデクサーはクローラーが収集した情報を分析する。
分析されたデータを基に、検索エンジンごとのアルゴリズムに従って検索結果を返す。

robots.txt とは？

robots.txt は、クローラーに「クロールするページ」または「クロールしないページ」を知らせるテキストファイルである。
そのドメインの最上位ディレクトリに公開される。
robots.txt はまだ勧告であり、必ず守る義務はない。

robots.txt 形式

User-agent: 検索ボット名
Allow: アクセス許可設定(Googlebot のみに適用可能)
Disallow: アクセス遮断設定
Crawl-delay: 次回訪問までのディレイ(秒)
Sitemap: サイトマップ指定

robots.txt 使用例

すべての検索ボットにすべての文書へのアクセスを許可

User-agent: *
Allow: /

* はすべてのロボットを意味し、/ はすべてのディレクトリを意味する。

すべての検索ボットにすべての文書へのアクセスを遮断

User-agent: *
Disallow: /

特定ディレクトリへのアクセスを許可

User-agent: Googlebot
Allow: /foo/bar/

特定ディレクトリへのアクセスを遮断

User-agent: Googlebot
Disallow: /foo/bar/

Googlebot だけ許可し、残りはすべて遮断

User-agent: Googlebot
Allow: /

User-agent: *
Disallow: /

サイト負荷(パフォーマンス)の観点

クローラー巡回によってサイト負荷が増加する場合、robots.txt で重要ではない大量のコンテンツをクローラー巡回から除外し、サイト負荷を減らし、重要なコンテンツへの巡回効率を向上させることができる。

重要なコンテンツと重要ではないコンテンツを区別することは、SEO とサイト負荷の面でもよい。

重要ではないコンテンツには次のようなものがある。

検索エンジンにインデックスしなくてもよいページ
価値が低いコンテンツページ
同一コンテンツの複数ページ
サイトに入れた広告のランディングページ
限定された人だけに公開したいページ
管理システムファイル

セキュリティ観点

robots.txt に「クロールしたいページ」または「クロールしないページ」を設定すると、限定された人だけに公開したいコンテンツが見えてしまうことがある。

robots.txt に管理システムファイルや限定公開ページを設定すると、検索エンジン結果には表示されないが、robots.txt には公開されるため直接見えてしまう。したがって、セキュリティ上重要な管理ファイルや特定の限定された人だけに公開したいページには、ログイン認証や IP アドレス制限など確実なアクセス制限を設ける必要がある。

参照

Web

kc@example.com (kc kim) — Sun, 03 Apr 2022 18:02:00 +0900

Web とは？

インターネット使用時に最もよく目にする用語は、ワールドワイドウェブ(World Wide Web、WWW)だろう。Web は英単語の頭文字だけを取って WWW、または Web とも呼ばれる。Web は蜘蛛の巣という意味を持つ web を象徴している。

Web はグラフィックで実装されているため、情報検索が便利であることが大きな利点の 1 つである。画面にテキストとグラフィックを同時に表現でき、優れたユーザーインターフェースのおかげで、テキスト、グラフィック、サウンド、動画などをブラウザー上で簡単に扱えるようになった。

Web ブラウザー

Web ブラウザー(Web Browser)とは、ユーザーがインターネットを利用して Web サーバーのハイパーテキスト文書を閲覧できるようにするクライアントプログラムであり、文字だけでなくマルチメディア資料を処理できるハイパーメディアの機能も持っている。ユーザーが音声や映像情報を必要とするとき、必要なプログラムを呼び出して実行することで、Web のさまざまなリソースを扱うことができる。

Web ブラウザーが提供する基本的な機能には、Web ページを開くこと、最近訪問した URL(Uniform Resource Locator)の一覧提供、よく訪問する URL の記憶と管理、Web ページの保存と印刷などがある。この Web ブラウザーがなければ、いくらインターネットに接続されていても、インターネット上のホームページを見ることはできない。

Web ブラウザーの種類

Google Chrome.
Mozilla Firefox.
Chromium Microsoft Edge.
Opera ブラウザー
Vivaldi ブラウザー
Naver Whale
Brave ブラウザー

Web の動作方式

画像出典: http://tcpschool.com/webbasic/works

ユーザーがブラウザーに URL を入力する。
ブラウザーは DNS を通じてサーバーの IP アドレスを探す。
HTTP プロトコルを使用して HTTP リクエストメッセージを生成する。
TCP/IP 接続を通じて HTTP リクエストメッセージを送信する。
サーバーは HTTP プロトコルを活用して HTTP レスポンスメッセージを生成する。
TCP/IP 接続を通じて要求したコンピューターへ送信する。
到着した HTTP レスポンスメッセージは Web ページデータとして返され、Web ブラウザーによって出力されてユーザーが見られるようになる。

Web アクセシビリティの国際標準

Web アクセシビリティを高めるために考案された Web 標準は、標準的に使われる技術や規則を意味する。
Web 標準を定めるために W3C(World Wide Web Consortium)が設立された。
Web 標準として、構造言語である HTML、表現言語である CSS、動作言語である Script が指定された。

Forward と Redirect の違い

kc@example.com (kc kim) — Thu, 07 Apr 2022 01:19:00 +0900

Forward 方式

Forward は Web Container レベルでページ移動だけが行われる。実際には、Web ブラウザーは別のページへ移動したことを認識できない。そのため、Web ブラウザーには最初に呼び出した URL が表示され、移動先ページの URL 情報は確認できない。
現在実行中のページと forward によって呼び出されるページは、Request オブジェクトと Response オブジェクトを共有する。

Servlet から JSP へページ移動するときに使われる命令文

RequestDispatcher rd = request.getRequestDispatcher("test01.jsp");
rd.forward(request, response);

Redirect 方式

Redirect は Web Container に命令が入ると、Web ブラウザーに別のページへ移動するよう命令する。すると Web ブラウザーは URL を指定されたアドレスに変更し、そのアドレスへ移動する。別の Web Container にあるアドレスへ移動する。
新しいページでは Request と Response オブジェクトが新しく生成される。

Servlet から JSP へページ移動するときに使われる命令文

response.sendRedirect("test02.jsp");

出典

redirect, forward の違い