.htaccessとrobots.txtの最低限のポイント
トップページへ
※2021年12月 必要最低限の内容に全面改訂しました。
※細かい部分は記事内のリンク先サイト様をご覧のうえ、充分、注意して記述・設置して下さい。間違えるとサイトへのアクセス数に多大な影響を及ぼしますし、最悪、閲覧できなくなります。ご覧になった場合のいかなるトラブルにおいても、当管理人およびリンク先サイト様は責任を負いかねます。
.htaccessについて
参考にさせて頂いたサイト様
.htaccessファイルの書き方と設定・設置方法 [ホームページ作成] All About
アクセス制限(Order,Allow,Deny)を設定する │ TEAM T3A
htaccess/アクセス制限(IPアドレス・ホスト名) (cman.jp)
Q. Order allow, denyとは？
A. 最初に許可、次に拒否という順序の提示。
Allow from all
Allow・・・
deny from example.com
deny・・・
のように、allow文を書いてからdenyを書く
Q. コメントは？
A. #
Q. ラストは？
A. 必ず「空白行」を入れる。EOFのようなものと私は解釈
Q. 保存形式は？
A. UTF-8でBOMなし
Q. 対応サーバーは？
A. Apache(アパッチ)のみ
Q. 設置場所は？
A. 最上位(ルート)におけば、子ディレクトリにまで効果あり。ただ、各ディレクトリに設置することも可能で、子ディレクトリにも設置すれば、親よりも子の.htaccessの記述が優先される。
→言い換えればルートに置けば１つで済むし、各ディレクトリごと制御したければ各ディレクトリにアップロードすれば良い。
Q. .htaccess設置後、500 Internal Server Errorとなったら？
A. .htaccess内の記述ミスの可能性が高いとのこと。
.htaccessで使えるディレクティブ（命令）
個人的に使うディレクティブのみでリンク先は全てApache公式です。
.htaccessでは使えないディレクティブ
理由：対象がサーバ設定ファイル, バーチャルホストのみ
robots.txtについて
参考にさせて頂いたサイト様
Robots Exclusion Standard – Wikipedia
robots.txt ファイルを作成して送信する | Google 検索セントラル | Google Developers
注意点
・検索ボット(クローラー)への拘束力はなく、あくまでもボット側の協力が必要。よって、設置したからといって有効になるとは限らない
・robots.txtを設置していない→何も指示していないとボット側が判断する。
Q.コメントは？
A. #
Q. 保存形式は？
A. UTF-8
Q.設置場所は？
A.ルートドメインとサブドメインは可能。しかし、サブディレクトリは不可とのこと。
可
example.com/robots.txt
subdomain.example.com/robots.txt
不可
example.com/subdirectory/robots.txt
Q.サブディレクトリなど、設置できない場合の代用方法は？
A.メタタグ指定
Q. サブドメインごとに必要？
A. 必要
Q. User-agent: * は？
A. 全てのボットに対する指示。
Q. 例 Disallow: /*.webp$ と記述したら？
A. そのフォルダ内の gifファイル全てを走査しない
Q. 例 Disallow: / と記述したら？
A. 全ての走査を禁止にできる。よって、記述には充分注意する必要があります。
Q. 文字の大小は？
A. 区別される。
disallow: /file.asp
はfile.aspには適用されるが、FILE.aspには適用されない。
Q. robots.txtが正常に公開されているかどうかのテストは？
A. robots.txt テスターで robots.txt をテストする – Search Console ヘルプ (google.com)
関連記事
Webロボット/Webクローラー/Webスパイダーについてのメモ