.htaccessとrobots.txt の最低限のポイント

※2021年12月 必要最低限の内容に全面改訂しました。

※細かい部分は記事内のリンク先サイト様をご覧のうえ、充分、注意して記述・設置して下さい。間違えるとサイトへのアクセス数に多大な影響を及ぼしますし、最悪、閲覧できなくなります。ご覧になった場合のいかなるトラブルにおいても、当管理人およびリンク先サイト様は責任を負いかねます。

 

.htaccessについて

参考にさせて頂いたサイト様

.htaccessファイルの書き方と設定・設置方法 [ホームページ作成] All About

アクセス制限(Order,Allow,Deny)を設定する │ TEAM T3A

htaccess/アクセス制限(IPアドレス・ホスト名) (cman.jp)

Q. Order allow, denyとは?

A. 最初に許可、次に拒否という順序の提示。

Allow from all

Allow・・・

deny from example.com

deny・・・

のように、allow文を書いてからdenyを書く

 

Q. コメントは?

A. #

Q. ラストは?

A. 必ず「空白行」を入れる。EOFのようなものと私は解釈

Q. 保存形式は?

A. UTF-8でBOMなし

Q. 対応サーバーは?

A. Apache(アパッチ)のみ

Q. 設置場所は?

A. 最上位(ルート)におけば、子ディレクトリにまで効果あり。ただ、各ディレクトリに設置することも可能で、子ディレクトリにも設置すれば、親よりも子の.htaccessの記述が優先される。

→言い換えればルートに置けば1つで済むし、各ディレクトリごと制御したければ各ディレクトリにアップロードすれば良い。

Q. .htaccess設置後、500 Internal Server Errorとなったら?

A. .htaccess内の記述ミスの可能性が高いとのこと。

 

robots.txtについて

参考にさせて頂いたサイト様

Robots Exclusion Standard – Wikipedia

robots.txt ファイルを作成して送信する | Google 検索セントラル  |  Google Developers

注意点

・検索ボット(クローラー)への拘束力はなく、あくまでもボット側の協力が必要。よって、設置したからといって有効になるとは限らない

・robots.txtを設置していない→何も指示していないとボット側が判断する。

 

Q.コメントは?

A. #

Q. 保存形式は?

A. UTF-8

Q.設置場所は?

A.ルートドメインとサブドメインは可能。しかし、サブディレクトリは不可とのこと。

example.com/robots.txt

subdomain.example.com/robots.txt

不可

example.com/subdirectory/robots.txt

Q.サブディレクトリなど、設置できない場合の代用方法は?

A.メタタグ指定

Q. サブドメインごとに必要?

A. 必要

Q. User-agent: * は?

A. 全てのボットに対する指示。

Q. 例 Disallow: /*.gif$ と記述したら?

A. そのフォルダ内の gifファイル全てを走査しない

Q. 例 Disallow: / と記述したら?

A. 全ての走査を禁止にできる。よって、記述には充分注意する必要があります。

Q. 文字の大小は?

A. 区別される。

disallow: /file.asp

はfile.aspには適用されるが、FILE.aspには適用されない。

Q. robots.txtが正常に公開されているかどうかのテストは?

A. robots.txt テスターで robots.txt をテストする – Search Console ヘルプ (google.com)

 

関連記事

Webロボット/Webクローラー/Webスパイダーについてのメモ

 

この記事のQRコード
[ ドメイン 関係の記事 ]へもどる


7950
amazonでドメインと検索した結果
*該当しない場合があります