当サイトでは.htaccessとmetaタグ（no index, no follow, no archive）による検索避けを行っています。

robot.txtは使用していません。理由はrobot.txtとmetaタグのno indexとの併用は（Google検索の場合）かえって逆効果である、とのGoogleの方のTwitter上のコメントを紹介、詳しく解説されている記事をウェブで見かけたためです。
元Googleの長山氏がTwitter上で書かれていたので情報は確かです。
詳しく知りたい方は『検索避け、robot.txt、no index』などで検索してみると当該記事が出てくるかと思います。

⚠︎以下は検索避けに関して個人の見解を長々語っているだけなので時間のない人はスルーしていいです。（追記2022/12/01）


とはいえ個人サイトの場合、ろくにSEO対策していなければ検索避けしていなくてもまず検索結果上位に表示されることはありませんし、そこへmetaタグを入れればなおのこと誰も来やしないんですけれど（笑）、検索にインデックスさせない設定ができる、あるいはコードやファイルを直接いじれるサーバーをご使用の方は、念には念を入れてすべて行っているという方がほとんどかと思います。

なぜrobot.txtとmetaタグのno indexとの併用が逆効果（検索結果に上がってしまう）になるのかの原理として、robot.txtでクローラーをブロックすると、そのページに書かれたmetaタグが読み込まれないために、結果として検索結果に表示されてしまうとのことです。
ただこれはGoogleの場合であり、クローラーによってはrobot.txtを無視してmetaタグだけを判断するということもあるようです。

PixivやTwitterなどでCP名を検索すれば二次小説が検索結果上位に上がってくる昨今、はたしてここまで隠れることに意義があるのか疑問に思わなくもありません。
ファイルをいじれないサーバーをご使用の方もいるだろうし、特に.htaccessなどは記述をミスるとサイトが真っ白になっちゃうし（私も一度経験があります……テストサイトなのでことなきを得ましたが）、マナーだからやって当然などとは私は言うつもりはありません。サイトを一から作るのも労力いるし、またそれをカスタマイズしてくのも大変でその上でファイルをいじるのは、ハードルが決して低くはない作業です。前述したようにサーバーによってはできないこともあるし、人によって事情はさまざまだと思うので、その辺は個人個人の判断でいいと私は考えています。
中には、わからない人は二次創作サイトを作るならという意見を言う人もいるんでしょうが、それはもう叩きたいだけなんじゃ、って気もします。ケータイの頃からサイトを簡単に作ることができる時代です。加えてPixivでも二次創作は賑わってます。無料サーバーやスマホ向けサービスのためファイルに書き込むことができない、またはファイルをいじるのが怖いから.htaccessはいじらず、メタタグと、あとはスマホ向けサイト制作サービスについてる「検索にインデックスさせない」にチェックを入れる、くらいのことしかやれないという方もいるでしょう。そういう方が、決して検索避けに関する観念が低いとは私は思いませんし、なら二次創作をしちゃいけないなんて言う権利は公式（版権元）以外にはありません。逆に、きちんと検索避けしていて公式に見つからないのであれば二次創作していいなんて理屈にもなり得ないんですから。
どちらの場合も、ただ公式が黙認されている（というより山ほどある二次創作に対しいちいち対処していられないのが現状かもしれませんが）というだけなんですから。訴える権利は公式（版権元）にしかないのですから、検索避けに関しても、対策が不十分だとか非難する二次創作者はいますが、本来はとやかく言う権利などありません。

検索避けが必要な理由……一次創作の場合は、過激なアダルト表現を含むサイトなどがそうでしょうか（あくまで個人の主観です）。

このブログは今のところ、過激なアダルト要素のない二次創作サイトなので、あくまで二次創作に関する検索避けに関してのみ言及します。
二次創作の場合、公式に黙って勝手に公式キャラを使って好きに作品を使っていることに対する負い目があるから……というのがまず一番の理由。次に、二次創作が嫌いな人が目に触れないよう配慮、でしょうか。

しかしどの世界にもコロナ時の自粛警察のように、自分の正義が一番と思っているネット上の警察はいるもの。
気を遣うべきはむしろ、公式よりも、公式以上にしい二次創作サイト持ちか、二次創作嫌いな原作ファンの目、なのかもしれません。


むろん、二次創作の検索避けに厳しいサイト持ちの方の意見もわかりますし、自分の方が正しいなどと言うつもりもありません。あくまでいち個人のいち意見です。


サーバーによりファイルやコードがいじれない、ハードルが高くて怖い、でも強固な検索避けをしたいという方は、後述しますがパスワードをかけるという方法もあります。パスワード保護はGoogleのジョン・ミューラー氏も有効な検索避けの方法の一つとして挙げられているようです。

参考までに言っておくと、当サイトはサーチサイト様に登録する前、robot.txtとmetaタグの併用をしてしまっていて、.htaccessは編集していませんでした。それでも、サイトを作成し始めてから数ヶ月は経ってましたが、サーチサイト様に登録するまでアクセス数は皆無でした。
というわけなので、そこまで敏感になることもないかなーという気がします。

もちろん、R指定やナマモノ（実写作品の二次創作、または俳優声優の創作物）の場合は注意が必要だと思いますが、それもパスワード保護してしまえば保護されたページはインデックスされることはないので、その上で検索避けをするか否か、または検索避けだけしてパスワード認証はしないか、などの判断はその人の自由であって、さまざまな事情を考慮せずに非難するのは違うかなと思うので……
あくまでご参考までに。