AIクローラーのrobots.txt設定例。GPTBot・ClaudeBot と Google-Extended・PerplexityBotを学習用と検索用に分けて書き、Cloudflare側の設定まで確かめる
AIクローラーを
カテゴリー
予約・問い合わせ・LINE連携などの
53件の記事