Cloudflare Pages Functionsのミドルウェアで、ホストの統一（apex・pages.devからwwwへ）と末尾スラッシュを1回の301にまとめる実装と、壊さないためのテスト。Nodeのテスト、wrangler pages dev、本番の転送回数の数え方まで

// www なし・yamayamabloglink.pages.devへのアクセスを、同じパスとクエリのまま
// https://www.yamayamabloglink.com へ 301 で送る。正式なアドレスを1つにそろえて、検索の評価を分散させないため。
const CANONICAL = "www.yamayamabloglink.com";
// 転送するホスト。デプロイごとの確認用アドレス（<id>.yamayamabloglink.pages.dev）は確認に使うので対象外
const REDIRECT_HOSTS = new Set(["yamayamabloglink.com", "yamayamabloglink.pages.dev"]);

// ---- ボットの訪問記録（GEO・LLMO の計測用）----
// クローラーの User-Agent か、下の計測対象ファイルへのアクセスだけを Workers Analytics Engine（binding: BOTLOG）へ1件書く。
// 応答・転送には一切影響させない（失敗しても握りつぶす）。IP は丸ごとは保存せず /24（IPv4）・/48（IPv6）だけ。
// 先に書いたものから順に照合する（Googlebot-Image を Googlebot より前に置く、など）。
const BOTS = [
  ["OAI-SearchBot", /oai-searchbot/i], ["ChatGPT-User", /chatgpt-user/i], ["GPTBot", /gptbot/i],
  ["Claude-SearchBot", /claude-searchbot/i], ["Claude-User", /claude-user/i], ["ClaudeBot", /claudebot/i],
  ["PerplexityBot", /perplexitybot/i],
  ["Googlebot-Image", /googlebot-image/i], ["Googlebot", /googlebot/i],
  ["Bingbot", /bingbot/i],
  // 上のどれでもないクローラー
  // "bot/1.0" のような名前＋バージョンの形だけを拾う（Cubot などスマホの機種名で人を誤判定しないため）
  ["other-bot", /bot\/|bot;|\bbot\b|crawler|spider|crawl|fetcher|scrapy|python-requests|go-http-client|headlesschrome|curl\/|wget\//i],
];
const WATCH_PATHS = new Set(["/llms.txt", "/llms-full.txt", "/robots.txt", "/sitemap-index.xml", "/sitemap-0.xml"]);

function botNameOf(ua) {
  for (const [name, re] of BOTS) if (re.test(ua)) return name;
  return "";
}

// IPv4 は /24、IPv6 は /48 に丸める（個人を特定できる完全な IP は残さない）
function ipPrefix(ip) {
  if (!ip) return "";
  if (ip.includes(".") && !ip.includes(":")) {
    const p = ip.split(".");
    return p.length === 4 ? `${p[0]}.${p[1]}.${p[2]}.0/24` : "";
  }
  if (ip.includes(":")) {
    const [head, tail = ""] = ip.split("::");
    const h = head ? head.split(":") : [];
    const t = tail ? tail.split(":") : [];
    const full = ip.includes("::") ? [...h, ...Array(Math.max(0, 8 - h.length - t.length)).fill("0"), ...t] : h;
    return `${full.slice(0, 3).map((x) => (x || "0").toLowerCase()).join(":")}::/48`;
  }
  return "";
}

function logBot(request, env, url, status) {
  try {
    const ds = env && env.BOTLOG;
    if (!ds || typeof ds.writeDataPoint !== "function") return;
    const ua = request.headers.get("user-agent") || "";
    const bot = botNameOf(ua);
    if (!bot && !WATCH_PATHS.has(url.pathname)) return;
    const name = bot || "(not-bot)";
    const cf = request.cf || {};
    ds.writeDataPoint({
      indexes: [name],
      blobs: [
        name, // blob1 ボット名
        url.pathname.slice(0, 512), // blob2 パス
        ua.slice(0, 256), // blob3 User-Agent
        String(cf.asn ?? ""), // blob4 ASN
        String(cf.asOrganization ?? "").slice(0, 128), // blob5 ASN の組織名
        ipPrefix(request.headers.get("cf-connecting-ip") || ""), // blob6 IP の /24・/48
        String(status), // blob7 応答ステータス
        url.hostname, // blob8 ホスト（転送元かどうかの判別用）
        String(cf.country ?? ""), // blob9 国
      ],
      doubles: [1],
    });
  } catch (_) {
    // 記録の失敗はサイトの動作に関係させない
  }
}

export async function onRequest({ request, next, env }) {
  const url = new URL(request.url);
  if (REDIRECT_HOSTS.has(url.hostname)) {
    const to = new URL(url);
    to.hostname = CANONICAL;
    to.protocol = "https:";
    to.port = "";
    // 末尾スラッシュも同時に付けて、転送を1回で済ませる（拡張子のあるファイルは対象外）
    if (!to.pathname.endsWith("/") && !/\.[a-z0-9]+$/i.test(to.pathname)) to.pathname += "/";
    const res = Response.redirect(to.toString(), 301);
    logBot(request, env, url, 301);
    return res;
  }
  const res = await next();
  logBot(request, env, url, res.status);
  return res;
}

// functions/_middleware.js を Node の組み込みテストで確かめる（Cloudflare なしで動く部分だけ）
import { test } from "node:test";
import assert from "node:assert/strict";
// MW を指定すると、別のファイル（わざと壊した版など）を試せる
const { onRequest } = await import(process.env.MW ?? new URL("../functions/_middleware.js", import.meta.url).href);

// next() は「静的ファイルを返した」ことにする偽物。呼ばれたかどうかを数える
function ctx(url, { ua = "Mozilla/5.0", env = {} } = {}) {
  const calls = { next: 0 };
  const request = new Request(url, { headers: { "user-agent": ua, "cf-connecting-ip": "203.0.113.45" } });
  const next = async () => { calls.next++; return new Response("ok", { status: 200 }); };
  return { context: { request, next, env }, calls };
}

const cases = [
  // [入力URL, 期待する Location（null なら転送しない）]
  ["https://yamayamabloglink.com/about", "https://www.yamayamabloglink.com/about/"],
  ["https://yamayamabloglink.com/about/?utm_source=x", "https://www.yamayamabloglink.com/about/?utm_source=x"],
  ["http://yamayamabloglink.pages.dev:8080/feed", "https://www.yamayamabloglink.com/feed/"],
  ["https://yamayamabloglink.com/robots.txt", "https://www.yamayamabloglink.com/robots.txt"],
  ["https://yamayamabloglink.com/", "https://www.yamayamabloglink.com/"],
  ["https://www.yamayamabloglink.com/about", null],
  ["https://abc123.yamayamabloglink.pages.dev/about", null],
];

for (const [input, expected] of cases) {
  test(`${input} -> ${expected ?? "転送しない"}`, async () => {
    const { context, calls } = ctx(input);
    const res = await onRequest(context);
    if (expected) {
      assert.equal(res.status, 301);
      assert.equal(res.headers.get("location"), expected);
      assert.equal(calls.next, 0, "転送するときは静的ファイルまで進まない");
    } else {
      assert.equal(res.status, 200);
      assert.equal(calls.next, 1);
    }
  });
}

test("BOTLOG が無い環境（手元など）でも応答は変わらない", async () => {
  const { context } = ctx("https://www.yamayamabloglink.com/llms.txt", { ua: "GPTBot/1.1" });
  const res = await onRequest(context);
  assert.equal(res.status, 200);
});

test("BOTLOG があればボットの訪問を1件書く", async () => {
  const points = [];
  const env = { BOTLOG: { writeDataPoint: (p) => points.push(p) } };
  const { context } = ctx("https://yamayamabloglink.com/llms.txt", { ua: "Mozilla/5.0 (compatible; GPTBot/1.1)", env });
  const res = await onRequest(context);
  assert.equal(res.status, 301);
  assert.equal(points.length, 1);
  assert.deepEqual(points[0].blobs.slice(0, 2), ["GPTBot", "/llms.txt"]);
  assert.equal(points[0].blobs[5], "203.0.113.0/24", "IP は /24 に丸める");
  assert.equal(points[0].blobs[6], "301");
});

test("人のアクセスで、計測対象外のパスは書かない", async () => {
  const points = [];
  const env = { BOTLOG: { writeDataPoint: (p) => points.push(p) } };
  const { context } = ctx("https://www.yamayamabloglink.com/about/", { env });
  await onRequest(context);
  assert.equal(points.length, 0);
});

test("記録が失敗しても応答は壊れない", async () => {
  const env = { BOTLOG: { writeDataPoint: () => { throw new Error("down"); } } };
  const { context } = ctx("https://www.yamayamabloglink.com/robots.txt", { ua: "ClaudeBot/1.0", env });
  const res = await onRequest(context);
  assert.equal(res.status, 200);
});

✔ https://yamayamabloglink.com/about -> https://www.yamayamabloglink.com/about/ (10.467833ms)
✔ https://yamayamabloglink.com/about/?utm_source=x -> https://www.yamayamabloglink.com/about/?utm_source=x (0.156417ms)
✔ http://yamayamabloglink.pages.dev:8080/feed -> https://www.yamayamabloglink.com/feed/ (0.166833ms)
✔ https://yamayamabloglink.com/robots.txt -> https://www.yamayamabloglink.com/robots.txt (0.089208ms)
✔ https://yamayamabloglink.com/ -> https://www.yamayamabloglink.com/ (0.160458ms)
✔ https://www.yamayamabloglink.com/about -> 転送しない (0.391959ms)
✔ https://abc123.yamayamabloglink.pages.dev/about -> 転送しない (0.113042ms)
✔ BOTLOG が無い環境（手元など）でも応答は変わらない (0.080083ms)
✔ BOTLOG があればボットの訪問を1件書く (0.756042ms)
✔ 人のアクセスで、計測対象外のパスは書かない (0.664209ms)
✔ 記録が失敗しても応答は壊れない (0.160875ms)
ℹ tests 11
ℹ pass 11
ℹ fail 0

✖ https://yamayamabloglink.com/about -> https://www.yamayamabloglink.com/about/ (9.528709ms)
✖ http://yamayamabloglink.pages.dev:8080/feed -> https://www.yamayamabloglink.com/feed/ (0.210042ms)
ℹ pass 9
ℹ fail 2

npx [email protected] pages dev dist --port 8788 --compatibility-date 2026-10-01

✨ Parsed 19 valid redirect rules.
✨ Parsed 6 valid header rules.
[wrangler:info] Ready on http://localhost:8788

#!/bin/bash
# wrangler pages dev（http://localhost:8788）に Host ヘッダーを変えて当て、1回目の応答だけを見る
B=http://localhost:8788
check () { # $1=Host $2=パス
  printf '%-28s %-34s -> ' "$1" "$2"
  curl -s -o /dev/null -H "Host: $1" -w '%{http_code} %{redirect_url}\n' "$B$2"
}
check yamayamabloglink.com          /about
check yamayamabloglink.com          "/about/?utm_source=x"
check yamayamabloglink.pages.dev    /feed
check yamayamabloglink.com          /robots.txt
check abc123.yamayamabloglink.pages.dev /about/
check www.yamayamabloglink.com      /about/
check www.yamayamabloglink.com      /about
check www.yamayamabloglink.com      /about/index.html
check www.yamayamabloglink.com      /feed
check www.yamayamabloglink.com      /category/likelove/
check www.yamayamabloglink.com      /sitemap.xml
check www.yamayamabloglink.com      /no-such-page/

yamayamabloglink.com         /about                             -> 301 https://www.yamayamabloglink.com/about/
yamayamabloglink.com         /about/?utm_source=x               -> 301 https://www.yamayamabloglink.com/about/?utm_source=x
yamayamabloglink.pages.dev   /feed                              -> 301 https://www.yamayamabloglink.com/feed/
yamayamabloglink.com         /robots.txt                        -> 301 https://www.yamayamabloglink.com/robots.txt
abc123.yamayamabloglink.pages.dev /about/                            -> 200 
www.yamayamabloglink.com     /about/                            -> 200 
www.yamayamabloglink.com     /about                             -> 308 http://localhost:8788/about/
www.yamayamabloglink.com     /about/index.html                  -> 308 http://localhost:8788/about/
www.yamayamabloglink.com     /feed                              -> 301 http://localhost:8788/feed/
www.yamayamabloglink.com     /category/likelove/                -> 301 http://localhost:8788/category/bridal/
www.yamayamabloglink.com     /sitemap.xml                       -> 301 http://localhost:8788/sitemap-index.xml
www.yamayamabloglink.com     /no-such-page/                     -> 404

// 転送を1回ずつたどり、最終的なURL・ステータス・転送の回数を出す
// 使い方: node hops.mjs URL...
const MAX = 5;
for (const start of process.argv.slice(2)) {
  let url = start;
  const chain = [];
  for (let i = 0; i <= MAX; i++) {
    const res = await fetch(url, { method: "HEAD", redirect: "manual" });
    chain.push(res.status);
    const loc = res.headers.get("location");
    if (res.status < 300 || res.status >= 400 || !loc) break;
    url = new URL(loc, url).href; // 相対の Location は、いまのURLを基準に解決する
  }
  const hops = chain.length - 1;
  console.log(`${hops > 1 ? "注意" : "  OK"} ${start}\n     ${chain.join(" → ")} （転送${hops}回）→ ${url}`);
}

  OK https://yamayamabloglink.com/about
     301 → 200 （転送1回）→ https://www.yamayamabloglink.com/about/
  OK https://www.yamayamabloglink.com/about
     308 → 200 （転送1回）→ https://www.yamayamabloglink.com/about/
注意 https://yamayamabloglink.com/category/likelove/
     301 → 301 → 200 （転送2回）→ https://www.yamayamabloglink.com/category/bridal/
注意 https://yamayamabloglink.pages.dev/sitemap.xml
     301 → 301 → 200 （転送2回）→ https://www.yamayamabloglink.com/sitemap-index.xml
注意 http://yamayamabloglink.com/about/
     301 → 301 → 200 （転送2回）→ https://www.yamayamabloglink.com/about/