LLMO・AIOの観点を、ビルド後のHTMLで点検するスクリプト

// ---- LLMO・AIO 用に読んでおくもの ----
const dataNosnippet = $('[data-nosnippet]').length;
// 見える文字（script・style・noscript・template を除いた body の文字）
const $v = cheerio.load(html);
$v('script, style, noscript, template, [hidden]').remove();
const visibleText = norm($v('body').text());
// 本文エリア：<main>、無ければ最初の<article>。ナビ・目次・ヘッダー・フッター・aside は除いて数える
$v('nav, header, footer, aside, .toc').remove();
const $main = $v('main').first();
const hasMainOrArticle = $v('main, article').length > 0;
const mainText = norm(($main.length ? $main : $v('article').first()).text());
// 記事本文の入れ物（このブログでは article 内の .prose。他のサイトでは作りに合わせて変える）
const $body = $('article .prose, article [itemprop="articleBody"], .post-content, .entry-content').first();
const firstP = $body.length ? $body.children('p').first().text().trim() : '';
const h2s = $body.length
  ? $body.children('h2').map((_, el) => ({ text: $(el).text().trim(), next: $(el).nextAll().first().prop('tagName')?.toLowerCase() ?? '(無し)' })).get()
  : [];

// ---- 8. robots.txt：AIのクローラーごとに許可・拒否を出す（情報。学習用を止めるのは方針として選べる） ----
CAT = 'AIクローラー（robots.txt）';
// 各トークンが何を制御するか（各社の公式文書の要約。2026-10-04 確認）
const BOTS = [
  { token: 'Googlebot', role: 'search', what: 'Google検索のクロール。AI Overviews / AI Mode もこれで制御', src: SRC.gAiFeatures },
  { token: 'Google-Extended', role: 'training', what: 'Geminiの学習と一部のグラウンディング用。Google検索の掲載・順位には影響しない', src: SRC.gCommon },
  { token: 'GPTBot', role: 'training', what: 'OpenAIの基盤モデルの学習用', src: SRC.openai },
  { token: 'OAI-SearchBot', role: 'search', what: 'ChatGPTの検索結果に出すためのもの。拒否するとChatGPTの検索の答えに出ない', src: SRC.openai },
  { token: 'ChatGPT-User', role: 'user', what: 'ユーザーの操作で取りに来る。robots.txt が適用されないことがある', src: SRC.openai },
  { token: 'ClaudeBot', role: 'training', what: 'Anthropicのモデルの学習用', src: SRC.anthropic },
  { token: 'Claude-SearchBot', role: 'search', what: '検索の質の向上用。拒否すると検索での見え方が下がりうる', src: SRC.anthropic },
  { token: 'Claude-User', role: 'user', what: 'Claudeの利用者の質問に答えるための取得。拒否すると取得されない', src: SRC.anthropic },
  { token: 'PerplexityBot', role: 'search', what: 'Perplexityの検索結果に出してリンクするためのもの。学習には使わない', src: SRC.perplexity },
  { token: 'Perplexity-User', role: 'user', what: 'ユーザーの質問に答えるための取得。原則 robots.txt を無視する', src: SRC.perplexity },
  { token: 'Applebot-Extended', role: 'training', what: 'Appleの基盤モデルの学習に使うかの制御（クロール自体は Applebot）', src: SRC.apple },
  { token: 'Bingbot', role: 'search', what: 'Bingの検索のクローラー（公式ヘルプはJSで表示され、本文を静的に確認できず）', src: SRC.bing },
  { token: 'CCBot', role: 'training', what: 'Common Crawl のクローラー（公開データセット）', src: SRC.ccbot },
  { token: 'meta-externalagent', role: 'training', what: 'Metaの基盤モデルの学習・製品改善のための取得', src: SRC.meta },
  { token: 'Bytespider', role: 'unknown', what: '公式の説明文書を確認できず（2026-10-04）', src: '公式文書を確認できず' },
];
const robotsFile = path.join(DIST, 'robots.txt');
const robotsReport = [];
if (!fs.existsSync(robotsFile)) {
  add('info', 'robots.txtが無い（すべて許可として扱われる）', '/robots.txt', '', SRC.rfc9309);
} else {
  // RFC 9309 の読み方：user-agent の行が続いたら同じグループ。名前は大文字小文字を区別しない
  const groups = []; // { agents: [], rules: [{ allow, path }] }
  let cur = null, lastWasAgent = false;
  for (const raw of fs.readFileSync(robotsFile, 'utf8').split('\n')) {
    const line = raw.replace(/#.*/, '').trim();
    const m = line.match(/^([A-Za-z-]+)\s*:\s*(.*)$/);
    if (!m) continue;
    const key = m[1].toLowerCase(), val = m[2].trim();
    if (key === 'user-agent') {
      if (!lastWasAgent) { cur = { agents: [], rules: [] }; groups.push(cur); }
      cur.agents.push(val.toLowerCase());
      lastWasAgent = true;
    } else {
      lastWasAgent = false;
      if (cur && (key === 'allow' || key === 'disallow')) cur.rules.push({ allow: key === 'allow', path: val });
    }
  }
  const ruleMatches = (rule, p) => {
    if (rule.path === '') return false; // 空の disallow は何も止めない
    const re = new RegExp('^' + rule.path.split('*').map((s) => s.replace(/[.+?^${}()|[\]\\]/g, '\\$&')).join('.*').replace(/\\\$$/, '$'));
    return re.test(p);
  };
  // 最も長い一致を使い、同じ長さなら allow（RFC 9309 2.2.2）
  const allowed = (rules, p) => {
    let best = null;
    for (const r of rules) if (ruleMatches(r, p) && (!best || r.path.length > best.path.length || (r.path.length === best.path.length && r.allow))) best = r;
    return best ? best.allow : true;
  };
  const samplePaths = ['/', ...[...pages.keys()].filter((p) => !pages.get(p).noindex)];
  for (const b of BOTS) {
    const own = groups.filter((g) => g.agents.includes(b.token.toLowerCase()));
    const g = own.length ? own : groups.filter((g) => g.agents.includes('*'));
    const rules = g.flatMap((x) => x.rules);
    const blockedRoot = !allowed(rules, '/');
    const blockedSome = samplePaths.filter((p) => !allowed(rules, p));
    const state = blockedRoot ? '拒否' : blockedSome.length ? `一部拒否（${blockedSome.length}件）` : '許可';
    const via = own.length ? `専用のグループ` : g.length ? '「*」のグループ' : 'グループ無し';
    robotsReport.push({ token: b.token, role: b.role, state, via, what: b.what, src: b.src });
    // 検索・回答用を止めていたら注意（AIの答えに出なくなる）。学習用・ユーザー操作用は情報
    const level = b.role === 'search' && state !== '許可' ? 'warn' : 'info';
    add(level, `${b.token}: ${state}`, '/robots.txt', `${via}で判定｜${b.what}`, b.src);
  }
}

// ---- 9. スニペットの制御：AI Overviews / AI Mode にも効く ----
// Google: nosnippet は AI Overviews / AI Mode の直接の入力にも使わせない。max-snippet もその量を制限する。
// data-nosnippet はその部分をスニペットから外す（SRC.gRobotsMeta、SRC.gAiFeatures）
CAT = 'スニペットの制御（AI Overviews / AI Mode）';
for (const [p, v] of pages) {
  if (v.noindex) continue;
  const all = `${v.metaRobots},${v.headerRobots}`.toLowerCase();
  if (/(^|[\s,])nosnippet/.test(all)) add('warn', 'nosnippetが付いている（AI機能に本文が使われない）', p, all.replace(/^,|,$/g, ''), SRC.gRobotsMeta);
  const ms = all.match(/max-snippet\s*:\s*(-?\d+)/);
  if (ms && Number(ms[1]) === 0) add('warn', 'max-snippet:0（nosnippetと同じ扱い）', p, all.replace(/^,|,$/g, ''), SRC.gRobotsMeta);
  else if (ms && Number(ms[1]) > 0) add('info', `max-snippet:${ms[1]}（AI機能に使われる量も制限される）`, p, '', SRC.gRobotsMeta);
  if (v.dataNosnippet) add('info', 'data-nosnippetがある（その部分はスニペット・AI機能に使われない）', p, `${v.dataNosnippet}か所`, SRC.gRobotsMeta);
}

// ---- 10. 静的なHTMLに本文があるか（JavaScriptを実行しないボットもある） ----
// Google: サーバー側の描画や事前描画は、ユーザーとクローラーに速く、すべてのボットがJavaScriptを実行できるわけではない（SRC.gJs）
// しきい値 RULES.mainTextMin は自社の目安
CAT = '静的HTMLの本文';
for (const [p, v] of pages) {
  if (v.noindex) continue;
  if (!v.hasMainOrArticle) add('info', '<main>も<article>も無い（本文エリアを決められない）', p, '', SRC.gJs);
  else if (len(v.mainText) < RULES.mainTextMin) add('warn', `本文エリアの文字が少ない（${RULES.mainTextMin}字未満。JSだけで描画していないか・中身の薄いページでないか）`, p, `${len(v.mainText)}字`, SRC.gJs);
}

// ---- 11. 構造化データと見える内容 ----
CAT = '構造化データと見える内容';
const entities = new Map(); // Person / Organization を @id か名前で1回だけ見る
let faqPages = 0;
for (const [p, v] of pages) {
  for (const node of v.nodes) {
    const t = typesOf(node);
    // FAQPage：質問と答えがページに見えているか（見えない内容をマークアップしない：SRC.gSdPolicies）
    if (t.includes('FAQPage')) {
      faqPages++;
      for (const q of [node.mainEntity].flat().filter(Boolean)) {
        const name = norm(q.name);
        if (name && !v.visibleText.includes(name)) add('error', 'FAQPageの質問がページに見えていない', p, q.name, SRC.gSdPolicies);
        const ans = norm([q.acceptedAnswer].flat()[0]?.text).slice(0, 40); // 答えは先頭40字で照合（リンクなどの書式の差を避ける）
        if (ans && !v.visibleText.includes(ans)) add('warn', 'FAQPageの答えがページの文と一致しない', p, `${q.name}`, SRC.gSdPolicies);
      }
    }
    // Article / BlogPosting / NewsArticle：author（name）・datePublished・dateModified（Google の推奨プロパティ。必須は無い：SRC.gArticle）
    if (t.some((x) => /^(Article|BlogPosting|NewsArticle)$/.test(x))) {
      v.isArticle = true;
      const authors = [node.author].flat().filter(Boolean);
      if (!authors.length) add('warn', 'Articleにauthorが無い', p, t.join(), SRC.gArticle);
      else if (authors.some((a) => typeof a === 'object' && !a.name)) add('warn', 'Articleのauthorにnameが無い', p, t.join(), SRC.gArticle);
      if (!node.datePublished) add('warn', 'ArticleにdatePublishedが無い', p, '', SRC.gArticle);
      if (!node.dateModified) add('info', 'ArticleにdateModifiedが無い', p, '', SRC.gArticle);
      for (const k of ['datePublished', 'dateModified']) {
        if (node[k] && !/T\d{2}:\d{2}.*([+-]\d{2}:?\d{2}|Z)$/.test(node[k])) add('info', `${k}に時刻とタイムゾーンが無い`, p, node[k], SRC.gArticle);
      }
      for (const a of authors) if (typeof a === 'object') entities.set(a['@id'] ?? a.name, { node: a, page: p });
    }
    if (t.includes('Person') || t.includes('Organization')) {
      const key = node['@id'] ?? node.name;
      if (key && !entities.has(key)) entities.set(key, { node, page: p });
    }
  }
}
for (const [key, { node, page }] of entities) {
  // sameAs は「同じ人・組織の別のページ」を示す。Google は著者の見分けに sameAs と url の両方を使える（情報）
  if (!node.sameAs || ![node.sameAs].flat().length) add('info', `${typesOf(node).join() || 'Person/Organization'}にsameAsが無い`, page, key, typesOf(node).includes('Organization') ? SRC.gOrg : SRC.gArticle);
}
if (faqPages) add('info', `FAQPageのあるページ: ${faqPages}（FAQのリッチリザルトは2026-05-07からGoogle検索に表示されない）`, '(サイト全体)', '', SRC.gUpdates);

$ npm run audit
点検したページ: 268（noindex: 27）／記事: 178
サイトマップのURL: 241 / 確かめた内部リンク・画像: 11252
HTMLでないので飛ばした: /feed/
根拠の確認日: 2026-10-04
エラー: 0 / 注意: 76 / 目安: 69 / 情報: 20

■ SEO（基本）（エラー 0・注意 69・目安 0・情報 0）
  [注意] descriptionが短い: 69件  根拠: 公式の根拠なし（自社の目安）
  …（中略）

■ AIクローラー（robots.txt）（エラー 0・注意 0・目安 0・情報 15）
  Googlebot           許可    [search] 「*」のグループ｜Google検索のクロール。AI Overviews / AI Mode もこれで制御
  GPTBot              許可    [training] 「*」のグループ｜OpenAIの基盤モデルの学習用
  OAI-SearchBot       許可    [search] 「*」のグループ｜ChatGPTの検索結果に出すためのもの。拒否するとChatGPTの検索の答えに出ない
  …（15の名前すべてが許可。中略）

■ 静的HTMLの本文（エラー 0・注意 7・目安 0・情報 0）
  [注意] 本文エリアの文字が少ない（200字未満。JSだけで描画していないか・中身の薄いページでないか）: 7件
    - /category/fitness/page/5/  47字
    - /category/it/page/8/  45字
    …（中略）

■ 構造化データと見える内容（エラー 0・注意 0・目安 0・情報 1）
  [情報] FAQPageのあるページ: 177（FAQのリッチリザルトは2026-05-07からGoogle検索に表示されない）: 1件

■ llms.txt（エラー 0・注意 0・目安 0・情報 3）
  [情報] llms.txt: 自サイトのURL 198件を確認（Google検索は llms.txt を使わない）: 1件
  …（中略）

■ IndexNow（エラー 0・注意 0・目安 0・情報 1）
  [情報] IndexNowのキーファイルがある: 1件

■ 目安（公式の根拠なし・自社の目安）（エラー 0・注意 0・目安 69・情報 0）
  [目安] h2の直後が段落でない: 47件
  [目安] 最初の段落の1文目が120字を超える: 22件

// LLMO・AIO の点検が見落とさないかを確かめるため、コピーした dist をわざと壊す
import fs from 'node:fs';
const D = 'dist-broken';
const edit = (p, fn) => { const f = `${D}${p}index.html`; fs.writeFileSync(f, fn(fs.readFileSync(f, 'utf8'))); };
// 1. robots.txt で検索用（OAI-SearchBot）と学習用（GPTBot）を止め、ClaudeBot はタグの一覧だけ止める
fs.writeFileSync(`${D}/robots.txt`, 'User-agent: *\nAllow: /\n\nUser-agent: GPTBot\nUser-agent: OAI-SearchBot\nDisallow: /\n\nUser-agent: ClaudeBot\nDisallow: /tag/\n');
// 2. max-snippet:0 と data-nosnippet を入れる
edit('/indexnow-cloudflare-pages-deploy/', (h) => h.replace('<head>', '<head><meta name="robots" content="max-snippet:0">').replace('<p>', '<p data-nosnippet>'));
// 3. 本文をJavaScriptで後から入れる形にする（静的なHTMLの<main>を空にする）
edit('/about/', (h) => h.replace(/<main([^>]*)>[\s\S]*<\/main>/, '<main$1><div id="app"></div></main>'));
// 4. FAQPageの質問を、ページに無い文に書き換える（JSON-LDの側だけ）
edit('/supabase-rls-multi-tenant-reservations/', (h) => h.replace(/("@type":"Question","name":")[^"]+/, '$1ページに書いていない質問ですか？'));
// 5. BlogPostingから author と datePublished を消す
edit('/llms-txt-astro-build-auto-generate/', (h) => h.replace(/"datePublished":"[^"]+",/, '').replace(/"author":\{[^{}]*(\{[^{}]*\}[^{}]*)*\},/, ''));
// 6. llms.txt の先頭のH1を消し、存在しないURLを足す
const l = fs.readFileSync(`${D}/llms.txt`, 'utf8');
fs.writeFileSync(`${D}/llms.txt`, l.replace(/^# .*\n/, '') + '\n- [無いページ](https://www.yamayamabloglink.com/no-such-page/)\n');
// 7. IndexNow のキーファイルを消す
for (const f of fs.readdirSync(D)) if (/^[0-9a-f]{32}\.txt$/.test(f)) fs.rmSync(`${D}/${f}`);
console.log('壊したコピーを作りました');

$ node break-llmo.mjs && node site-audit.mjs ./dist-broken https://www.yamayamabloglink.com
壊したコピーを作りました
点検したページ: 268（noindex: 27）／記事: 178
サイトマップのURL: 241 / 確かめた内部リンク・画像: 11251
HTMLでないので飛ばした: /feed/
根拠の確認日: 2026-10-04
エラー: 2 / 注意: 83 / 目安: 69 / 情報: 20
  GPTBot              拒否    [training] 専用のグループ｜OpenAIの基盤モデルの学習用
  OAI-SearchBot       拒否    [search] 専用のグループ｜ChatGPTの検索結果に出すためのもの。拒否するとChatGPTの検索の答えに出ない
  ClaudeBot           一部拒否（10件）  [training] 専用のグループ｜Anthropicのモデルの学習用
  [注意] max-snippet:0（nosnippetと同じ扱い）: 1件
  [情報] data-nosnippetがある（その部分はスニペット・AI機能に使われない）: 1件
    - /about/  0字
  [エラー] FAQPageの質問がページに見えていない: 1件
  [注意] Articleにauthorが無い: 1件
  [注意] ArticleにdatePublishedが無い: 1件
  [注意] llms.txtのURLがdistに無い: 1件
  [注意] llms.txtの先頭がH1（# サイト名）でない: 1件
  [情報] IndexNowのキーファイルが一番上に無い（keyLocationで別の場所を指定している場合を除く）: 1件