長い問いかけの検索語を、Search Console APIで抜き出して記事の見出しと突き合わせる。正規表現（RE2）での絞り込み、依頼文・疑問・文・語の並びに分けるNodeのスクリプト、匿名化で見えない分の数え方

// Search Console API から「検索語×ページ」を取り出して JSON に保存する（依存なし）
// 使い方: node gsc-fetch.mjs <siteUrl> <開始日> <終了日> <出力ファイル>
// 分ける項目は環境変数 DIMS（JSON の配列）、検索語の絞り込みは REGEX（RE2）で指定できる
import { createSign } from 'node:crypto';
import { readFileSync, writeFileSync } from 'node:fs';

const [siteUrl, startDate, endDate, out] = process.argv.slice(2);
const vars = readFileSync(process.env.SA_DEVVARS, 'utf8'); // 鍵は git 管理外のファイルから読む
const email = vars.match(/^GA_SA_CLIENT_EMAIL="?([^"\n]+)"?$/m)[1];
const key = vars.match(/^GA_SA_PRIVATE_KEY="?(.*?-----END PRIVATE KEY-----)/ms)[1].replace(/\\n/g, '\n');

async function token() {
  const b64 = (o) => Buffer.from(JSON.stringify(o)).toString('base64url');
  const now = Math.floor(Date.now() / 1000);
  const body = `${b64({ alg: 'RS256', typ: 'JWT' })}.${b64({
    iss: email, scope: 'https://www.googleapis.com/auth/webmasters.readonly',
    aud: 'https://oauth2.googleapis.com/token', iat: now, exp: now + 3600,
  })}`;
  const sig = createSign('RSA-SHA256').update(body).sign(key, 'base64url');
  const res = await fetch('https://oauth2.googleapis.com/token', {
    method: 'POST',
    headers: { 'Content-Type': 'application/x-www-form-urlencoded' },
    body: new URLSearchParams({ grant_type: 'urn:ietf:params:oauth:grant-type:jwt-bearer', assertion: `${body}.${sig}` }),
  });
  if (!res.ok) throw new Error(`token: ${res.status} ${await res.text()}`);
  return (await res.json()).access_token;
}

const t = await token();
const url = `https://searchconsole.googleapis.com/webmasters/v3/sites/${encodeURIComponent(siteUrl)}/searchAnalytics/query`;
const rows = [];
for (let startRow = 0; ; startRow += 25000) {
  const res = await fetch(url, {
    method: 'POST',
    headers: { Authorization: `Bearer ${t}`, 'Content-Type': 'application/json' },
    body: JSON.stringify({
      startDate, endDate, type: 'web', dataState: 'all',
      dimensions: JSON.parse(process.env.DIMS ?? '["query","page"]'), rowLimit: 25000, startRow,
      ...(process.env.REGEX && { dimensionFilterGroups: [{ filters: [
        { dimension: 'query', operator: 'includingRegex', expression: process.env.REGEX },
      ] }] }),
    }),
  });
  if (!res.ok) throw new Error(`query: ${res.status} ${await res.text()}`);
  const page = (await res.json()).rows ?? [];
  rows.push(...page);
  if (page.length < 25000) break;
}
writeFileSync(out, JSON.stringify(rows, null, 1));
console.log(`${siteUrl} ${startDate}〜${endDate}: ${rows.length} 行`);
if (process.env.REGEX) for (const r of rows) console.log(`  ${r.keys.join(' | ')}（表示 ${r.impressions}）`);

# 分け方を変えて3回取り出し、行数と合計を出す（sum.mjs は数行の集計）
DIMS='[]' node gsc-fetch.mjs sc-domain:yamayamabloglink.com 2026-09-05 2026-10-04 total.json
DIMS='["query"]' node gsc-fetch.mjs sc-domain:yamayamabloglink.com 2026-09-05 2026-10-04 query.json
DIMS='["page"]' node gsc-fetch.mjs sc-domain:yamayamabloglink.com 2026-09-05 2026-10-04 page.json
for n in total query page; do node sum.mjs $n.json; done

total.json: 1 行、表示 171、クリック 5
query.json: 57 行、表示 87、クリック 0
page.json: 59 行、表示 185、クリック 5

// 検索語を「形」で分け、意味のある語を取り出す（依存なし）
export const RULES = {
  // AIに話しかけるような依頼の言い回し。句点・疑問符も依頼文の目印にする
  request: /(教えて|ください|下さい|してほしい|して欲しい|したい|知りたい|書いて|作って|まとめて|[。？?])/,
  // 疑問の言い回し（依頼文に当たらなかったものだけを見る）
  question: /(とは|って何|なに|何|どう|なぜ|なんで|いつ|どこ|どれ|どっち|違い|方法|やり方|仕方|できる|べき|か$)/,
  // 文の終わり方（画面のメッセージや文章をそのまま貼った語）
  sentence: /(ます|です|ません|ました|でした)$/,
};
// 依頼の動詞の語幹は、見出しと比べる語から外す
const STOP = new Set(['教え', '知り', '書い', '作っ']);
export const LONG_CHARS = 20; // 空白を除いた文字数がこれ以上なら「長い」
export const LONG_WORDS = 4;  // 空白で区切った語の数がこれ以上なら「長い」

const seg = new Intl.Segmenter('ja', { granularity: 'word' });
const norm = (s) => s.normalize('NFKC').toLowerCase();

// 漢字・カタカナ・英数字を含む2文字以上の語だけを残す（助詞や「たい」「ます」は落ちる）
export function terms(q) {
  const out = [...seg.segment(norm(q))]
    .filter((s) => s.isWordLike)
    .map((s) => s.segment)
    .filter((w) => !STOP.has(w) && [...w].length >= 2 && /[\p{Script=Han}\p{Script=Katakana}a-z0-9]/u.test(w));
  return [...new Set(out)];
}

export function shape(query) {
  const q = norm(query).trim();
  const words = q.split(/\s+/).filter(Boolean);
  const chars = [...q.replace(/\s+/g, '')].length;
  const kind = RULES.request.test(q) ? '依頼文'
    : RULES.question.test(q) ? '疑問'
    : RULES.sentence.test(q) ? '文'
    : '語の並び';
  const long = chars >= LONG_CHARS || words.length >= LONG_WORDS;
  return { q, chars, words: words.length, kind, long, terms: terms(q) };
}

// 見出し（title と h2・h3）に入っていない語を返す
export function missingTerms(ts, headings) {
  const hay = norm(headings.join(' '));
  return ts.filter((t) => !hay.includes(t));
}

// gsc-fetch.mjs で保存した「検索語×ページ」を形で分け、ページの見出しにない語を並べる
// 使い方: node classify-queries.mjs <rows.json> <ビルド後の dist ディレクトリ>
import { readFileSync, existsSync } from 'node:fs';
import { join } from 'node:path';
import { shape, missingTerms } from './query-shape.mjs';

const [rowsFile, dist] = process.argv.slice(2);
const rows = JSON.parse(readFileSync(rowsFile, 'utf8'));

function headingsOf(pageUrl) {
  const path = new URL(pageUrl).pathname;
  const file = join(dist, path, 'index.html');
  if (!existsSync(file)) return null;
  const html = readFileSync(file, 'utf8');
  const pick = (re) => [...html.matchAll(re)].map((m) => m[1].replace(/<[^>]+>/g, '').replace(/\u200b/g, '').trim()); // 改行調整のZWSPを外す
  return [...pick(/<title>([\s\S]*?)<\/title>/g), ...pick(/<h[23][^>]*>([\s\S]*?)<\/h[23]>/g)];
}

const byKind = {};
const picked = [];
for (const r of rows) {
  const [query, page] = r.keys;
  const s = shape(query);
  byKind[s.kind] ??= { 語: new Set(), 表示: 0 };
  byKind[s.kind].語.add(s.q);
  byKind[s.kind].表示 += r.impressions;
  if (s.kind !== '語の並び' || s.long) {
    const hs = headingsOf(page);
    const u = new URL(page);
    picked.push({ query, kind: s.kind, long: s.long, chars: s.chars,
      page: (u.host.startsWith('www.') ? '' : '（wwwなし）') + u.pathname,
      imp: r.impressions, pos: r.position.toFixed(1),
      missing: hs ? missingTerms(s.terms, hs) : ['（ページが dist に無い）'] });
  }
}

console.log('| 形 | 検索語の数 | 表示回数 |\n|---|---:|---:|');
for (const [k, v] of Object.entries(byKind)) console.log(`| ${k} | ${v.語.size} | ${v.表示} |`);
console.log('\n| 検索語 | 形 | 長い | 文字数 | ページ | 表示 | 順位 | 見出しにない語 |\n|---|---|---|---:|---|---:|---:|---|');
picked.sort((a, b) => b.chars - a.chars);
for (const p of picked) {
  console.log(`| ${p.query} | ${p.kind} | ${p.long ? '○' : ''} | ${p.chars} | ${p.page} | ${p.imp} | ${p.pos} | ${p.missing.join('、') || '（すべてある）'} |`);
}

import { test } from 'node:test';
import assert from 'node:assert/strict';
import { shape, terms, missingTerms } from './query-shape.mjs';

test('句点と「教えて」がある語は依頼文', () => {
  assert.equal(shape('AI検索経由の流入をGA4のチャネルグループに分けたい。正規表現の設定例を教えて').kind, '依頼文');
});
test('「とは」「違い」は疑問', () => {
  assert.equal(shape('ga4 ai assistantとは').kind, '疑問');
  assert.equal(shape('cms wordpress 違い').kind, '疑問');
});
test('「〜ています」で終わる語は文', () => {
  assert.equal(shape('コンテンツのない状態でページがインデックスに登録されています').kind, '文');
});
test('空白で区切った4語は長い。全角英数字と半角カナはそろえる', () => {
  const s = shape('２４ 時間 ジム 監視');
  assert.equal(s.long, true);
  assert.equal(s.q, '24 時間 ジム 監視');
  assert.equal(shape('ﾌﾟﾛｸﾞﾗﾐﾝｸﾞ 仕事ない').q, 'プログラミング 仕事ない');
});
test('取り出す語から助詞と依頼の語幹を外す', () => {
  assert.deepEqual(terms('正規表現の設定例を教えて'), ['正規', '表現', '設定']);
});
test('見出しにない語だけを返す', () => {
  assert.deepEqual(missingTerms(['婚礼', '宴会', '見積'], ['婚礼見積もりの「上がり幅」を減らす']), ['宴会']);
});

ok 1 - 句点と「教えて」がある語は依頼文
ok 2 - 「とは」「違い」は疑問
ok 3 - 「〜ています」で終わる語は文
ok 4 - 空白で区切った4語は長い。全角英数字と半角カナはそろえる
ok 5 - 取り出す語から助詞と依頼の語幹を外す
ok 6 - 見出しにない語だけを返す
# tests 6
# pass 6
# fail 0