PANGRAM 4.0 × 日本語Web小説 実測報告

AI検出器 Pangram を日本語小説で57本試した記録
── 判定の正体と、通る稿・通らない稿の境界

語彙リストを潰しても判定は動かない。動かしたのは「名前」と「言い直し」と、そして「書き方そのもの」だった。第一期19本・第二期36本+再現2本、およそ1,750クレジットを投じて得た知見と、執筆工程に組み込むための対策を一冊にまとめる。

実測日 2026年9月8日/対象 Pangram 4.0 dashboard(有料アカウント)/生成モデル Claude Fable 5.1・Claude Opus 5/標本は長編Web小説二作品の著者自筆稿、その続話としてAIが書いた稿、AIの独立新作を含む。作品名・登場人物名は本資料ではすべて匿名化した(作品A・作品B 等)。

§0この資料で分かること(要旨)

本資料は、商用AI検出器 Pangram 4.0 に対して日本語のWeb小説を合計57本(第一期19本、第二期36本、再現確認2本)投入し、その判定を執筆条件と突き合わせた記録である。著者が自分で書いた原作、その続話としてAIが書いた稿、AIが独立に書いた新作短編、名前だけを入れ替えた稿、言い直しの型だけを削った稿、といった対照群を組み、「何を変えると判定が動くのか」を一つずつ潰した。

57投入した本数(再現2本含む)
100/0日本語の判定は常に二値
0著者自筆で AI と出た本数
20/20AIの独立新作が AI と出た本数
2正規手順の続話が Human と出た作品数
結論を先に述べる
  1. Pangram の判定は語彙ではなく著者同定である。 AI が使いがちな語句を全部消しても座標は動かない。
  2. 著者の自筆は誤爆しない。 日本語Web小説の自筆稿は19本すべて Human 100%。メタ情報や前書きが混ざっても動かなかった。
  3. AI が独立に書いた新作は、どんな文体操作をしても通らない。 短編20本、全部 AI 100%。短文率や読点率などの表面指標を人間側に寄せても無関係だった。
  4. 判定線の近くにいる稿だけが、一つの軸で渡れる。 効いた軸は「AIが付けた人名・地名」と「地の文後半の自己訂正型の言い直し」の二つ。どちらも、線から遠い稿は動かさない。
  5. 線の近くに来るのは、作品資料一式を積んだ正規の執筆手順で書いた稿だけである。 原文を一本だけ読んで続きを書いた稿は、条件をいくら揃えても AI。二作品で再現した。
  6. Pangram の Human を「人間の文になった」と読んではならない。 名前を替えただけの AI 稿が通る。検出器は品質保証ではない。

一言でいえば、「通す為に書くな、正規手順で書け」である。以下、この結論に至るまでの実測を順に示す。数値はすべて実際の判定結果で、都合の悪い結果も含めて全部載せた。

§1Pangram 4.0 の仕様と課金の実態

1-1. 判定の形

Pangram 4.0 の dashboard に本文を貼り付けて Scan すると、本文が節(segment)に分割され、節ごとに Human/AI-Assisted/AI-Generated のラベルと確信度(High/Medium/Low)が返る。英語ではウィンドウ単位で確信度が揺れ、一つの文書の中に Human と AI の節が混在するのが普通である。

ところが日本語では様子がまるで違う。57本すべてで、全文が一つの節として扱われ、判定は 100% Human か 100% AI のどちらかで、AI-Assisted の節も段落分割も一度も出なかった。確信度も全本 High であった。つまり日本語に対する Pangram は、実質的に「全文一括の二値分類器」として振る舞う。

1-2. 再現性

同一本文を時間を置いて再投入した2本(後述の実験24、実験29名前挿げ替え版)は、いずれも初回と同じ判定を返した。別アカウントから投入しても同じだった。判定は決定論的であり、揺らぎを狙って何度も掛け直す意味はない。これはクレジット節約の観点で重要な確認である。

1-3. 課金の実態

Pangram のクレジットは「100語 = 1クレジット」で計上される。日本語には分かち書きがないため、Pangram は独自のトークン化で語数を数える。実測では日本語1字 ≈ 0.85語程度で、2,000字の話一本が約17〜20クレジット、3,500字なら約30クレジットに相当する。

ただし、表示された消費と実際の残高減少が合わない回が複数あった。原因を History から突き止めると、貼り付けに失敗して再送した回だけ、同一本文のエントリが二重三重に並んでいた(最悪の稿で5件)。課金に隠れ倍率があるのではなく、失敗試行のたびに送信が余分に走っていたのである。貼り付けの手順を固定してからは、表示どおりに減るようになった。詳細は §13 に譲る。

要点

日本語では全文一節・二値・決定論的。クレジットは1字≈0.85語で減り、貼付失敗の再送が二重課金の正体。「揺れ待ち」の再スキャンは無意味である。

§2検出器の正体は「著者同定」である

AI検出器と聞くと「AIっぽい語句を数えているのだろう」と想像しがちだが、Pangram 4 の設計はそれとは異なる。公開されている情報と、本実測の結果を突き合わせると、次のことが言える。

2-1. 教師ラベルの三分類

Pangram 4 の教師データは節単位で、おおむね次のように付けられている。

この三分類が示すのは、Pangram は「文がAIっぽいか」ではなく「この文を書いたのは誰か」を推定するように訓練されている、ということである。数十万の分布的信号から文体の座標を出し、その座標が「人間の書き手の分布」に落ちるか「言語モデルの分布」に落ちるかを見ている。em dash も特定の慣用句も、その中の一信号に過ぎない。

2-2. 含意その一:語彙リストを潰しても座標は動かない

AI臭い語句のブラックリスト(「一拍」「空気が変わった」「沈黙が落ちた」「それだけのことだ」等)を全消ししたテキストは、分類器では依然 AI と出る。座標を動かすのは語彙ではなく、文の作り方の総体である。語彙走査は読者に対する最低線であって、検出器対策にはならない。

2-3. 含意その二:小手先の回避は逆に足がつく

同義語置換、記号の一律差し替え、同形異字の混入といった機械的な「人間化」処理は、Pangram では「Humanizer」として別ヘッドで検出される。修正を全箇所に一律に当てると、その処理の均質さ自体が新しい信号になる。本資料では、この「掃引の禁止」を対策の前提に置く。

2-4. 含意その三:日本語では構造の座標が先に効く

教師ラベルの三分類からは「原語彙を残した削除・並べ替えは Human 側に落ち、言い換えは AI 側に落ちる」と読める。英語ではその通りに動く。しかし本実測の日本語では、語彙残存率よりも先に、文の作り方の座標が判定を割った。日本語の言語モデル出力は、語彙の層とは別の層で見分けられている。

補足:人間の目はもっと外す

日本語では、機械が機能語のバイグラムで99%超を当てる一方、人間の読者による判定は最高でも56.8%、人間の文章を正しく人間と判定できた割合は31.5%に留まる(Zaitsu & Jin 2023/2025)。読者が「AIっぽい」と言うとき、その三分の二は外れている。それでも読まれなくなるのだから、検出器対策と読者対策は別々に持つ必要がある。

§3実験の枠組み:何を何で測ったか

3-1. 計測器

計測器中身用途
Pangram 4.0(dashboard)商用検出器。Human/AI-Assisted/AI-Generated の節ラベルと確信度外部の答え合わせ。クレジット消費あり
自作分類器(stylo_compare)著者自筆稿とAI稿を読み、447特徴(文長分布・読点・文頭文末・助詞・文字2-3gram・段落・台詞)でナイーブベイズとロジスティック回帰を学習。5分割交差検証内製の座標計。Pangram の代替ではない
自筆ベースライン走査(selfcheck --baseline)自筆原稿の中央値との相対比較話単位の日常走査

3-2. 教師データと交差検証

自作分類器の教師データは、見出し行・記号行を除去した掃除版で次の通り。

交差検証の結果は ロジスティック回帰 93.5%(人間再現率 95.7%/AI再現率 90.5%)、ナイーブベイズ 90.3%。見出し行を残した粗版はロジスティック回帰 97.4% を出したが、それは「■」「【」といった書式で当てていただけだったので捨てた。高い数字が出たときほど、何で当てているかを疑う。この教訓は後に Pangram の読みでも効いてくる。

3-3. 標本の分類

本資料では標本を次の五種に分けて呼ぶ。

§4第一期・19本:自筆は全通、AI稿は割れた

第一期では、自筆・AI稿・手直し・改稿を混ぜて19本を投入し、477クレジットを消費した。各標本について、自作分類器の人間側確率(自作LR)と、地の文の主要指標(平均文長・10字以下の短文の比率・読点ゼロ文の比率・ダッシュ密度・台詞行比率)を並べた。

標本種別字数Pangram自作LR平均文長短文≤10読点0文ダッシュ/千字台詞行
作品B 第10話自筆2,311Human0.5723.924%66%0.438%
作品B 第30話自筆2,434Human1.0032.19%44%2.470%
作品B 第50話自筆2,443Human1.0027.77%37%3.6812%
作品A 原作a自筆2,552Human0.9331.29%42%0.3919%
作品A 原作b自筆2,422Human0.9434.29%57%1.240%
作品A 原作c自筆2,372Human0.3829.714%41%3.379%
作品B 第56話 AI稿AI稿(続話)4,509AI0.3918.128%78%5.9923%
作品B 第57話 AI稿AI稿(続話)3,223Human0.3822.116%78%3.7216%
作品B 第62話 AI稿AI稿(続話)2,954Human0.1132.35%39%4.067%
作品A 第240話 AI稿AI稿(続話)2,411Human0.0423.411%46%0.8322%
作品A 第242話 AI稿AI稿(続話)2,373Human0.0127.47%42%0.4223%
作品A 第244話 AI稿AI稿(続話)2,433Human0.0021.325%55%2.067%
作品D 第4話AI稿(新作)2,408AI0.0024.937%80%0.00%
作品D 第7話AI稿(新作)2,439AI0.0025.532%69%0.01%
作品B 第56話 著者手直し(AI稿の字を82%保持)手直し4,695AI0.4615.735%80%5.9618%
作品B 第57話 掲載版(AI稿の字を30%保持)手直し3,195Human0.7025.18%72%4.3814%
作品A 改稿版 第2話改稿2,087Human0.9932.14%56%1.4427%
作品A 改稿版 第103話改稿2,078Human0.9930.98%56%0.010%
作品A 改稿版 第199話改稿2,384Human0.9637.33%16%0.042%

4-1. 第一期の読み

  1. 自筆は全本 Human 100%。 日本語Web小説の自筆稿を Pangram は誤爆しない。作品A 原作a・bは投稿サイト出力のメタブロック(【タイトル】【文字数】等)を含み、作品B 第50話は冒頭にAI調の前書きを持つが、いずれも判定は動かなかった。
  2. AI稿は割れた。 AI と出たのは8本中3本。残る5本は、手を入れない素の Claude 稿のまま Human 100% で通った。Pangram は日本語の Claude 稿を「Claude が書いたから」という理由では拾っていない。
  3. この時点では「短文と読点」で割れているように見えた。 AI と出た4本(手直し含む)は10字以下の短文が28〜37%、読点ゼロ文が69〜80%。通ったAI稿はどちらか一方が低い。自筆は短文7〜24%・読点ゼロ37〜66%。「二軸が同時に高いときだけ AI に振れる」という仮説を立てた。
  4. 置換型の手直しは座標を動かさない。 第56話はAI稿の字を82%残す手直しで、短文35%・読点ゼロ80%と座標が寄らず AI のまま。第57話の掲載版が Human なのは、AI稿自体が既に Human 座標にあったからで、「30%残存なら Human」とは言えない。
  5. 自作分類器のほうが厳しい。 自作LRはAI稿8本すべてを0.4未満に置いたが、Pangram はそのうち3本しか AI と出さない。逆は一本もない。
  6. 改稿版は Human 100%。 原作の語彙と骨格を残して視点を整理した改稿は、自作LRも0.96〜0.99で人間側に留まる。
この段階での仮説(後に棄却)

「10字以下の短文が三割超、かつ読点ゼロ文が七割超の稿だけが AI と出る」。n=13 の事後当てはめとしてはきれいに整合していた。次節でこの仮説は崩れる。

§5第二期・36本:仮説の棄却

第二期は「著者の作品でなく、AIが自分の作品として Human 判定を出せる文章を書け。クレジットが尽きるまで試してよい」という方針で始めた。Fable と Opus 5 が書いた稿を36本投入し、第一期の座標(短文率・読点ゼロ率)を全本で測り直した。

実験中身字数短文≤10読点0言い直し/千字Pangram
01〜10独立短編(短編α ほか)。座標寄せ・読点抑制・刻み・随筆調・書式ノイズ・声移植・人間ノイズ・段落短縮・全部盛り1,040〜1,8032〜75%26〜99%0.0〜2.7全部 AI
11/12作品A 第244話(AI稿)の書式剥がし/人名漢字化2,30028〜31%54%3.2Human
13短編α 著者の癖を全載せ1,93221%50%0.6AI
14〜18短編β(投稿サイト系新作)/短編γ(二人称)/連載途中の一片/現代日常/解説回1,677〜3,44919〜29%35〜57%0.4〜2.8全部 AI
19/20短編β・短編α を Opus 5 で執筆2,127〜2,35515〜27%48〜56%0.6〜1.9AI
21外伝稿(オリジナル世界。作品Bの原文全編を読んだ直後に執筆)3,50515%43%4.9AI
22作品A 第193話の直接続き。言い直し型ゼロ2,77815%49%0.0Human
2322 の初稿復元(言い直し型13件あり)2,89814%48%5.6Human
2421 から地の文の言い直し型のみ削除3,31715%48%0.0Human
21 手直し著者が 21 の序盤約700字だけ書き換え。後半は原文のまま(言い直し型10件残)3,47715%45%3.5Human
25手直し稿の序盤+後半に同じ手法を全編適用3,23114%47%0.7Human
26現代物短編(完全新作・手法適用・言い直し型ゼロ)2,10618%50%0.0AI
2721 の序盤だけ言い直し削除、後半は原文3,43515%43%3.0AI
2821 の序盤は原文、後半だけ言い直し削除3,37415%45%1.5Human
2922 の固有名詞と世界語を AI が総入替。文はそのまま2,75215%49%0.0AI
29 名前挿げ替え著者が 29 の人名・地名だけを適当に挿げ替え(世界語・文はそのまま)2,79115%49%0.0Human
3026 の人名・地名だけ挿げ替え(AIが別の日本姓を選択)2,13718%50%0.0AI
3121 の人名・地名だけ挿げ替え(AIが実在の欧米姓を選択)3,51515%43%4.9AI
再現24 をそのまま再投入3,31715%48%0.0Human(初回と同じ)
32新世界稿(オリジナル世界の新作。作品B原文を直前に読み、名前は著者流、言い直し零=三条件を揃えた)1,8980.0AI
33作品B 第6話冒頭の直続(原作の人名のみ・言い直し零。原作本文の一部だけを文脈に置いた)2,7940.0AI
34外伝稿の続き(Human の 24 の直続・同世界同人物・言い直し零。24 の本文だけを文脈に置いた)2,7030.0AI
35作品A 第245話(作品ワークスペースの資料一式〈文体解析・登場人物・展開リスト・プロット設計・直近5話〉を積んだ正規執筆手順の新作。言い直し零)2,9900.0Human
36作品B 第63話(33 と同じ作品。文体解析・登場人物・展開リスト・三話分プロット・直前話の著者改稿版・関連する原作三話・作品固有の描写指針を積んだ正規執筆手順の新作。言い直し零・新規人名なし)2,4640.0Human

5-1. 座標は分けない

AI と出た 01〜10 は短文2〜6%・読点ゼロ26〜39%の、第一期でいう「人間座標」にいる。逆に Human と出た 11/12 は短文三割・読点ゼロ五割強にいる。第一期の仮説は真逆の例で両側から崩れた。

念のため、文末形(た/る/である/のだ)の分布、段落あたり文数、台詞行比率、固有名詞密度、ルビ、括弧注、接続詞密度、書式、モデルの別(Fable/Opus 5)も全部並べたが、判定と相関する軸は一本もなかった。表面指標では Pangram の日本語判定は説明できない。

5-2. Human と出たのは、著者の本文を文脈に置いて書いた稿だけ

第二期で Human と出た稿を並べると、11/12(作品A 第244話)、22/23(作品A 第193話の直接続き)、24/25/28/手直し稿(外伝稿。作品Bの原文全編を読んだ直後に書いた)、35(作品A 第245話)、36(作品B 第63話)である。世界も人物も著者のものでない独立短編・新作(01〜10・13〜20・26・30・31)は20本すべて AI

この時点で「著者の本文を文脈に置いて書けば線の近くに来る」と読んだ。それは半分正しく、半分足りなかった。足りない半分は §7 で明らかになる。

5-3. 同じ稿が摂動で往復する

外伝稿(21系)は判定線の真上にいて、言い直し型の削り方によって AI と Human を往復した。この往復こそが、Pangram の二値判定の内側に「距離」があることを示す最初の証拠になった。判定は二値だが、稿ごとに線までの距離が違い、線の近くにいる稿だけが小さな操作で渡れるのである。

§6効いた二つの軸:名前と、後半の言い直し

第二期で Pangram の判定を単独で動かした軸は二つだけだった。どちらも、線の近くにいる稿にしか効かない。

6-1. 軸A:AIが付けた人名・地名

実験22(作品A 第193話の直接続き、Human)の文を一字も変えず、人名と世界語(帝国→王国、宰相→執政、といった制度語彙、および地名)をAIが入れ替えた実験29は AI 100% に落ちた。ここで一度「Pangram は著者の語彙を暗記しているのではないか」と読んだ。

ところが著者がその29の人名・地名だけをさらに適当に挿げ替えた「29名前挿げ替え」版は Human 100% に戻った。世界語(王国・執政等)とAIが付けた一部の脇役名はそのまま残していたにもかかわらず、である。別アカウントで再投入しても Human だったので、暗記説は撤回した。

22を落としたのは、世界語でも著者の語彙の有無でもなく、AIが付けた人名・地名そのものだった。著者の読みはこうである。「有名どころのAIが選びやすい固有名詞のリストのようなものが判定に効いている」。

ところが同じ手は他の稿では通らなかった。実験26(現代物新作・AI)の日本姓をAIが別の日本姓に替えた30は AI のまま、外伝稿21のカタカナ名をAIが実在の欧米姓に替えた31も AI のまま。著者が同時刻に自分で掛けていた短編αの人名替えも AI だった。

6-2. 軸B:地の文後半の自己訂正型の言い直し

「立っているというより、へばりついている」「あった、というのは正確ではない」「理由は餌ではない。〜である」のように、一度置いた語を直後に否定・修正して言い直す型を、本資料では「言い直し型」と呼ぶ(付録に語群を載せた)。言語モデルが講釈体を真似ると、精密さの演出としてこの型の密度が跳ねる。著者の原作では1,000字あたり0.9〜1.2件、AI稿では4.8〜5.7件と、四〜五倍の差があった。

外伝稿21(15件・AI)から地の文の言い直し型だけを全部削った24は Human に反転した。序盤の4件だけ抜いた27は AI のまま、後半の10件だけ抜いた28は Human。効いたのは「後半」であって「序盤」ではない。

ただし著者の手直し稿は、後半を一切触らず序盤700字の書き換えだけで Human に落ちた。著者の手書きは機械的な削除より強い信号を持つ。手直しの中身は、数字を潰す、オチの一文を直球の誇張に替える、人物に金と高所恐怖症という俗な動機を与える、語り手の直接評価を入れる、身震いという身体反応を入れる、であった。

そして同じ手法を新作に当てても通らなかった(26)。線から遠い稿は、言い直し型を零にしても、俗な動機と数字潰しを入れても AI のまま。

6-3. 二つの軸は稿を選ぶ

稿名前軸言い直し軸読み
22系(作品A 直接続き)効く(29→AI、挿げ替え→Human)効かない(13件あっても Human)もともと Human。AIの造語名で落ちる
21系(外伝稿)効かない(31→AI)効く(後半削除で Human)線の真上。言い直しで往復
26/30(現代物新作)効かない効かない線から遠い
01〜20(独立短編・新作)効かない効かない線から遠い
この節の結論

Pangram の日本語判定は二値だが内部には距離があり、稿がもともと線の近くにいるときだけ、一つの軸(名前、または後半の言い直し)で渡れる。どの軸が効くかは稿によって違い、線から遠い完全新作はどの軸を一つ動かしても AI のまま。名前と言い直しは「線上の稿を渡らせる軸」であって「線まで運ぶ軸」ではない。

§7三条件説の反証と、正規手順での再現

§5・§6 の時点で、次の「三条件説」が立った。

著者の本文を文脈に置いて書き、人名・地名をAIの造語にせず、地の文後半の言い直し型を零にする。この三つを揃えれば Human になる。

これを直接検証するために三本を投入した。

三条件説は崩れた。Human 稿の直続ですら AI である。「本文を一本文脈に置く」ことは、線の近くに来る条件ではなかった。

7-1. 通ったのは、通す為に書かなかった稿

次に投入した実験35は、Pangram を通す目的で書いた稿ではない。作品A の第245話として、作品ワークスペースの資料一式(文体解析・登場人物表・展開リスト・プロット設計・会話アーカイブ・直近5話)を積んだ正規の執筆ワークフローで書いた新作である。→ Human 100%

Human と出た稿を全部並べ直すと、次のようになる。

AI と出た33・34は「原文の一部」「Human 稿一本」だけを文脈に置いて、Pangram 目的で書いた稿だった。線の近くに来る要因は、本文を一本文脈に置くことではなく、作品の資料を厚く積むこと、またはそれと同等の文脈量だと読むのが最も整合する。

7-2. 作品を替えて再現する

対照が一本では心もとない。そこで実験36として、作品B の第63話を同じ正規手順で書いた。実験33と同じ作品、同じ戦場の続きである。積んだ資料は文体解析(直前話の著者手直しから抽出した癖を含む)、登場人物表、展開リスト、三話分のプロット、直前話の著者改稿版、関連する原作三話、作品固有の描写指針。言い直し零、新規人名なし。→ Human 100%

実験33実験36
作品作品B作品B
場面原作第6話冒頭の直続第62話の直続(同一戦場)
人名原作のもののみ原作のもののみ
言い直し型
文脈に置いたもの原作本文の一部作品資料一式(文体解析・人物・展開・プロット・直前話・原作三話・描写指針)
執筆の目的Pangram を通す連載の次話を書く
PangramAI 100%Human 100%

違いは「原文の一部だけを文脈に置いた」か「作品資料一式を積んだ」かだけである。作品Aと作品Bの二作品で、同じ結果が出た。

中心結論

通す為に書くな、正規手順で書け。 Pangram を通したい稿は、作品ワークスペースの資料一式を積んだ正規の執筆ワークフローで書く。本文を一本読んで続きを書くだけでは足りない。それが何を写しているのかは表面指標に出ず、現時点では未解明である。しかし結果は二作品で再現している。

7-3. なぜ「資料を厚く積む」と線の近くに来るのか(仮説)

断定はできないが、整合する仮説を一つ置いておく。言語モデルが文脈から写しているのは語彙ではなく「文の作り方の分布」である。本文一本では、その話一本に固有の癖(場面・人物・テンションに依存する部分)まで写してしまい、作品全体の分布からずれる。文体解析や複数話の原文を積むと、話をまたいで安定している癖だけが平均として写り、それが著者の座標に近づく。Pangram が見ているのも同じ「話をまたいで安定した分布」なので、両者が一致する。

この仮説が正しければ、資料の中で最も効くのは「文体解析」と「複数話の原文」であり、プロットや人物表は間接的にしか効かない。ただし本実測ではそれを分離していないので、ここは未検証と明記しておく。

§8自作分類器が見たAI稿の指紋

本節の数値は自作分類器(§3)の軸であって、Pangram の軸ではない。Pangram の日本語判定はこれらの表面指標と相関しなかった(§5-1)。しかし読者の目には効く軸であり、AI稿を著者の座標へ近づける工程には使えるので、参考として載せる。d は Cohen の d、倍率は平均の比。

8-1. 文の頭(最も強い群)

著者AI倍率読み
文頭が漢字で始まる比率48%62%0.77AIは「名詞は/名詞が」で文を起こす
文頭接続詞(しかし/だが/そして等)率9.4%3.9%2.4著者は接続詞で文を起こす。AIは接続詞を嫌って名詞で起こす
「そして」出現率0.15%0.03%4.5「文頭接続詞の連続を避けよ」という規則をAIが守りすぎている
文頭が「そ」(そして/その/それ)10.3%5.2%2.0
文頭が「だ」(だが/だから)3.7%1.3%2.7
文頭がカタカナ(人名)16.9%9.6%1.8著者は人名で起こし、AIは役職・事物で起こす

8-2. 読点

著者AI倍率
一文あたり読点0.700.431.6
読点ゼロの文の比率47%65%0.73
読点1個の文40%29%1.4
読点2個の文10%5%2.0
読点密度(1,000字)23.516.91.4

執筆規則「読点は一文に最大1つ」をAIは守り、著者自身は破っている。規則を守った結果が座標のずれになっている。規則は読点3個以上を禁じるためのもので、ゼロへ寄せるためのものではない。

8-3. 段落・台詞・記号

著者AI倍率読み
段落長のばらつき(変動係数)0.600.860.70AIの方がばらつく。一文段落と長段落を混ぜて「人間らしさ」を演出した結果。著者の段落は揃い気味
一段落あたり文数のばらつき0.440.700.63同上
台詞行の比率11%24%0.48AI稿は台詞が倍。著者は地の文で話を進める
ダッシュ「──」密度(地の文1,000字)0.571.850.31AI 3.2倍
10字以下の短文の比率13%20%AI稿8本中4本で z>2

8-4. 語

著者倍率読み
「〜な+名詞」(形容動詞連体)2.8著者は「奇妙な男」「妙な話」で形容する。AIは「奇妙さを帯びた男」へ逃げる
「てしまう」3.0話者の評価が乗る補助動詞。AIは削る
「なら」2.0仮定で畳む
「だけ」0.5AIが2倍。「〜だけだった」の格下げ着地
「から」(理由接続)0.6AIが多い。理由で着地する
「なかっ」AI稿で3倍以上。三連否定の残り香

Claude 稿の指紋は四つに畳める。名詞で文を起こす/読点を打たない/短文を刻む/台詞で進める。 語彙ブラックリストとは別の層にある。

§9手直し実験:置換型と削除再構成型

作品Bの同一話について、AI稿と著者の手直し後を比較した。

AI稿(自作LR/Pangram)手直し後(自作LR/Pangram)AI稿の字の残存動いた軸動かなかった軸
第56話0.39/AI0.46/AI82%(文の62%が同一)「た。+漢字」の連続「った。」文末、「。+漢字が」文頭、「から」「なかっ」、平均文長 18→16字、短文 28→35%
第57話0.38/Human0.70/Human30%(文の34%が同一)「が〜の」助詞連鎖、「。+漢字が」文頭、助詞「が」、短文 16→8%「る。+漢字」、「。+漢字の」、文末「いている」

§10対策工程:執筆ワークフローへの組み込み

ここからは実測を執筆工程に落とす。全体の前提を先に置く。数値を合わせに行く工程ではない。 座標を動かす操作は 削る>並べ替える>言い換える の順にしか効かず、言い換えで数値を寄せた本文は語彙がAIのままなので Pangram には効かない。

工程0 種文の指定(執筆前)

工程1 執筆時の座標指定(本文を書く前に読む)

§8 を裏返して書く。倍率を狙って掃引しない。 一話の中で自然に入る形だけ使う。

工程2 走査(本文を出した直後)

python selfcheck.py {話ファイル} --baseline {自筆範囲ディレクトリ}
python stylo_compare.py --human {自筆範囲} --ai {AI稿ディレクトリ} --score {話ファイル}

工程3 修正(削>並>換)

逸脱処置種別
「。+漢字が」「。+漢字の」文頭の連続文の順序を入れ替える。目的語や副詞句を前へ出す
台詞行比率が高い台詞を削って地の文へ畳む
ダッシュ密度削る。読点か句点へ
読点ゼロ文の比率折れ目に読点を打つ換(例外的に許す。語彙は増えない)
10字以下短文の連打二文を一文へ繋ぐ
文末2字の連続語尾を変える
「だけだった」「〜から」着地着地の文を削る
「〜さを帯びた」「〜な」へ
言い直し型(地の文後半)後半だけ残す。否定形で始めない

「換」が過半になったら疑う。字数が減っていない改稿は座標が動いていない

工程4 再走査

同じ二本を再実行し、上位5軸が入れ替わったかを見る。動かない軸は報告に残す。文末の型は語尾処理へ回す。

工程5 Pangram 投入(任意)

号令があるときだけ。クレジットは日本語約1字=0.85語で減る。結果は台帳に追記し、自作分類器の値と並べて対応を取る。食い違いの読み方は向きで変える。

既に書いた稿の復旧順序

本文に手を入れる前に、安い順に試す。

  1. 人名・地名を著者が付け直して掛け直す(実験29 名前挿げ替え)
  2. 動かなければ地の文後半の言い直し型を削って掛け直す(実験28)
  3. それでも動かなければ、その稿は線から遠い。種文と資料を積み直して書き直す(実験35・36)

§11名付けの指針

実験29とその名前挿げ替え版が示したのは、AIが選びがちな人名・地名は、それ自体が Pangram の AI 信号になるということである。文を一字も直さず名前を替えただけで AI 100% が Human 100% に返った稿がある。ただし線から遠い稿は名前だけでは動かない(30・31)ので、これは単独の対策ではなく、工程0(種文)・言い直し零・資料を積んだ正規手順と揃えて初めて効く条件の一つである。

11-1. 最も危ない名

AIが「その世界らしく整った」名を作るのが最も危ない。

11-2. 人間側に振れた名

著者が挿げ替えた名は、意図的に「整っていない」ものだった。

共通するのは、「その世界に最適化されていない」ことである。AIは最適化してしまう。人間は最適化しない。

11-3. 運用

§12誤読の警告:Human は「人間の文」ではない

本資料を読んで「Human が出れば安心」と受け取ることが、最も危険な読み方である。理由を三つ挙げる。

  1. 名前を替えただけの AI 稿が通る。 実験29 名前挿げ替え版は、AIが書いた文を一字も直していない。Pangram の Human は、その稿が人間の文になったことを意味しない。
  2. 素の AI 稿が第一期で5本通っている。 手を入れない Claude 稿が Human 100% で通った。Pangram の Human は「まだ拾われていない」の意味でしかない。
  3. 読者の目は Pangram より先に気づく。 言い直し型、三段構文、事物主語の連続、五感の欲張り、末尾の意味回収。これらは検出器の判定と無関係に読者が感知する。検出器を通ることを執筆の目的にすると、読者対策が抜ける。

Pangram の Human を作品の品質保証に使ってはならない。これは第一期から一貫して変わらない結論であり、第二期でむしろ強まった。

位置づけ

検出器対策の本文書は、AI臭を潰す辞書(読者対策)とは別の層にある。検出器はその辞書が扱う型を見ていない。だから対検出器の戦略は一つしかない。本文に著者の座標を残す。 警告を全部消しても座標は動かない。座標が動くのは、著者が書いたときにしか出ない癖が本文に入ったときだけである。

§13運用プロトコルとクレジット事故

本実測ではクレジットの無駄遣いを何度か起こした。同じ轍を踏まないための手順を固定する。

13-1. 貼り付けと照合

  1. 本文を dashboard のテキストエリアへ貼る。ブラウザ自動化で貼る場合は React の native setter で value を書き、input イベントを一回だけ発火させる。ペースト操作の繰り返しは禁止。
  2. Scan を押す前に、テキストエリアの中身を読み戻して文字数・行数・先頭50字・末尾50字を原稿と照合する。末尾が欠けた状態で送った事故が一度あった。
  3. 照合が通ったら Scan を一回だけ押す。
  4. 結果が表示されない、または画面が古い状態で止まったときは、再送せず、新しいタブで dashboard を開き直して History から結果を確認する。古いタブでの再送が二重課金の正体だった。

13-2. 一本一スキャン

判定は決定論的(§1-2)。同じ本文を掛け直しても同じ結果が返る。「揺れ待ち」の再スキャンは純粋な損である。

13-3. 台帳

結果は追記専用の台帳(jsonl 等)に、標本名・字数・チェックサム・判定・確信度・投入前後の残高・条件メモを一行ずつ残す。投入前後の残高差が表示消費と合わないときは、必ずその場で History を数える。合わない原因は再送か、同一アカウントで別の人が同時に掛けた分の混入かのどちらかだった。

13-4. 共有アカウントでの同時スキャン

同一アカウントで複数人が同時に掛けると、残高差に相手の消費が混ざる。台帳には「同時スキャンあり」と注記し、表示消費のほうを採用する。

13-5. 共有・公開機能は触らない

dashboard の Share/Publish は、本文を外部URLに置く機能である。未公開原稿の検証で誤って押すと本文が流出する。自動化する場合はそのボタンを操作対象から除外する。

13-6. 消費の目安

字数概算クレジット
2,000字約17〜20
3,000字約25〜30
3,500字約30

本実測の総消費は、第一期19本で477、第二期36本+再現2本で約1,275(同時スキャンの混入分を含む)。合計およそ1,750クレジットである。

§14よくある質問

Q. AI臭い語句を全部消せば通りますか。

通らない。語彙リストの全消しは分類器の座標を動かさない(§2-2)。第二期の独立短編20本は、語彙警告を潰した上で全部 AI と出た。

Q. 短文を減らして読点を増やせば通りますか。

通らない。第一期でそう見えた仮説は第二期で棄却された(§5-1)。短文2%・読点ゼロ26%という「人間座標」にいる新作が AI と出ている。

Q. 名前を人間が付け直せば通りますか。

稿による。もともと線の近くにいた稿(著者の作品の正規手順の続話)なら、AIが付けた名前を人間が付け直すだけで戻る(実験29 名前挿げ替え)。線から遠い新作は名前だけでは動かない(30・31)。

Q. 言い直し型を削れば通りますか。

稿による。線の真上にいた外伝稿は、地の文後半の言い直し型を削るだけで Human に落ちた(28)。序盤だけ削っても動かない(27)。線から遠い新作は削っても動かない(26)。

Q. 著者の原文を読ませて続きを書かせれば通りますか。

足りない。原文の一部を文脈に置いた直続(33)、Human 稿一本の直続(34)はいずれも AI。通ったのは、文体解析・登場人物・展開リスト・プロット・直近話・関連する原作話を積んだ正規手順の稿(35・36)だけである(§7)。

Q. モデルを替えれば通りますか。

Fable と Opus 5 で差は出なかった(19/20)。モデルの別は判定と相関しない。

Q. 書式(見出し・記号・ルビ・括弧注)は影響しますか。

影響しなかった。投稿サイトのメタブロックやAI調の前書きを含む自筆稿は Human のまま、書式を剥がしたAI稿は判定が変わらなかった(11/12)。

Q. 同じ本文を何度か掛ければ通る回がありますか。

ない。判定は決定論的で、再投入2本は初回と同じ結果を返した。クレジットを捨てるだけである。

Q. Human と出れば読者にも人間の文として読まれますか。

別問題である。名前を替えただけのAI稿が Human で通る一方、読者は言い直し型や三段構文を最前面で感知する。検出器の通過と読者の評価は切り離して扱う(§12)。

Q. 自作分類器で Pangram を代替できますか。

できない。自作分類器はAI稿を全部AI側に置くが、Pangram はそのうち一部しかAIと出さない。両者は別の層を見ている。自作は「著者の座標からの距離」を測る内製の計器であり、Pangram の予測器ではない。

§15限界と、指標の寿命

付録語群・出力直前の12問・用語

A. 言い直し型の検出語群(地の文のみ・1,000字あたりの密度で見る)

というより/と言うより/と言った方が/と言うべき/正確ではない/
言い様がない/言いようがない/ではなく/ではない。/
比喩ではない/比喩である/訳ではない/わけではない/わけでは無い

正規表現一本にまとめると次の通り。

というより|と言うより|と言った方が|と言うべき|正確ではない|言い様がない|言いようがない|比喩ではない|比喩である|訳ではない|わけではない|わけでは無い|ではなく|ではない。

目安:著者の原作で1,000字あたり約1件。2件を超えたら警告。一話に二回までは残してよい。台詞内の掛け合いは対象外。閾値超過で掃引しない。

B. 出力直前の12問(本文を出す前に通読で通す)

  1. 三段構文は何回出たか。二回以上なら崩す。自己訂正型の言い直しは何回か。地の文で一話三回以上なら後半だけ残す。
  2. 事物主語の文が続いていないか。視点人物の身体に戻す。
  3. シーンの段階ごとに文体が変わっているか。全編同じ丁寧さなら失格。
  4. 緊迫の頂点で悠長な描写をしていないか。
  5. 五感を欲張っていないか。主役の感覚一つに絞れているか。
  6. 末尾で意味を回収して締めていないか。
  7. 全人物の思考回路と喋り方が同じ型になっていないか。
  8. 同じ比喩語・常用語を近接して再使用していないか。
  9. 段落の長さ・文の長さが揃いすぎていないか。音読して息が均一なら崩す。
  10. 翻訳調(「〜することができる」「〜することによって」「なぜなら」後置き、「〜に他ならない」)が地の文に残っていないか。
  11. 仕草・沈黙・感覚の直後に、その意味・原因・一般論・「分からない」を書いていないか。直後の文は次の具体にする。
  12. 各段落から「名前・物・数・因果・代償」のどれか一つを言い直せるか。言い直せない段落は削る。段落数の三分の一が落ちたら話単位で書き直す。

12問を全て機械的に均すためのチェックではない。修正は削る>並べ替える>言い換えるの順で効く。全箇所へ一律に当てない。

C. 用語

用語意味
著者同定「文がAIっぽいか」ではなく「誰が書いたか」を推定する分類の設計。Pangram 4 の実体
判定線Pangram の二値判定の境界。二値だが内部には距離があり、線の近くの稿だけが小さな操作で渡れる
座標文体の分布上の位置。語彙ではなく文の作り方の総体で決まる
種文自作分類器・ベースライン走査に渡す著者自筆の範囲。AI稿や手直しを混ぜてはならない
正規手順作品ワークスペースの資料一式(文体解析・登場人物・展開リスト・プロット・会話アーカイブ・直近話・原作の直近話)を積んだ執筆ワークフロー
言い直し型一度置いた語を直後に否定・修正して言い直す型。「XというよりY」「Xではない。Yだ」
掃引修正を全箇所へ一律に当てること。処理の均質さ自体が新しいAI信号になるので禁止
置換型/削除再構成型手直しの二種。前者は字を残して言い換える(座標が動かない)、後者は削って組み直す(座標が動く)
Humanizer機械的な人間化処理。Pangram は別ヘッドで検出する