語彙リストを潰しても判定は動かない。動かしたのは「名前」と「言い直し」と、そして「書き方そのもの」だった。第一期19本・第二期36本+再現2本、およそ1,750クレジットを投じて得た知見と、執筆工程に組み込むための対策を一冊にまとめる。
本資料は、商用AI検出器 Pangram 4.0 に対して日本語のWeb小説を合計57本(第一期19本、第二期36本、再現確認2本)投入し、その判定を執筆条件と突き合わせた記録である。著者が自分で書いた原作、その続話としてAIが書いた稿、AIが独立に書いた新作短編、名前だけを入れ替えた稿、言い直しの型だけを削った稿、といった対照群を組み、「何を変えると判定が動くのか」を一つずつ潰した。
一言でいえば、「通す為に書くな、正規手順で書け」である。以下、この結論に至るまでの実測を順に示す。数値はすべて実際の判定結果で、都合の悪い結果も含めて全部載せた。
Pangram 4.0 の dashboard に本文を貼り付けて Scan すると、本文が節(segment)に分割され、節ごとに Human/AI-Assisted/AI-Generated のラベルと確信度(High/Medium/Low)が返る。英語ではウィンドウ単位で確信度が揺れ、一つの文書の中に Human と AI の節が混在するのが普通である。
ところが日本語では様子がまるで違う。57本すべてで、全文が一つの節として扱われ、判定は 100% Human か 100% AI のどちらかで、AI-Assisted の節も段落分割も一度も出なかった。確信度も全本 High であった。つまり日本語に対する Pangram は、実質的に「全文一括の二値分類器」として振る舞う。
同一本文を時間を置いて再投入した2本(後述の実験24、実験29名前挿げ替え版)は、いずれも初回と同じ判定を返した。別アカウントから投入しても同じだった。判定は決定論的であり、揺らぎを狙って何度も掛け直す意味はない。これはクレジット節約の観点で重要な確認である。
Pangram のクレジットは「100語 = 1クレジット」で計上される。日本語には分かち書きがないため、Pangram は独自のトークン化で語数を数える。実測では日本語1字 ≈ 0.85語程度で、2,000字の話一本が約17〜20クレジット、3,500字なら約30クレジットに相当する。
ただし、表示された消費と実際の残高減少が合わない回が複数あった。原因を History から突き止めると、貼り付けに失敗して再送した回だけ、同一本文のエントリが二重三重に並んでいた(最悪の稿で5件)。課金に隠れ倍率があるのではなく、失敗試行のたびに送信が余分に走っていたのである。貼り付けの手順を固定してからは、表示どおりに減るようになった。詳細は §13 に譲る。
日本語では全文一節・二値・決定論的。クレジットは1字≈0.85語で減り、貼付失敗の再送が二重課金の正体。「揺れ待ち」の再スキャンは無意味である。
AI検出器と聞くと「AIっぽい語句を数えているのだろう」と想像しがちだが、Pangram 4 の設計はそれとは異なる。公開されている情報と、本実測の結果を突き合わせると、次のことが言える。
Pangram 4 の教師データは節単位で、おおむね次のように付けられている。
この三分類が示すのは、Pangram は「文がAIっぽいか」ではなく「この文を書いたのは誰か」を推定するように訓練されている、ということである。数十万の分布的信号から文体の座標を出し、その座標が「人間の書き手の分布」に落ちるか「言語モデルの分布」に落ちるかを見ている。em dash も特定の慣用句も、その中の一信号に過ぎない。
AI臭い語句のブラックリスト(「一拍」「空気が変わった」「沈黙が落ちた」「それだけのことだ」等)を全消ししたテキストは、分類器では依然 AI と出る。座標を動かすのは語彙ではなく、文の作り方の総体である。語彙走査は読者に対する最低線であって、検出器対策にはならない。
同義語置換、記号の一律差し替え、同形異字の混入といった機械的な「人間化」処理は、Pangram では「Humanizer」として別ヘッドで検出される。修正を全箇所に一律に当てると、その処理の均質さ自体が新しい信号になる。本資料では、この「掃引の禁止」を対策の前提に置く。
教師ラベルの三分類からは「原語彙を残した削除・並べ替えは Human 側に落ち、言い換えは AI 側に落ちる」と読める。英語ではその通りに動く。しかし本実測の日本語では、語彙残存率よりも先に、文の作り方の座標が判定を割った。日本語の言語モデル出力は、語彙の層とは別の層で見分けられている。
日本語では、機械が機能語のバイグラムで99%超を当てる一方、人間の読者による判定は最高でも56.8%、人間の文章を正しく人間と判定できた割合は31.5%に留まる(Zaitsu & Jin 2023/2025)。読者が「AIっぽい」と言うとき、その三分の二は外れている。それでも読まれなくなるのだから、検出器対策と読者対策は別々に持つ必要がある。
| 計測器 | 中身 | 用途 |
|---|---|---|
| Pangram 4.0(dashboard) | 商用検出器。Human/AI-Assisted/AI-Generated の節ラベルと確信度 | 外部の答え合わせ。クレジット消費あり |
| 自作分類器(stylo_compare) | 著者自筆稿とAI稿を読み、447特徴(文長分布・読点・文頭文末・助詞・文字2-3gram・段落・台詞)でナイーブベイズとロジスティック回帰を学習。5分割交差検証 | 内製の座標計。Pangram の代替ではない |
| 自筆ベースライン走査(selfcheck --baseline) | 自筆原稿の中央値との相対比較 | 話単位の日常走査 |
自作分類器の教師データは、見出し行・記号行を除去した掃除版で次の通り。
交差検証の結果は ロジスティック回帰 93.5%(人間再現率 95.7%/AI再現率 90.5%)、ナイーブベイズ 90.3%。見出し行を残した粗版はロジスティック回帰 97.4% を出したが、それは「■」「【」といった書式で当てていただけだったので捨てた。高い数字が出たときほど、何で当てているかを疑う。この教訓は後に Pangram の読みでも効いてくる。
本資料では標本を次の五種に分けて呼ぶ。
第一期では、自筆・AI稿・手直し・改稿を混ぜて19本を投入し、477クレジットを消費した。各標本について、自作分類器の人間側確率(自作LR)と、地の文の主要指標(平均文長・10字以下の短文の比率・読点ゼロ文の比率・ダッシュ密度・台詞行比率)を並べた。
| 標本 | 種別 | 字数 | Pangram | 自作LR | 平均文長 | 短文≤10 | 読点0文 | ダッシュ/千字 | 台詞行 |
|---|---|---|---|---|---|---|---|---|---|
| 作品B 第10話 | 自筆 | 2,311 | Human | 0.57 | 23.9 | 24% | 66% | 0.43 | 8% |
| 作品B 第30話 | 自筆 | 2,434 | Human | 1.00 | 32.1 | 9% | 44% | 2.47 | 0% |
| 作品B 第50話 | 自筆 | 2,443 | Human | 1.00 | 27.7 | 7% | 37% | 3.68 | 12% |
| 作品A 原作a | 自筆 | 2,552 | Human | 0.93 | 31.2 | 9% | 42% | 0.39 | 19% |
| 作品A 原作b | 自筆 | 2,422 | Human | 0.94 | 34.2 | 9% | 57% | 1.24 | 0% |
| 作品A 原作c | 自筆 | 2,372 | Human | 0.38 | 29.7 | 14% | 41% | 3.37 | 9% |
| 作品B 第56話 AI稿 | AI稿(続話) | 4,509 | AI | 0.39 | 18.1 | 28% | 78% | 5.99 | 23% |
| 作品B 第57話 AI稿 | AI稿(続話) | 3,223 | Human | 0.38 | 22.1 | 16% | 78% | 3.72 | 16% |
| 作品B 第62話 AI稿 | AI稿(続話) | 2,954 | Human | 0.11 | 32.3 | 5% | 39% | 4.06 | 7% |
| 作品A 第240話 AI稿 | AI稿(続話) | 2,411 | Human | 0.04 | 23.4 | 11% | 46% | 0.83 | 22% |
| 作品A 第242話 AI稿 | AI稿(続話) | 2,373 | Human | 0.01 | 27.4 | 7% | 42% | 0.42 | 23% |
| 作品A 第244話 AI稿 | AI稿(続話) | 2,433 | Human | 0.00 | 21.3 | 25% | 55% | 2.06 | 7% |
| 作品D 第4話 | AI稿(新作) | 2,408 | AI | 0.00 | 24.9 | 37% | 80% | 0.0 | 0% |
| 作品D 第7話 | AI稿(新作) | 2,439 | AI | 0.00 | 25.5 | 32% | 69% | 0.0 | 1% |
| 作品B 第56話 著者手直し(AI稿の字を82%保持) | 手直し | 4,695 | AI | 0.46 | 15.7 | 35% | 80% | 5.96 | 18% |
| 作品B 第57話 掲載版(AI稿の字を30%保持) | 手直し | 3,195 | Human | 0.70 | 25.1 | 8% | 72% | 4.38 | 14% |
| 作品A 改稿版 第2話 | 改稿 | 2,087 | Human | 0.99 | 32.1 | 4% | 56% | 1.44 | 27% |
| 作品A 改稿版 第103話 | 改稿 | 2,078 | Human | 0.99 | 30.9 | 8% | 56% | 0.0 | 10% |
| 作品A 改稿版 第199話 | 改稿 | 2,384 | Human | 0.96 | 37.3 | 3% | 16% | 0.0 | 42% |
「10字以下の短文が三割超、かつ読点ゼロ文が七割超の稿だけが AI と出る」。n=13 の事後当てはめとしてはきれいに整合していた。次節でこの仮説は崩れる。
第二期は「著者の作品でなく、AIが自分の作品として Human 判定を出せる文章を書け。クレジットが尽きるまで試してよい」という方針で始めた。Fable と Opus 5 が書いた稿を36本投入し、第一期の座標(短文率・読点ゼロ率)を全本で測り直した。
| 実験 | 中身 | 字数 | 短文≤10 | 読点0 | 言い直し/千字 | Pangram |
|---|---|---|---|---|---|---|
| 01〜10 | 独立短編(短編α ほか)。座標寄せ・読点抑制・刻み・随筆調・書式ノイズ・声移植・人間ノイズ・段落短縮・全部盛り | 1,040〜1,803 | 2〜75% | 26〜99% | 0.0〜2.7 | 全部 AI |
| 11/12 | 作品A 第244話(AI稿)の書式剥がし/人名漢字化 | 2,300 | 28〜31% | 54% | 3.2 | Human |
| 13 | 短編α 著者の癖を全載せ | 1,932 | 21% | 50% | 0.6 | AI |
| 14〜18 | 短編β(投稿サイト系新作)/短編γ(二人称)/連載途中の一片/現代日常/解説回 | 1,677〜3,449 | 19〜29% | 35〜57% | 0.4〜2.8 | 全部 AI |
| 19/20 | 短編β・短編α を Opus 5 で執筆 | 2,127〜2,355 | 15〜27% | 48〜56% | 0.6〜1.9 | AI |
| 21 | 外伝稿(オリジナル世界。作品Bの原文全編を読んだ直後に執筆) | 3,505 | 15% | 43% | 4.9 | AI |
| 22 | 作品A 第193話の直接続き。言い直し型ゼロ | 2,778 | 15% | 49% | 0.0 | Human |
| 23 | 22 の初稿復元(言い直し型13件あり) | 2,898 | 14% | 48% | 5.6 | Human |
| 24 | 21 から地の文の言い直し型のみ削除 | 3,317 | 15% | 48% | 0.0 | Human |
| 21 手直し | 著者が 21 の序盤約700字だけ書き換え。後半は原文のまま(言い直し型10件残) | 3,477 | 15% | 45% | 3.5 | Human |
| 25 | 手直し稿の序盤+後半に同じ手法を全編適用 | 3,231 | 14% | 47% | 0.7 | Human |
| 26 | 現代物短編(完全新作・手法適用・言い直し型ゼロ) | 2,106 | 18% | 50% | 0.0 | AI |
| 27 | 21 の序盤だけ言い直し削除、後半は原文 | 3,435 | 15% | 43% | 3.0 | AI |
| 28 | 21 の序盤は原文、後半だけ言い直し削除 | 3,374 | 15% | 45% | 1.5 | Human |
| 29 | 22 の固有名詞と世界語を AI が総入替。文はそのまま | 2,752 | 15% | 49% | 0.0 | AI |
| 29 名前挿げ替え | 著者が 29 の人名・地名だけを適当に挿げ替え(世界語・文はそのまま) | 2,791 | 15% | 49% | 0.0 | Human |
| 30 | 26 の人名・地名だけ挿げ替え(AIが別の日本姓を選択) | 2,137 | 18% | 50% | 0.0 | AI |
| 31 | 21 の人名・地名だけ挿げ替え(AIが実在の欧米姓を選択) | 3,515 | 15% | 43% | 4.9 | AI |
| 再現 | 24 をそのまま再投入 | 3,317 | 15% | 48% | 0.0 | Human(初回と同じ) |
| 32 | 新世界稿(オリジナル世界の新作。作品B原文を直前に読み、名前は著者流、言い直し零=三条件を揃えた) | 1,898 | — | — | 0.0 | AI |
| 33 | 作品B 第6話冒頭の直続(原作の人名のみ・言い直し零。原作本文の一部だけを文脈に置いた) | 2,794 | — | — | 0.0 | AI |
| 34 | 外伝稿の続き(Human の 24 の直続・同世界同人物・言い直し零。24 の本文だけを文脈に置いた) | 2,703 | — | — | 0.0 | AI |
| 35 | 作品A 第245話(作品ワークスペースの資料一式〈文体解析・登場人物・展開リスト・プロット設計・直近5話〉を積んだ正規執筆手順の新作。言い直し零) | 2,990 | — | — | 0.0 | Human |
| 36 | 作品B 第63話(33 と同じ作品。文体解析・登場人物・展開リスト・三話分プロット・直前話の著者改稿版・関連する原作三話・作品固有の描写指針を積んだ正規執筆手順の新作。言い直し零・新規人名なし) | 2,464 | — | — | 0.0 | Human |
AI と出た 01〜10 は短文2〜6%・読点ゼロ26〜39%の、第一期でいう「人間座標」にいる。逆に Human と出た 11/12 は短文三割・読点ゼロ五割強にいる。第一期の仮説は真逆の例で両側から崩れた。
念のため、文末形(た/る/である/のだ)の分布、段落あたり文数、台詞行比率、固有名詞密度、ルビ、括弧注、接続詞密度、書式、モデルの別(Fable/Opus 5)も全部並べたが、判定と相関する軸は一本もなかった。表面指標では Pangram の日本語判定は説明できない。
第二期で Human と出た稿を並べると、11/12(作品A 第244話)、22/23(作品A 第193話の直接続き)、24/25/28/手直し稿(外伝稿。作品Bの原文全編を読んだ直後に書いた)、35(作品A 第245話)、36(作品B 第63話)である。世界も人物も著者のものでない独立短編・新作(01〜10・13〜20・26・30・31)は20本すべて AI。
この時点で「著者の本文を文脈に置いて書けば線の近くに来る」と読んだ。それは半分正しく、半分足りなかった。足りない半分は §7 で明らかになる。
外伝稿(21系)は判定線の真上にいて、言い直し型の削り方によって AI と Human を往復した。この往復こそが、Pangram の二値判定の内側に「距離」があることを示す最初の証拠になった。判定は二値だが、稿ごとに線までの距離が違い、線の近くにいる稿だけが小さな操作で渡れるのである。
第二期で Pangram の判定を単独で動かした軸は二つだけだった。どちらも、線の近くにいる稿にしか効かない。
実験22(作品A 第193話の直接続き、Human)の文を一字も変えず、人名と世界語(帝国→王国、宰相→執政、といった制度語彙、および地名)をAIが入れ替えた実験29は AI 100% に落ちた。ここで一度「Pangram は著者の語彙を暗記しているのではないか」と読んだ。
ところが著者がその29の人名・地名だけをさらに適当に挿げ替えた「29名前挿げ替え」版は Human 100% に戻った。世界語(王国・執政等)とAIが付けた一部の脇役名はそのまま残していたにもかかわらず、である。別アカウントで再投入しても Human だったので、暗記説は撤回した。
22を落としたのは、世界語でも著者の語彙の有無でもなく、AIが付けた人名・地名そのものだった。著者の読みはこうである。「有名どころのAIが選びやすい固有名詞のリストのようなものが判定に効いている」。
ところが同じ手は他の稿では通らなかった。実験26(現代物新作・AI)の日本姓をAIが別の日本姓に替えた30は AI のまま、外伝稿21のカタカナ名をAIが実在の欧米姓に替えた31も AI のまま。著者が同時刻に自分で掛けていた短編αの人名替えも AI だった。
「立っているというより、へばりついている」「あった、というのは正確ではない」「理由は餌ではない。〜である」のように、一度置いた語を直後に否定・修正して言い直す型を、本資料では「言い直し型」と呼ぶ(付録に語群を載せた)。言語モデルが講釈体を真似ると、精密さの演出としてこの型の密度が跳ねる。著者の原作では1,000字あたり0.9〜1.2件、AI稿では4.8〜5.7件と、四〜五倍の差があった。
外伝稿21(15件・AI)から地の文の言い直し型だけを全部削った24は Human に反転した。序盤の4件だけ抜いた27は AI のまま、後半の10件だけ抜いた28は Human。効いたのは「後半」であって「序盤」ではない。
ただし著者の手直し稿は、後半を一切触らず序盤700字の書き換えだけで Human に落ちた。著者の手書きは機械的な削除より強い信号を持つ。手直しの中身は、数字を潰す、オチの一文を直球の誇張に替える、人物に金と高所恐怖症という俗な動機を与える、語り手の直接評価を入れる、身震いという身体反応を入れる、であった。
そして同じ手法を新作に当てても通らなかった(26)。線から遠い稿は、言い直し型を零にしても、俗な動機と数字潰しを入れても AI のまま。
| 稿 | 名前軸 | 言い直し軸 | 読み |
|---|---|---|---|
| 22系(作品A 直接続き) | 効く(29→AI、挿げ替え→Human) | 効かない(13件あっても Human) | もともと Human。AIの造語名で落ちる |
| 21系(外伝稿) | 効かない(31→AI) | 効く(後半削除で Human) | 線の真上。言い直しで往復 |
| 26/30(現代物新作) | 効かない | 効かない | 線から遠い |
| 01〜20(独立短編・新作) | 効かない | 効かない | 線から遠い |
Pangram の日本語判定は二値だが内部には距離があり、稿がもともと線の近くにいるときだけ、一つの軸(名前、または後半の言い直し)で渡れる。どの軸が効くかは稿によって違い、線から遠い完全新作はどの軸を一つ動かしても AI のまま。名前と言い直しは「線上の稿を渡らせる軸」であって「線まで運ぶ軸」ではない。
§5・§6 の時点で、次の「三条件説」が立った。
著者の本文を文脈に置いて書き、人名・地名をAIの造語にせず、地の文後半の言い直し型を零にする。この三つを揃えれば Human になる。
これを直接検証するために三本を投入した。
三条件説は崩れた。Human 稿の直続ですら AI である。「本文を一本文脈に置く」ことは、線の近くに来る条件ではなかった。
次に投入した実験35は、Pangram を通す目的で書いた稿ではない。作品A の第245話として、作品ワークスペースの資料一式(文体解析・登場人物表・展開リスト・プロット設計・会話アーカイブ・直近5話)を積んだ正規の執筆ワークフローで書いた新作である。→ Human 100%
Human と出た稿を全部並べ直すと、次のようになる。
AI と出た33・34は「原文の一部」「Human 稿一本」だけを文脈に置いて、Pangram 目的で書いた稿だった。線の近くに来る要因は、本文を一本文脈に置くことではなく、作品の資料を厚く積むこと、またはそれと同等の文脈量だと読むのが最も整合する。
対照が一本では心もとない。そこで実験36として、作品B の第63話を同じ正規手順で書いた。実験33と同じ作品、同じ戦場の続きである。積んだ資料は文体解析(直前話の著者手直しから抽出した癖を含む)、登場人物表、展開リスト、三話分のプロット、直前話の著者改稿版、関連する原作三話、作品固有の描写指針。言い直し零、新規人名なし。→ Human 100%
| 実験33 | 実験36 | |
|---|---|---|
| 作品 | 作品B | 作品B |
| 場面 | 原作第6話冒頭の直続 | 第62話の直続(同一戦場) |
| 人名 | 原作のもののみ | 原作のもののみ |
| 言い直し型 | 零 | 零 |
| 文脈に置いたもの | 原作本文の一部 | 作品資料一式(文体解析・人物・展開・プロット・直前話・原作三話・描写指針) |
| 執筆の目的 | Pangram を通す | 連載の次話を書く |
| Pangram | AI 100% | Human 100% |
違いは「原文の一部だけを文脈に置いた」か「作品資料一式を積んだ」かだけである。作品Aと作品Bの二作品で、同じ結果が出た。
通す為に書くな、正規手順で書け。 Pangram を通したい稿は、作品ワークスペースの資料一式を積んだ正規の執筆ワークフローで書く。本文を一本読んで続きを書くだけでは足りない。それが何を写しているのかは表面指標に出ず、現時点では未解明である。しかし結果は二作品で再現している。
断定はできないが、整合する仮説を一つ置いておく。言語モデルが文脈から写しているのは語彙ではなく「文の作り方の分布」である。本文一本では、その話一本に固有の癖(場面・人物・テンションに依存する部分)まで写してしまい、作品全体の分布からずれる。文体解析や複数話の原文を積むと、話をまたいで安定している癖だけが平均として写り、それが著者の座標に近づく。Pangram が見ているのも同じ「話をまたいで安定した分布」なので、両者が一致する。
この仮説が正しければ、資料の中で最も効くのは「文体解析」と「複数話の原文」であり、プロットや人物表は間接的にしか効かない。ただし本実測ではそれを分離していないので、ここは未検証と明記しておく。
本節の数値は自作分類器(§3)の軸であって、Pangram の軸ではない。Pangram の日本語判定はこれらの表面指標と相関しなかった(§5-1)。しかし読者の目には効く軸であり、AI稿を著者の座標へ近づける工程には使えるので、参考として載せる。d は Cohen の d、倍率は平均の比。
| 軸 | 著者 | AI | 倍率 | 読み |
|---|---|---|---|---|
| 文頭が漢字で始まる比率 | 48% | 62% | 0.77 | AIは「名詞は/名詞が」で文を起こす |
| 文頭接続詞(しかし/だが/そして等)率 | 9.4% | 3.9% | 2.4 | 著者は接続詞で文を起こす。AIは接続詞を嫌って名詞で起こす |
| 「そして」出現率 | 0.15% | 0.03% | 4.5 | 「文頭接続詞の連続を避けよ」という規則をAIが守りすぎている |
| 文頭が「そ」(そして/その/それ) | 10.3% | 5.2% | 2.0 | |
| 文頭が「だ」(だが/だから) | 3.7% | 1.3% | 2.7 | |
| 文頭がカタカナ(人名) | 16.9% | 9.6% | 1.8 | 著者は人名で起こし、AIは役職・事物で起こす |
| 軸 | 著者 | AI | 倍率 |
|---|---|---|---|
| 一文あたり読点 | 0.70 | 0.43 | 1.6 |
| 読点ゼロの文の比率 | 47% | 65% | 0.73 |
| 読点1個の文 | 40% | 29% | 1.4 |
| 読点2個の文 | 10% | 5% | 2.0 |
| 読点密度(1,000字) | 23.5 | 16.9 | 1.4 |
執筆規則「読点は一文に最大1つ」をAIは守り、著者自身は破っている。規則を守った結果が座標のずれになっている。規則は読点3個以上を禁じるためのもので、ゼロへ寄せるためのものではない。
| 軸 | 著者 | AI | 倍率 | 読み |
|---|---|---|---|---|
| 段落長のばらつき(変動係数) | 0.60 | 0.86 | 0.70 | AIの方がばらつく。一文段落と長段落を混ぜて「人間らしさ」を演出した結果。著者の段落は揃い気味 |
| 一段落あたり文数のばらつき | 0.44 | 0.70 | 0.63 | 同上 |
| 台詞行の比率 | 11% | 24% | 0.48 | AI稿は台詞が倍。著者は地の文で話を進める |
| ダッシュ「──」密度(地の文1,000字) | 0.57 | 1.85 | 0.31 | AI 3.2倍 |
| 10字以下の短文の比率 | 13% | 20% | AI稿8本中4本で z>2 |
| 語 | 著者倍率 | 読み |
|---|---|---|
| 「〜な+名詞」(形容動詞連体) | 2.8 | 著者は「奇妙な男」「妙な話」で形容する。AIは「奇妙さを帯びた男」へ逃げる |
| 「てしまう」 | 3.0 | 話者の評価が乗る補助動詞。AIは削る |
| 「なら」 | 2.0 | 仮定で畳む |
| 「だけ」 | 0.5 | AIが2倍。「〜だけだった」の格下げ着地 |
| 「から」(理由接続) | 0.6 | AIが多い。理由で着地する |
| 「なかっ」 | — | AI稿で3倍以上。三連否定の残り香 |
Claude 稿の指紋は四つに畳める。名詞で文を起こす/読点を打たない/短文を刻む/台詞で進める。 語彙ブラックリストとは別の層にある。
作品Bの同一話について、AI稿と著者の手直し後を比較した。
| 話 | AI稿(自作LR/Pangram) | 手直し後(自作LR/Pangram) | AI稿の字の残存 | 動いた軸 | 動かなかった軸 |
|---|---|---|---|---|---|
| 第56話 | 0.39/AI | 0.46/AI | 82%(文の62%が同一) | 「た。+漢字」の連続 | 「った。」文末、「。+漢字が」文頭、「から」「なかっ」、平均文長 18→16字、短文 28→35% |
| 第57話 | 0.38/Human | 0.70/Human | 30%(文の34%が同一) | 「が〜の」助詞連鎖、「。+漢字が」文頭、助詞「が」、短文 16→8% | 「る。+漢字」、「。+漢字の」、文末「いている」 |
ここからは実測を執筆工程に落とす。全体の前提を先に置く。数値を合わせに行く工程ではない。 座標を動かす操作は 削る>並べ替える>言い換える の順にしか効かず、言い換えで数値を寄せた本文は語彙がAIのままなので Pangram には効かない。
§8 を裏返して書く。倍率を狙って掃引しない。 一話の中で自然に入る形だけ使う。
python selfcheck.py {話ファイル} --baseline {自筆範囲ディレクトリ}
python stylo_compare.py --human {自筆範囲} --ai {AI稿ディレクトリ} --score {話ファイル}
| 逸脱 | 処置 | 種別 |
|---|---|---|
| 「。+漢字が」「。+漢字の」文頭の連続 | 文の順序を入れ替える。目的語や副詞句を前へ出す | 並 |
| 台詞行比率が高い | 台詞を削って地の文へ畳む | 削 |
| ダッシュ密度 | 削る。読点か句点へ | 削 |
| 読点ゼロ文の比率 | 折れ目に読点を打つ | 換(例外的に許す。語彙は増えない) |
| 10字以下短文の連打 | 二文を一文へ繋ぐ | 並 |
| 文末2字の連続 | 語尾を変える | 換 |
| 「だけだった」「〜から」着地 | 着地の文を削る | 削 |
| 「〜さを帯びた」 | 「〜な」へ | 換 |
| 言い直し型(地の文後半) | 後半だけ残す。否定形で始めない | 削 |
「換」が過半になったら疑う。字数が減っていない改稿は座標が動いていない。
同じ二本を再実行し、上位5軸が入れ替わったかを見る。動かない軸は報告に残す。文末の型は語尾処理へ回す。
号令があるときだけ。クレジットは日本語約1字=0.85語で減る。結果は台帳に追記し、自作分類器の値と並べて対応を取る。食い違いの読み方は向きで変える。
本文に手を入れる前に、安い順に試す。
実験29とその名前挿げ替え版が示したのは、AIが選びがちな人名・地名は、それ自体が Pangram の AI 信号になるということである。文を一字も直さず名前を替えただけで AI 100% が Human 100% に返った稿がある。ただし線から遠い稿は名前だけでは動かない(30・31)ので、これは単独の対策ではなく、工程0(種文)・言い直し零・資料を積んだ正規手順と揃えて初めて効く条件の一つである。
AIが「その世界らしく整った」名を作るのが最も危ない。
著者が挿げ替えた名は、意図的に「整っていない」ものだった。
共通するのは、「その世界に最適化されていない」ことである。AIは最適化してしまう。人間は最適化しない。
本資料を読んで「Human が出れば安心」と受け取ることが、最も危険な読み方である。理由を三つ挙げる。
Pangram の Human を作品の品質保証に使ってはならない。これは第一期から一貫して変わらない結論であり、第二期でむしろ強まった。
検出器対策の本文書は、AI臭を潰す辞書(読者対策)とは別の層にある。検出器はその辞書が扱う型を見ていない。だから対検出器の戦略は一つしかない。本文に著者の座標を残す。 警告を全部消しても座標は動かない。座標が動くのは、著者が書いたときにしか出ない癖が本文に入ったときだけである。
本実測ではクレジットの無駄遣いを何度か起こした。同じ轍を踏まないための手順を固定する。
判定は決定論的(§1-2)。同じ本文を掛け直しても同じ結果が返る。「揺れ待ち」の再スキャンは純粋な損である。
結果は追記専用の台帳(jsonl 等)に、標本名・字数・チェックサム・判定・確信度・投入前後の残高・条件メモを一行ずつ残す。投入前後の残高差が表示消費と合わないときは、必ずその場で History を数える。合わない原因は再送か、同一アカウントで別の人が同時に掛けた分の混入かのどちらかだった。
同一アカウントで複数人が同時に掛けると、残高差に相手の消費が混ざる。台帳には「同時スキャンあり」と注記し、表示消費のほうを採用する。
dashboard の Share/Publish は、本文を外部URLに置く機能である。未公開原稿の検証で誤って押すと本文が流出する。自動化する場合はそのボタンを操作対象から除外する。
| 字数 | 概算クレジット |
|---|---|
| 2,000字 | 約17〜20 |
| 3,000字 | 約25〜30 |
| 3,500字 | 約30 |
本実測の総消費は、第一期19本で477、第二期36本+再現2本で約1,275(同時スキャンの混入分を含む)。合計およそ1,750クレジットである。
通らない。語彙リストの全消しは分類器の座標を動かさない(§2-2)。第二期の独立短編20本は、語彙警告を潰した上で全部 AI と出た。
通らない。第一期でそう見えた仮説は第二期で棄却された(§5-1)。短文2%・読点ゼロ26%という「人間座標」にいる新作が AI と出ている。
稿による。もともと線の近くにいた稿(著者の作品の正規手順の続話)なら、AIが付けた名前を人間が付け直すだけで戻る(実験29 名前挿げ替え)。線から遠い新作は名前だけでは動かない(30・31)。
稿による。線の真上にいた外伝稿は、地の文後半の言い直し型を削るだけで Human に落ちた(28)。序盤だけ削っても動かない(27)。線から遠い新作は削っても動かない(26)。
足りない。原文の一部を文脈に置いた直続(33)、Human 稿一本の直続(34)はいずれも AI。通ったのは、文体解析・登場人物・展開リスト・プロット・直近話・関連する原作話を積んだ正規手順の稿(35・36)だけである(§7)。
Fable と Opus 5 で差は出なかった(19/20)。モデルの別は判定と相関しない。
影響しなかった。投稿サイトのメタブロックやAI調の前書きを含む自筆稿は Human のまま、書式を剥がしたAI稿は判定が変わらなかった(11/12)。
ない。判定は決定論的で、再投入2本は初回と同じ結果を返した。クレジットを捨てるだけである。
別問題である。名前を替えただけのAI稿が Human で通る一方、読者は言い直し型や三段構文を最前面で感知する。検出器の通過と読者の評価は切り離して扱う(§12)。
できない。自作分類器はAI稿を全部AI側に置くが、Pangram はそのうち一部しかAIと出さない。両者は別の層を見ている。自作は「著者の座標からの距離」を測る内製の計器であり、Pangram の予測器ではない。
というより/と言うより/と言った方が/と言うべき/正確ではない/ 言い様がない/言いようがない/ではなく/ではない。/ 比喩ではない/比喩である/訳ではない/わけではない/わけでは無い
正規表現一本にまとめると次の通り。
というより|と言うより|と言った方が|と言うべき|正確ではない|言い様がない|言いようがない|比喩ではない|比喩である|訳ではない|わけではない|わけでは無い|ではなく|ではない。
目安:著者の原作で1,000字あたり約1件。2件を超えたら警告。一話に二回までは残してよい。台詞内の掛け合いは対象外。閾値超過で掃引しない。
12問を全て機械的に均すためのチェックではない。修正は削る>並べ替える>言い換えるの順で効く。全箇所へ一律に当てない。
| 用語 | 意味 |
|---|---|
| 著者同定 | 「文がAIっぽいか」ではなく「誰が書いたか」を推定する分類の設計。Pangram 4 の実体 |
| 判定線 | Pangram の二値判定の境界。二値だが内部には距離があり、線の近くの稿だけが小さな操作で渡れる |
| 座標 | 文体の分布上の位置。語彙ではなく文の作り方の総体で決まる |
| 種文 | 自作分類器・ベースライン走査に渡す著者自筆の範囲。AI稿や手直しを混ぜてはならない |
| 正規手順 | 作品ワークスペースの資料一式(文体解析・登場人物・展開リスト・プロット・会話アーカイブ・直近話・原作の直近話)を積んだ執筆ワークフロー |
| 言い直し型 | 一度置いた語を直後に否定・修正して言い直す型。「XというよりY」「Xではない。Yだ」 |
| 掃引 | 修正を全箇所へ一律に当てること。処理の均質さ自体が新しいAI信号になるので禁止 |
| 置換型/削除再構成型 | 手直しの二種。前者は字を残して言い換える(座標が動かない)、後者は削って組み直す(座標が動く) |
| Humanizer | 機械的な人間化処理。Pangram は別ヘッドで検出する |