日本語 NLP 計測環境のメモ (issue #172) #

形態素・係受け・文書構造の特徴量を slops 全メンバーに対して計算したときの、環境構築方法と利用時の落とし穴の記録。スクリプトは tools/slops-metrics/measure.py、出力は tools/slops-metrics/out/。

環境設定の方法 #

この環境 (WSL2) のシステム Python は 3.14 で、spaCy 系の wheel がまだ無い可能性があるため uv で 3.12 を用意する。pip ではなく uv で入れると速い。

cd tools/slops-metrics
uv venv --python 3.12 .venv
uv pip install -r requirements.txt   # ginza / ja-ginza / markdown-it-py を固定

実行:

.venv/bin/python measure.py
  • out/members.jsonl: メンバーごとの全指標
  • out/report.md: 著者別集計 + claude-vs-devin の Cohen's d ランキング (issue コメントの表のもと)

members.jsonl を入力にして「記事の目的 (slops-use-case-templates の分類)」で層別化する二次分析が genre.py。.venv/bin/python genre.py で out/genre.md に genre×author の構成と、ジャンル内での devin-vs-claude 比較を出力する。GiNZA を再実行しないので速い。

クリーンアップ #

実験環境を消すとき:

  • tools/slops-metrics/.venv — rm -rf .venv で削除。再現は uv venv --python 3.12 .venv && uv pip install -r requirements.txt でいつでもできる
  • tools/slops-metrics/out/ — 再生成できるが、issue コメントの表のもとになっているので残してある
  • JUMAN 試行の残骸: apt-get download + dpkg -x で /tmp/juman-local に展開し、.jumanrc を /tmp/juman-local/.jumanrc と ~/.jumanrc に置いた。計測には使っていないので両方削除済み (juman は HOME かカレントの .jumanrc を読む。~/.jumanrc を残すと存在しない /tmp の辞書を指す設定が残って他の利用を壊すので注意)
  • uv が入れた Python 3.12 自体を消すなら uv python uninstall 3.12 (他の用途で使っていなければ)

利用時の落とし穴 #

パッケージ構成 #

  • **pip install ginza だけではモデルが入らない**。spacy.load("ja_ginza") が E050 で落ちる。ja-ginza (= モデルパッケージ) の明示インストールが必要。requirements に両方書いてある
  • GiNZA を入れると sudachipy + sudachidict-core が依存で来る。形態素の補助解析 (連用形名詞の推定) に同じ tokenizer をそのまま使える
  • **markdown-it-py の gfm-like は linkify を有効にする**が linkify-it-py は別パッケージ。要らないなら MarkdownIt("commonmark").enable("table") にする (slops の表は GitHub 風パイプなので table だけで足りる)

spaCy / GiNZA の API #

  • **token.head は毎回新しい Token オブジェクトを返す**。h is not t や h.head is h の同一性比較は常に偽になり、根まで辿るループが止まらない (depth がカンストする)。**必ず .i (index) で比較する**
  • GiNZA の doc.user_data に文節・節の情報が入る:
    • bunsetu_heads: 各文節の先頭 token index のタプル
    • clauses: {節の head token index: 節内 token index のリスト}。文の中の key 数 = 節数/文
    • clause_heads: token index → 所属節の head index
  • ginza.bunsetu_spans(doc) で文節の Span が取れる。「読点が文節末にあるか」は 、の次 token が文節先頭か で照合できる
  • 品詞タグは UniDic 系 (名詞-普通名詞-サ変可能 等)。サ変名詞は サ変可能 で拾えるが、**連用形名詞 (「確かめ」型) は 名詞-普通名詞-一般 で一般名詞と区別が付かない** → 別途推定が必要 (後述)
  • UD dep ラベル: 主語は nsubj/csubj、節っぽい従属は advcl/acl/ccomp/xcomp。「は」主題は case として名詞に付く

日本語 NLP ツールの選択 #

連用形名詞化・意味カテゴリを決定的に取りたくて JUMAN 系も試したが、この環境 (sudo なし) では挫折:

  • **JUMAN (apt の juman 7.0)**: apt-get download + dpkg -x で非 root ローカル展開はできる。バイナリは動くが、.jumanrc でローカルの文法・辞書を指定しても解析結果が空 (EOS のみ) になる。原因追及は打ち切り
  • **JUMAN++/KNP**: Ubuntu 26.04 の apt にパッケージ自体が無い。ソースビルドは実験フェーズの費用を超える
  • **CaboCha**: 同上

→ GiNZA の UD 係受け + Sudachi の辞書情報で近似する方針に落ち着いた。

推定系の特徴量 #

無生物主語+動作動詞 (Clark, Martin & Mahowald 論文の特徴の写し) #

nsubj/csubj で、主語の lemma が小さな有生リスト (私・人・ユーザー等) に無い → 無生物主語。その head が VERB で軽動詞 (ある/いる/なる/する/できる/である 等) でなければ「動作動詞」とみなす。passive や慣用的な無生物主語も混ざる雑さはあるが、全著者に同一の歪みなので比較には使う。

名詞積み上げ・連体修飾 #

  • 名詞積み上げ: 連続する NOUN token で各々が compound/nmod で繋がる run が 3 以上 (日本語の漢語連結の近似)
  • 連体修飾: acl dep の数と、その subtree の token 数 (>=5 を長い修飾として別カウント)

連用形名詞の推定 #

「確かめ」型のヒューリスティック:

  1. 候補は 名詞-普通名詞-一般 で末尾がひらがな (送りがなのある形だけに絞る)
  2. 表層+る (一段・ラ行五段) と 末尾をウ段に置換 (五段: い→う, き→く, …) を Sudachi で単語 tokenize し、1 形態素かつ 動詞 なら連用形名詞とみなす
  3. 誤爆として なし (なすと同形), はず, わけ (わける), ほう (ほうる), とも, つの, あり をストップリストで除外

検出例: 問い, 答え, 違い, 扱い, まとめ, 組み立て, 区切り, 見立て, 引き継ぎ, 読み上げ, 使い分け, 試し, 感じ — おおむね精密。「の+連用形」のサブセットは、その名詞が の 付き nmod 子を持つかで判定。

文の単位とテキスト抽出 #

  • markdown-it-py の block token を辿り、kind を判定: paragraph / list_item / blockquote / heading / table_cell / fence / html
  • **prose = paragraph + list_item + blockquote** のテキストだけを GiNZA にかける (見出し・表セルは文としての性質が違うので文系指標からは外し、面積比側に回す)
  • [!NOTE] 等のアラートマーカーは剥がす。inline では text / code_inline / link テキストを結合 (リンク先 URL は捨てる)
  • 執筆: 行も blockquote の prose として解析対象に含む (1 メンバーあたり 1 行以下で影響は小さいと判断)
  • コード fence と ```svg fence は面積のみ計測 (svg は図なのでコードと分離して記録)

帰属の決め方 #

#169 と同じルール: メンバー自身の 執筆: 行 → 無ければバンドル README の 執筆: を継承。おそらく/たぶん 付きは unknown。writing-slops/03-svg-pitfalls と moonbit-sum-types/01-guidelines は Claude に上書き (#169 と同じ)。

今回の対象は 65 メンバー。#169 時点の 59 に 2026-11-12-what-the-lint-missed.md の 6 メンバーが増えた分 (全て Devin 帰属)。このバンドルは他記事の引用・diff を多く含む点だけ注意。