日本語 NLP 計測環境のメモ (issue #172) #
形態素・係受け・文書構造の特徴量を slops 全メンバーに対して計算したときの、環境構築方法と利用時の落とし穴の記録。スクリプトは tools/slops-metrics/measure.py、出力は tools/slops-metrics/out/。
環境設定の方法 #
この環境 (WSL2) のシステム Python は 3.14 で、spaCy 系の wheel がまだ無い可能性があるため uv で 3.12 を用意する。pip ではなく uv で入れると速い。
cd tools/slops-metrics
uv venv --python 3.12 .venv
uv pip install -r requirements.txt # ginza / ja-ginza / markdown-it-py を固定実行:
.venv/bin/python measure.pyout/members.jsonl: メンバーごとの全指標out/report.md: 著者別集計 + claude-vs-devin の Cohen's d ランキング (issue コメントの表のもと)
members.jsonl を入力にして「記事の目的 (slops-use-case-templates の分類)」で層別化する二次分析が genre.py。.venv/bin/python genre.py で out/genre.md に genre×author の構成と、ジャンル内での devin-vs-claude 比較を出力する。GiNZA を再実行しないので速い。
クリーンアップ #
実験環境を消すとき:
tools/slops-metrics/.venv—rm -rf .venvで削除。再現はuv venv --python 3.12 .venv && uv pip install -r requirements.txtでいつでもできるtools/slops-metrics/out/— 再生成できるが、issue コメントの表のもとになっているので残してある- JUMAN 試行の残骸:
apt-get download+dpkg -xで/tmp/juman-localに展開し、.jumanrcを/tmp/juman-local/.jumanrcと~/.jumanrcに置いた。計測には使っていないので両方削除済み (juman は HOME かカレントの.jumanrcを読む。~/.jumanrcを残すと存在しない /tmp の辞書を指す設定が残って他の利用を壊すので注意) - uv が入れた Python 3.12 自体を消すなら
uv python uninstall 3.12(他の用途で使っていなければ)
利用時の落とし穴 #
パッケージ構成 #
- **
pip install ginzaだけではモデルが入らない**。spacy.load("ja_ginza")が E050 で落ちる。ja-ginza(= モデルパッケージ) の明示インストールが必要。requirements に両方書いてある - GiNZA を入れると sudachipy + sudachidict-core が依存で来る。形態素の補助解析 (連用形名詞の推定) に同じ tokenizer をそのまま使える
- **markdown-it-py の
gfm-likeは linkify を有効にする**がlinkify-it-pyは別パッケージ。要らないならMarkdownIt("commonmark").enable("table")にする (slops の表は GitHub 風パイプなので table だけで足りる)
spaCy / GiNZA の API #
- **
token.headは毎回新しい Token オブジェクトを返す**。h is not tやh.head is hの同一性比較は常に偽になり、根まで辿るループが止まらない (depth がカンストする)。**必ず.i(index) で比較する** - GiNZA の
doc.user_dataに文節・節の情報が入る:bunsetu_heads: 各文節の先頭 token index のタプルclauses: {節の head token index: 節内 token index のリスト}。文の中の key 数 = 節数/文clause_heads: token index → 所属節の head index
ginza.bunsetu_spans(doc)で文節の Span が取れる。「読点が文節末にあるか」は、の次 token が文節先頭かで照合できる- 品詞タグは UniDic 系 (
名詞-普通名詞-サ変可能等)。サ変名詞はサ変可能で拾えるが、**連用形名詞 (「確かめ」型) は名詞-普通名詞-一般で一般名詞と区別が付かない** → 別途推定が必要 (後述) - UD dep ラベル: 主語は
nsubj/csubj、節っぽい従属はadvcl/acl/ccomp/xcomp。「は」主題はcaseとして名詞に付く
日本語 NLP ツールの選択 #
連用形名詞化・意味カテゴリを決定的に取りたくて JUMAN 系も試したが、この環境 (sudo なし) では挫折:
- **JUMAN (apt の juman 7.0)**:
apt-get download+dpkg -xで非 root ローカル展開はできる。バイナリは動くが、.jumanrcでローカルの文法・辞書を指定しても解析結果が空 (EOS のみ) になる。原因追及は打ち切り - **JUMAN++/KNP**: Ubuntu 26.04 の apt にパッケージ自体が無い。ソースビルドは実験フェーズの費用を超える
- **CaboCha**: 同上
→ GiNZA の UD 係受け + Sudachi の辞書情報で近似する方針に落ち着いた。
推定系の特徴量 #
無生物主語+動作動詞 (Clark, Martin & Mahowald 論文の特徴の写し) #
nsubj/csubj で、主語の lemma が小さな有生リスト (私・人・ユーザー等) に無い → 無生物主語。その head が VERB で軽動詞 (ある/いる/なる/する/できる/である 等) でなければ「動作動詞」とみなす。passive や慣用的な無生物主語も混ざる雑さはあるが、全著者に同一の歪みなので比較には使う。
名詞積み上げ・連体修飾 #
- 名詞積み上げ: 連続する
NOUNtoken で各々がcompound/nmodで繋がる run が 3 以上 (日本語の漢語連結の近似) - 連体修飾:
acldep の数と、その subtree の token 数 (>=5 を長い修飾として別カウント)
連用形名詞の推定 #
「確かめ」型のヒューリスティック:
- 候補は
名詞-普通名詞-一般で末尾がひらがな (送りがなのある形だけに絞る) 表層+る(一段・ラ行五段) と末尾をウ段に置換(五段: い→う, き→く, …) を Sudachi で単語 tokenize し、1 形態素かつ動詞なら連用形名詞とみなす- 誤爆として
なし(なすと同形),はず,わけ(わける),ほう(ほうる),とも,つの,ありをストップリストで除外
検出例: 問い, 答え, 違い, 扱い, まとめ, 組み立て, 区切り, 見立て, 引き継ぎ, 読み上げ, 使い分け, 試し, 感じ — おおむね精密。「の+連用形」のサブセットは、その名詞が の 付き nmod 子を持つかで判定。
文の単位とテキスト抽出 #
- markdown-it-py の block token を辿り、kind を判定: paragraph / list_item / blockquote / heading / table_cell / fence / html
- **prose = paragraph + list_item + blockquote** のテキストだけを GiNZA にかける (見出し・表セルは文としての性質が違うので文系指標からは外し、面積比側に回す)
[!NOTE]等のアラートマーカーは剥がす。inline では text / code_inline / link テキストを結合 (リンク先 URL は捨てる)執筆:行も blockquote の prose として解析対象に含む (1 メンバーあたり 1 行以下で影響は小さいと判断)- コード fence と
```svgfence は面積のみ計測 (svg は図なのでコードと分離して記録)
帰属の決め方 #
#169 と同じルール: メンバー自身の 執筆: 行 → 無ければバンドル README の 執筆: を継承。おそらく/たぶん 付きは unknown。writing-slops/03-svg-pitfalls と moonbit-sum-types/01-guidelines は Claude に上書き (#169 と同じ)。
今回の対象は 65 メンバー。#169 時点の 59 に 2026-11-12-what-the-lint-missed.md の 6 メンバーが増えた分 (全て Devin 帰属)。このバンドルは他記事の引用・diff を多く含む点だけ注意。