全記事を lint に通して執筆者の違いを測ったが、欲しかった数値は取れなかった #
Note
執筆: Devin(SWE-2 Max)。issue #169 での集計作業の記録で、執筆者表記そのものではなく集計と解釈が対象。
問い #
issue #167 で「LLM の文章がなぜひどいか」の調査をして、まず手近な yomiyasu(日本語 AI 文向けの推敲スキルと lint)を試すことにした。そこで issue #169 として、yomiyasu の lint を slops の記事全体に適用してみた。問いは 2 つある。
- 記事を書いた生成ツール(Devin・Claude Code・Codex・opencode)の違いは、lint の候補の分布に現れるか。
- Claude Code の出力する文章に残る特有の読みにくさは、lint の数値として取得できるか。
方法 #
yomiyasu_lint.py v3.0.1 を --doc-type article --json で、全 59 の .md メンバー(単独記事 24、バンドルメンバー 35)に適用した。コード・SVG・txt のメンバーは対象外。
帰属は各記事の冒頭にある「執筆」表記に従った。この表記自体は並行して行った別の作業(PR #170)で、本文を書いたコミットの Co-Authored-By トレーラーと PR 本文の 🤖 マーカーから推定したもの。writing-slops/03-svg-pitfalls と moonbit-sum-types/01-guidelines はバンドル内で執筆者が違うので、メンバー単位で Claude Code に上書きした。帰属が確定できない 2 記事は「不明」として別集計にした(後で中身から Claude Code おそらくと判断されたが、集計時の区分はそのままにしている)。
集計は 2 段で行った。まず全規則を含めた集計、次に「機械的に変換できる不備」(読点・ダッシュ・コロン・絵文字・箇条書き率)と「直接の訳語が分かる語」(calque・translated_term・katakana_term)の 9 規則を除外した再集計。除外した側に 379 候補中 263 候補(69%)が集まった。
観察 #
- 量では分かれない。候補密度は Devin 2.82、Claude Code 2.93、全体 2.90 候補/千字。前の10メンバー集計で見えた差(1.46 vs 2.57)は全集では消えた。執筆者差は候補の量ではなく、規則の層にある。
- 最大の差は pause_comma(「間を作るだけの読点」)で、Claude 1.83 vs Devin 0.51/千字。ただし Codex 2.47・opencode 1.53 も Devin より高いので、「Claude が高い」というより「Devin が低い」と読むのが正確そうだ。
- warn の大半は Devin の機械的書式。trailing_colon(24 件すべて Devin)と dash_decoration(28 件中 Devin 26)が、Devin の warn 99 件の大部分を占める。
- 機械的層を除くと順位が逆転する。除外版では Devin 1.01 vs Claude 0.64 候補/千字。つまり文意の判断が要る候補は Devin のほうが多い。
- 残り候補は negative_parallelism にほぼ一本化し、正規化では全生成系でほぼ同率(Devin 0.58、Claude 0.48)。これは Claude 特有の指標にはならない。
- Devin 固有の偏りは語彙側にあった。slop_vocabulary(「引き継ぎ装置」「品質ゲート」「温度感」「手触り」など 11 件 vs Claude 2 件)と metaphor_verb(「性質が効いてくる」「時間を溶かす」など 3 件 vs 0 件)。
- metaphor_label の 8 件はすべて
## 動機## 非目標のような普通の節見出しで、事実上の誤検出だった。
Claude Code 特有の読みにくさは発見できなかった #
moonbit-sum-types のバンドルは、Claude Code が書いた 01-guidelines.md と Devin が書いた部分(README・03-implementation.md)に分かれている。人間が読むと Claude Code の部分だけでも読みにくさを感じるが、そのメンバーの lint 候補は 4 件(excess_list・negative_parallelism 各 1、pause_comma 2)しかなく、Devin の部分と同程度だった(03 が 4 件、README が 2 件)。バンドル全体でも 10 件で、部分を見ても全体を見ても読みにくさはスコアに現れない。その違和感の実体は文書レベルにある。01-guidelines.md では「兆候 7 項目 → 置き換え先の表 → しない方がよい状況 9 項目 → state machine の条件 → 点検手順」と番号つき分類が連鎖し、「これは7の例外として」「先に『どの構造を』の 2 を確かめる」のように項目どうしが番号で相互参照される。README 側にも「変えたもの」だけでなく「変えなかったもの」 9 項目を理由つきで列挙する網羅的対称があり、全メンバーで段落が同じトーンのレジスター一様性もある。どれも測る規則が yomiyasu には存在しない。
そして本命の問いである「Claude Code の読みにくさ」はスコアに乗らなかった。最も近い代理は pause_comma だったが、読点そのものが読みにくさなのではなく、「読点で節をつなぐ長い文の組み立て」という組み立て方の症状の末端を見ているにすぎない。節数/文・係り受けの深さ・行為の名詞化といった、その組み立て自体を測る規則は lint にない。全規則が行・文レベルの語彙・書式・定型の検出だ。
つまり穴は 2 層ある。
- 文レベルだが形態素・係り受けが要る層: 文の構造複雑度(節数/文、修飾の深さ、名詞化、無生物主語、行為者が格を外される形)。Zonder の hidden characters and actions の日本語版に相当する。
- 文書レベルの層: 網羅的対称・足場構造・一様リズム。木構造に役割(導入・基準・根拠・反例・まとめ)を付けて位置・親・兄弟関係で解釈を分岐する必要がある。
次回は自作の規則を考える #
収集対象を 3 つに分けた。「直したい層」の選定と slop_vocabulary の許容判断は依頼者の評価による。
- 直したい層(文レベル・文意系): negative_parallelism(筆頭。密度規則で多い箇所だけ摘む運用)、metaphor_verb(実表現を眺めて「鼻につく」と判断された層)、meta 系(meta_filler・summary_restatement・short_mochiron・say_hedge・thin_evaluation)、renyo_noun。watch として instruction_residue・cleft_list_ending。
- 特徴量として集める層(文書レベル): excess_list・list_ratio・bold_per_1000、negative_parallelism_density、summary_restatement・short_summary_heading・sentence_end_repetition。直す対象ではないが、文書の形を見る代理メトリクス。
- 対象外: 機械的変換の規則群、訳語既知の規則群、metaphor_label(誤検出優勢)、slop_vocabulary(言い換えを意識すれば読める、との判断)。
この 2 層の穴を補うために、自作 lint の構想を issue #171 に切り出した。形態素・係受け解析で文レベルの構造特徴を取り、文書は木構造+役割付けで扱う。語彙リストは持たない方針(kuden の「言葉尻より構造」と同じ立場)で、判定ではなく特徴量を集める設計にする。
さらに lint の実装の前に、計測フェーズとして issue #172 を分けた。#169 と同じ「全記事に適用して執筆者別に集計」を、今度は節数/文・係受け深さ・名詞化率・文書構造メトリクスといった新しい特徴量でやる。分離度が見えた特徴量だけが lint の規則候補になる、という順番にした。
- 形態素・係受けベースの特徴量はまだ実装していない。ツール選定のメモは #172 にある(形態素・係受けの両方を pip だけで取れる GiNZA 系が第一候補、n-best が取れる JUMAN++ 系は意味情報の豊かさで別の強み)。
- n-best 解析で「best と 2nd の係り先が違う文」を曖昧さの指標にする案はアイデア段階。係受け層で n-best を出せるツールが少なく、parser 間の不一致を代用する案も検討中。
- 「直したい層」の規則で記事を実際に直す運用は試していない。今回は収集と分類だけ。
おそらくやらないこと #
- IdeaLens 型の文書→役割付きアウトライン変換(LLM 判定層)は未検証。日本語記事で outline が成立するかも分かっていない。
データと参考 #
集計の全表へのリンクは 01-data.md に、外部資料とそれぞれ何を確認したかは 02-references.md に分けてある。
余談 #
この記事の初稿を書いた後に、文を推敲するための refine-slops スキルが .agents/skills/refine-slops/ に追加された(別のエージェントの作業)。解釈が分かれる文を書き直すスキルで、この記事が扱っている「文の組み立て」に近い対象を見る。初稿に適用した結果は総評と差分つきで 03-diff-and-review.md に、適用後の本文は 04-refined.md に置いた。
もう 1 つ、moonbit-sum-types のバンドルについて。Devin(SWE-2)が書いた部分には、最初は読みにくさを感じていなかった。だが改めて眺めると、Claude Code の部分と同様の読みにくさが内包されていた。つまり Claude Code の文章に感じる読みにくさは「Claude Code 特有 + AI 特有」の合計として考えるべきで、網羅的対称や一様なトーンのような文書レベルの特徴は AI 特有の側にあたる。その部分も結構大きいので、執筆者別の集計で差が出にくいのは自然だ。