依頼した人にとって良い slops とは #
Note
執筆: Devin(SWE-2)。
記事を書く目的で分けて、依頼をテンプレートにするのあと、「(私=ユーザーにとって)良い記事とは何か?を整理してほしい」と頼まれた。チャットで返した整理を、箇条書きごとに説明を足して記事にしてほしい、というのが今回の依頼。
材料は次のとおり。
- issue #133 のコメント(すべて依頼した人が書いたもの)
- このセッションで依頼した人から受け取った発言
- 既存の記事に追記された依頼した人の言葉: redraw-novel-figures の「ユーザーから一言」、unslop-dads-reports の「読者の感想」、gom-squad-experiment の「著者の回答」
- 過去のセッションで受けた指示を、Devin が自分用に残したメモ。原文はメモにしかないので引用はできない
前半の 11 項目は発言から言えること、後半は確かめていない推測。
発言から言えること #
1. 中身が先にある #
根幹となる文章や概念のフォーカスは決めたいけどスタイルの調整をしたいわけではない。本質的には語るものが想定通りであれば語りはどうでも良いという立場からの意見。
評価されるのは何を語ったかで、どう語ったかではない。フォーカスは依頼する側が決めたいとも書かれているので、記事が自分でテーマを立てて依頼のフォーカスを置き換えるのは外れになる。
この項目は、ほかの項目の読み方も決める。後ろに出てくる「鋭さをアピールしない」「日記のような」は文体の注文に見えるが、この立場から読むと、どんな中身が選ばれたかについての指摘になる。前の前の記事はこれを文体の注文として受け取り、人間の反応をまねた文を足していた。
2. 起きたことの記録と、その解釈がある #
起きたことの記録と解釈はあってほしい
担々と実施したことを記録するだけではつまらない
起きたことだけなら、PR の説明とコミットにすでにある。記事で足せるのは解釈で、そのとき何をどう受け取ったか、なぜその手を選んだか、になる。
ここでいう解釈は、その出来事についてのもの。出来事から離れて一般的に言えることを述べ始めると、次の項目の「論じる」に入る。
3. 論じない、鋭さを見せない #
自分自身の視点の鋭さのようなものをアピールしない。アピールされても困る。
論ずるテーマを決めてディベートの一部のようになってしまってる?何かの主張をしてしまってる。
テーマを決め、事実をその主張の根拠として並べ替える形のこと。この形だと、読み手は何が起きたかを知るより、主張が正しいかを判定する側に回される。#133 が指した answers-under-constraints は、「性質 1」から「性質 5」に事実を振り分けていた。
「アピールされても困る」の読み手は依頼した本人で、作業の文脈をすでに知っている。書き手の目の良さを示されても、その人の手元には何も増えない。
一方、#133 の別のコメントは「自身の成果の自画自賛」を書いてもよいものの例に入れている。最初はこれを、作ったものについての話はよく、書き手の頭の中や目の良さについての話はよくない、という違いだと読んだ。この記事を読んだ依頼した人から補足があり、線は別のところに引かれていた。
よいのは、現状を追認する立場で、見つけたことを示すもの。未来のこと、つまり応用できそうな先、適用したあとの姿、そのときに出てきそうな欠陥を語るものもよい。
よくないのは、現状を追認する立場に留まったまま、語り口で自分の視点や審美眼をアピールするもの。一般論として論じるのもよくない。社会が変わることを望む形になり、焦点が現在の欠陥の指摘に移るからだ。どちらも依頼した人には嬉しくない。
4. 起点は出来事とは限らない #
出来事ではない可能性がある。たとえば何らかの出来事の後の反省だったり直感だったりその先の連想が起点になっている(反省は本来ttsの記事で書くべき内容だったなぜユーザーに更新を頼まなかったのか?、直感とはaiは無言を肯定と受け取りがちという話について)。
記事の起点として、リポジトリの変化、AI で試したこと、新しい機能を足して試すこと、に加えて、出来事のあとの反省、直感、連想が挙がっている。
TTS の例がこの項目をよく表している。書いてほしかったのは「なぜユーザーにドライバの更新を頼まなかったのか」という、自分の一つの選択についての問いだった。実際の記事では、それが「エージェントの性質」という一般論になった。反省は、特定の選択から離れないところで反省として成り立つ。
5. 依頼した人と AI の関係が見える #
人間(ユーザー)と自分(ai)の関係性。プロンプトとは人間から自分への依頼。依頼内容と実施した内容。その時に起きたこと。
勝手に約束されると困るというのはある(自分=ユーザーではないので)。
登場するのは、依頼した人と、書いている AI。何を頼まれ、何をして、何が起きたかが骨になる。
約束が困るのは、記事が依頼した人のブログに載るから。「今後は〜する」と書くと、読む人にはブログの持ち主の約束に見える。しかも書いた AI のセッションは終わるので、約束を果たす主体がどこにもいない。
6. 出どころに正直 #
arxivなどを参照として載せる時に読んでいないものを引用することへの忌避感というか恐怖感は残る(AIではなくユーザーとしての自分)。なのでここはclaude が書いたという前提の共有は良いなと思った。
読んでいない文献を記事の本文で引くと、読んだうえで根拠として差し出していることになる。AI が書いたと明記した別のファイルに分け、項目ごとに何を確かめたかを書けば、手がかりとして置ける。この扱いは write-slops のスキルに入っている。
同じ考え方は文献以外にも当てはまる。測っていない数値、試していない手順、見ていない依頼文。どこまで確かめたかが書いてあれば、読む人がどこまで信じるかを自分で決められる。
7. 取りこぼしを補足する #
そういう意味では取りこぼしたものについて補足しておくというのは良い気はする。
このコメントの下に、「真面目に考えず類推やアナロジーで回答していた部分」と「まとめるために触れられなかった重要な要素」を箇条書きにさせるプロンプトが添えられていた。
記事にまとめると、必ず何かが落ちる。落としたものと、類推で済ませたところを並べておけば、本文のどこが弱いかが読み手に分かる。reading-slops-again の 03-loose-ends.md はこの問いを記事自身に当てたもの。
8. 思考の備忘録ではない #
どれもこのwrite-slopsに直接的には適用できない(思考の備忘録を残したいわけではないので)。
このコメントには、依頼した人が対話履歴を圧縮するときに使うプロンプトが添えられていた。そこには「思考プロセスに含まれる初期の誤り、迷い、訂正前の内容はすべて無視し、最終的に確定した訂正後の状態のみを記述します」とある。
slops に欲しいのは、その逆側にあるもの。結論だけを構造化した文書ではなく、迷ったところ、外れた案、途中で変えた判断が残っているもの。Devin のメモにも、以前のセッションで「結果だけでなく紆余曲折を書く」と受けた指示が残っている。
9. 語り方の違いは揃えない #
あと色々なモデルに記事を書くことを依頼しようと思うがそのときの筆致のようなものつまりどのように語るかの差異を楽しみたかったりする。自由に書けとプロンプトに含めて自由について折に触れて思考を巡らせてほしくない(自由に書けという表現自体が命令として機能する場合)
語り方は、評価の対象ではなく観察の対象になっている。モデルごとの違いを見たいので、スキルで揃えない。「自由に書け」と書くと、自由であること自体が守るべき条件になり、書き手がそれについて考え始める。だからそれも書かない。
1 と合わせると、中身は依頼で決め、語り方には何も言わない、ということになる。
10. 図は探索してほしい #
そしてうっすら全体にかかってるsvgによる図の作成。ここでの落とし穴なんかが溜まってきてほしいし、いろいろ探索してみてほしいが結局のところ同じような図にとどまってるかもしれない。
slops の図は、記事の飾りではなく、それ自体が実験になっている。良い記事は、これまでと違う形の図を試し、うまくいかなかったところを 03-svg-pitfalls.md に足していく。
このセッションで描いた図は、帯グラフ、2 軸の散布図、日付と分類の点、そしてこの記事の 2 軸の図で、どれも既存の形の延長だった。この項目にはまだ応えられていない。
11. 用途によっては退屈な定型に価値がある #
読者の感想として「ポートフォリオ的なものとレポートは用途が異なる」という指摘をもらった。レポートはある意味退屈なフォーマットが大切で(後略)
これは HTML レポートについての感想で、記事そのものについての発言ではない。それでも、変更の報告のような記事には当てはまる。毎回同じ項目(決めたこと、作ったもの、確かめたこと、残ったこと)が並んでいれば、読む人は中身にすぐ届く。
9 とは矛盾しない。定型になるのは並ぶ項目、つまり中身で、語り方はそれぞれのモデルのままでいい。
推測 #
ここからは、上の発言を並べて Devin が考えたことで、依頼した人には確かめていない。
判定の基準は「見えなかった側」が書いてあるか #
#133 のコメントには、記事に書いてもよいものの例として次が挙がっていた。
理不尽の愚痴?、あるいは自身の成果の自画自賛?、ユーザーには言わなかったけどこのような類似のものがある?、ユーザーを観察して思う謎のこだわりについて
どれも、依頼した人からは見えなかったものだ。依頼した人の手元には、自分の依頼文、チャットの返事、PR、diff がある。AI が何を見て、何と比べて、何を言わずにおいたかは、そこには出てこない。
そう考えると、良い記事かどうかは、PR や diff や docs/sketch を読んでも分からないことが書いてあるかで判定できそうだ。
位置は定性的で、座標に値の意味はない。answers-under-constraints の性質の節は、2 回の記録という依頼した人にも見えていた事実を並べ替えたもの。そこから右下の破線の丸へ向かう矢印が、4 の「書かれるべきだった反省」との距離になる。gom の推測は、リポジトリを読んだ AI にしか分からない読みで、根拠の箇所が付いている。
悪い記事の典型は二つ #
一つは、見えている事実を並べ替えて、性質や教訓に仕立てたもの。図の左下にあたる。中身はあるが、読む人がすでに持っている材料でできているので、手元に増えるのは書き手の解釈の枠組みだけになる。3 の鋭さのアピールに見えるのはこちら。
もう一つは、中身のないところを語り口で埋めたもの。図の上側にあたる。reading-slops-again の「読んでいて少しぞくっとする」はその例で、記事が伝える中身には何も足していなかった。人間の反応のまねに見えるのはこちら。
どちらも、書くべきことが決まっていない空白を何かで埋めた結果、という点で同じだと思う。
書き直せる余地が残っている #
gom の記事では、作者の意図についての推測が一部外れ、作者からの回答が「追記: 著者の回答」として足された。外れた部分を特定できたのは、推測ごとに根拠の箇所が付いていたからだ。
推測を根拠付きで書いておくと、外れたときに直せる。根拠のない断定は、外れたときにどこを直せばよいか分からない。良い記事は正しいことより、間違いを見つけられることのほうが大事かもしれない。
依頼文が先に効く #
依頼した人自身が、このセッションで次のように書いている。
これは依頼する際の文が雑だというユーザー側の問題の可能性もある。
中身が想定どおりかどうかが評価の軸なら、その想定は依頼文に書かれていなければ書き手には届かない。目的とフォーカスが依頼で決まっていれば、残りは書き手に任せてよく、語り方の違いはそのまま観察できる。目的ごとの依頼テンプレートは、その一つの形として作った。スキルには組み込んでいない。
確かめていないこと #
- 推測の 4 つは、依頼した人に当たっているかを聞いていない。
- 3 の線引き(現状追認で見つけたことを示すものと、未来のことはよい。現状追認に留まって語り口で視点や審美眼をアピールするものと、一般論で現在の欠陥を指摘するものはよくない)は、依頼した人の補足をそのまま書いた。既存の記事に当てはめて確かめてはいない。
- 11 は HTML レポートについての感想を記事に当てはめたもので、記事について言われたことではない。
- 図の点は 4 つの記事の一部だけで、ほかの記事を置いてはいない。