「LLMは使い手の能力以上のことはできない」という話を最近見かけるようになりました。僕もだいぶ前からそう考えていたのですが、最近になって、それは「LLMを作業者として扱った場合」の話なんじゃないか、と思い始めてきました。そう感じるきっかけになった体験から書いてみます。
先日、自分の専門ではない領域の設計を進めていて、LLMに「自分の能力を超えさせてもらった」としか言いようのない体験をしました。
やろうとしていたのは、営業メンバーのパフォーマンスをLLMに評価させる、という機能の設計です。ただ、僕は営業マネジメントの専門家ではありません。「優秀なマネジャーは部下の何を見て評価しているのか」という評価軸そのものを、自分の中に持っていませんでした。
そんなとき、Claude Code で grill-me という、考えを質問攻めにして設計を詰めてくれるスキルを走らせていました。すると、MEDDIC、Sales Velocity、Predictable Revenue といった営業フレームを挙げて、それぞれが何を測るもので、今回の用途にはどれをどう組み合わせるべきか、というところまで提案してくれたのです。僕がフレームの名前すら知らなかった状態から、評価軸の骨格が少しずつ立ち上がっていきました。
さらに面白かったのは、LLMが 「この観点はもっと深掘りが必要だから、こういう形でGPTやClaudeに投げて検証するといい」 と、僕自身の進め方そのものまで指示してくれたことです。LLMが、別のLLMの使い方を僕に教えてくれている。
結果として、自分一人では絶対に建てられなかった評価軸の設計に到達しました。このときLLMは、明らかに「僕の能力の範囲内」で動いてはいませんでした。
「LLMは使い手の能力を超えない」という主張に、僕は半分くらい同意しています。ただそれは、LLMを作業者として扱っているときの話だと感じています。
作業者として扱う、というのは、「これをやって」「ここを直して」と作業を振っている感覚のモードです。このモードでは、出てきたものを判断するのは自分です。自分が分かる範囲、指示できる範囲、良し悪しを評価できる範囲のものしか引き出せないように感じます。結果として、自分の能力がそのまま成果物の天井として効いてきます。
「能力を超えない」という言葉で想像されるのは、たぶんこの状態です。否定したい話ではまったくなく、自分自身もこの使い方をしている時間はかなり長いです。タスクを早く片付けたいときや、要件がはっきりしているときには、この接し方が一番効率的だと感じます。
一方で、冒頭のフレーム選定のように、LLMを指導者として扱う接し方もあると感じています。「教えてくれ」「なぜそうなる？」「他にどんな選択肢がある？」と、問いかける感覚で使うモードです。
このモードでは、出力を作業の成果物としてよりも、自分の理解を更新する素材として受け取っているような気がします。提示された選択肢を眺めながら、自分の中の判断軸が増えていく感覚があります。
冒頭の体験で印象的だったのは、LLMが答えそのものだけでなく、「どう深掘りすべきか」という進め方まで導いてくれたことでした。これは作業を代行してもらうのとは明らかに違う感触で、自分一人では到達しなかった場所に、連れて行ってもらっているような感覚に近いです。LLMが作業者というよりも、伴走してくれる指導者や先輩エンジニアに近いものとして感じられる瞬間です。
「LLMは使い手の能力以上のことはできない」という話は、作業者として扱う限りでは半分正しい、というのが今の正直な感想です。
ただ、指導者として扱うと、自分自身もLLMと一緒に少し拡張されるような感覚があります。同じツールでも、こちらの構えひとつで見える景色がだいぶ変わってくる。「能力を超えない」と言いたくなる場面と、「いやそんなことないかも」と言いたくなる場面が、自分の中には両方あります。
blog.unresolved.xyz