Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LLMごとの文章力を測ってみた話

 LLMごとの文章力を測ってみた話

過去6年分の自作noteの計量分析で判明した「AIくさい文章(文頭接続詞3.5倍)」の違和感を検証。主要LLMの比較実験やAI臭を消す試み、そして人間が手作業で直してもAIの引力に呑まれる実証結果をお話しします。

Transcript

9 slides
  1. 4大LLMの文体比較:モデルごとに強烈な指紋がある ChatGPT 接続詞42回 Gemini 太字69箇所 もちろん 、そのまま公開はしていません。 しかし 、 読み手には大差ない可能性も。

    もちろん 、接続詞が増 えること自体は… ある日ふと立ち止まり、背筋が寒くなりました。…… 待てよ。自分だって 使い倒しているじゃないか。けれ ど書き手の独りよがりでは? 毎文のように接続詞で論理武装・文長が極めて均一 自問自答とドラマ調・過剰な太字とAI頻出語の多用 Claude 接続詞0回 Grok 平均19.9字 親切だ。ただ受け入れているうちに、私の文章は段落 ごとに また、さらにと手を挙げて発言する会議 のよう になっていた。 一般論の要約。当たり障りのない美辞麗句。泥臭い体 験がない。 AI SLOPと呼ばれる文章だ。整ってはい る。 誰が書いたかは残っていない。 接続詞を排した独自の比喩表現と文長の散らし 体言止めと極端な短文の連続・SNSライクなテンポ 3 5本目 LLMごとの文章力とAI臭脱却の検証 よしむら@データマネジメント
  2. すなわちAIっぽい文章とは:データで見えた共通項 計量分析で判明した「AIっぽい文章」の3大病理 全モデル共通の正体 1. リズムの均質化(金太郎飴現象) 統計の偏り 2. 過剰な論理武装と表層装飾 形式ノイズ 3.

    減点回避の足し算思考 構造の限界 文長のばらつきCV値が低く、同じ長さの文が単調に連続。人間特有の緩急や息継ぎが消失する。 毎文に接続詞(しかし、もちろん)を乱射。過剰な太字やAI頻出語(解像度・熱量など)で化粧する。 構成案の全項目を均等に埋め、無難なTipsを網羅。不要な要素を削る「引き算」ができない。 表面的な癖は違っても、「均質化」と「引き算ができない」点は全モデル共通 4 5本目 LLMごとの文章力とAI臭脱却の検証 よしむら@データマネジメント
  3. 驚きの検証:人間修正版と過去のnote分析が完全一致 人間が手作業で推敲した文章を計量分 析してみた 過去6年分の自作note(134本)の分析 データと突き合わせ 平均文長43.1字 vs 41.9字、CV値もピ タリと一致 無意識に直しても同じ数値帯に着地

    し、自身の編集ポリシーの一貫性が実 証された 8 5本目 LLMごとの文章力とAI臭脱却の検証 無意識に直したのに 自分の文体ポリシーが一貫してた よしむら@データマネジメント

More Decks by よしむら@データマネジメント担当

Other Decks in Technology