AIが本当にエージェンシーの時間とお金を節約しているかどうかは、どう判断すればよいのでしょうか。何かを稼働させる前に、成功とは何かを決めましょう。仕事の現状を測り、変更を正当化できる改善幅を設定し、AIワークフローを従来のやり方と比較してテストし、そのうえで、AIが生み出したものをチェックし修正するのにかかった時間を含む全コストをレビューします。
全コストは、無視しにくくなっています。ドイツの業界紙Horizontに寄せたゲスト論評で、エージェンシーMutaborの幹部2人は、「無料のAI」というおとぎ話は終わったと論じています。プロフェッショナルなAIの仕事は、多くのプロセスを飛躍的に加速させる一方で、かなりの計算能力を消費すると彼らは書いています。Mutaborは今後、クライアントへの提案書に、AIの計算コストを独立した項目として表示します。これを同社は「M-Credit」と呼んでいます。
計算コストが無料でないなら、その周りの人間の時間も無料ではありません。今週シンガポールで開かれたAI導入セッションで、あるエージェンシー創業者が、その両方を数えるためのシンプルなフレームワークと、それがなぜ重要かを示す週次レポートの話を紹介しました。
なぜエージェンシーではAIのROIが測りにくいのでしょうか？
主な理由は、出発点を誰も書き留めていないことです。エージェンシーが自社のプロセスを計測することはまれです。月次レポートにどれくらいかかるかと尋ねても、返ってくるのは「1日くらい」「クライアントによる」、あるいは肩をすくめる仕草です。
そこへAIが、一見明らかな節約とともに登場します。下書きは数分で出てきます。誰も計測しないのは、その後に起こることのすべてです。数字のチェック、コメンタリーの書き直し、誤った月を引用したグラフの修正、クライアントの背景の説明のやり直し。これらの時間は複数の人と複数の日に散らばっているため、コストとして表に出ることがありません。
その結果、誰もが信じたがる物語だけが残り、それを裏付ける証拠も、否定する証拠もありません。
「導入前に成功を定義する」とは、どういう意味ですか？
創業者のフレームワークは4つのステップからなり、図に示すとおり、順番に進みます。それぞれに、彼のスライドにあった問いが1つ付いています。
| ステップ | 問い | 何を測るか | 週次のクライアントレポートに当てはめると |
|---|---|---|---|
| 1. ベースライン | 今、その仕事はどう成果を出しているか？ | 1サイクルあたりの時間、関わる人、ミスとやり直し | 現在のレポートを、数週間にわたって最初から最後まで計測する |
| 2. 目標 | どんな改善があれば正当化できるか？ | 事前に合意した具体的な数値 | 1レポートあたり1時間、人がチェックする前提 |
| 3. テスト | 従来のやり方と比較する | 同じ仕事を両方の方法で、同じ品質基準で | 実際のレポートで、AIワークフローを手作業と並行して実行する |
| 4. レビュー | 全コストに見合ったか？ | チェックと修正を含むすべての時間に、ツールと計算のコストを加えたもの | 下書きの時間だけでなく、編集の時間も数える |
どれも高度なことではありません。それがポイントです。あまりに基本的なステップなので、導入を急ぐあまり、真っ先に省かれてしまうのです。
あるエージェンシーが週次レポートを自動化したら、何が起きたのでしょうか？
創業者の例では、あるマーケティングエージェンシーが、週次レポートをAIに任せようとしました。目標は明確でした。人間がアウトプットをチェックする前提で、1時間まで短縮することです。机上では、AIワークフローは安上がりに見えました。
そしてレビューが来ました。ハルシネーション、つまり自信満々に述べられた誤った数字の修正に、さらに約4時間かかっていました。正味の効果は、ゼロです。
ベースラインと目標がなければ、そのエージェンシーはおそらく勝利宣言をしていたでしょう。下書きは速くなりました。ツールは見事でした。時間が単に執筆から修正へ移っただけだと示したのは、全コストのレビューでした。多くのエージェンシーでは、その修正が、数字がどうあるべきかを知るのは自分たちだけという理由で、より上級の人に回ってきます。
AIドラッグとは何で、どう見つければよいですか？
AIドラッグとは創業者の用語で、AIが生み出したものの編集に、最初から正しく仕事をした場合より多くの時間を費やしてしまう時点を指します。多くのAIパイロットにかかる見えない税であり、それが自ら名乗り出ることはほとんどありません。次のようなサインに注意しましょう。
- 下書きの時間は減る一方で、編集の時間がひそかに増えていく。
- 以前は定型だったアウトプットのチェックに、上級者が駆り出される。
- 同じ修正が毎週繰り返される。
- 「重要な」クライアントについては、以前のやり方に戻ってしまう。
- ツールが何を節約するのかは誰にも言えず、何を生み出すのかしか言えない。
2つ以上当てはまるなら、いったん止めてレビューのステップをやり直しましょう。AIドラッグは、AIをやめる理由ではありません。規模を広げる前に、ワークフロー、データ、指示を直す必要があるというサインです。
なぜこれは繰り返されるのか？
経済学者は、価格が真のコストを反映せず、資源が誤った場所に流れることを市場の失敗と呼びます。「無料」のAIは、エージェンシー内部での教科書的な例です。シートは安く、計算コストは見えず、チェック時間は誰の予算にも載っていません。何かが無料に見えると、人はそれを使いすぎ、使うべきでない場所にまで使ってしまいます。
Horizontが説明するMutaborのM-Creditは、価格シグナルです。隠れたコストの1つを、クライアントに見えるようにします。エージェンシーも、社内で同じ規律が必要です。チェックと修正の時間をタイムシートに載せ、計算コストを数えましょう。そうすれば、効率は目に見えるものになり、この記事の背景にある洞察が成り立ちます。効率はイノベーションの母。本当の節約は、より良い仕事のための本当の時間を生み出します。
レポーティングのワークフローで、ベースライン、目標、テスト、レビューを実行するには、どうすればよいですか？
- 繰り返し作成するレポートを1つ選ぶ。週次でも月次でも構いません。1つのクライアントで、フォーマットが安定しているものにします。
- 1か月間、時間を計測する。データの催促やミスの修正も含め、すべてのステップとすべての人を対象にします。これがベースラインです。
- 構築する前に目標に合意する。1レポートあたりの時間と許容できるエラー率を、アカウントリードとともに書き出します。
- チェック担当者を指名する。品質に責任を持ち、チェックにかかる時間を記録する人を1人置きます。
- 両方のやり方を並行して実行する。複数サイクルにわたり、同じデータ、同じ品質基準で行います。
- 全コストをレビューする。下書き、チェック、修正、ツール料金、計算コストを、ベースラインと照らし合わせます。
- 判断する：拡大、修正、中止。目標を達成していれば展開します。AIドラッグが出ていれば、入力を直します。どちらもうまくいかなければ、止めて別の仕事を選びます。
ローンチ後、エージェンシーは何のために予算を確保すべきですか？
テストに合格しても、完成品ではありません。創業者の締めくくりの助言は、完成した約束ではなく、変化に向けて構築せよ、というものでした。何を構築しても、継続的な投資と専任のリソースが必要です。モデルは変わり、クライアントはKPIを変え、プラットフォームはデータを変えるからです。
これは、自社で構築するか購入するかという判断に直結します。自前のレポート自動化を構築すれば、それが動き続ける限り保守も自社の責任です。たとえばDefy Agentsは、レポーティングやモニタリングなどの繰り返しの多い納品業務のためにエージェンティックなワークフローを実行し、保守の負担がチームにのしかかることはありません。グローバルなインフルエンサーエージェンシーのSAMYは、パフォーマンスレポートを効率化するためにこれらを導入し、3日かかっていた作業を1日に短縮しました。
どの道を選ぶにせよ、まず4つのステップを実行しましょう。エージェント、モニタリング、データアクセスがどう組み合わさるかはDefyプラットフォームでご覧いただけますが、ベースラインは自社で用意するしかありません。
