วัด ROI ของ AI ในเอเจนซี: กำหนดความสำเร็จก่อนใช้งานจริง

จะรู้ได้อย่างไรว่า AI ช่วยเอเจนซีประหยัดเวลาและเงินจริง ตัดสินใจให้ได้ก่อนเปิดใช้งานว่าความสำเร็จหน้าตาเป็นอย่างไร วัดงานตามที่เป็นอยู่วันนี้ กำหนดการปรับปรุงที่จะทำให้การเปลี่ยนแปลงคุ้มค่า ทดสอบเวิร์กโฟลว์ AI เทียบกับวิธีเดิม แล้วทบทวนต้นทุนทั้งหมด รวมถึงชั่วโมงที่ใช้ตรวจและแก้สิ่งที่มันผลิต

ต้นทุนทั้งหมดเริ่มมองข้ามได้ยากขึ้นเรื่อย ๆ ในบทความแสดงความเห็นรับเชิญใน Horizont สื่อการค้าของเยอรมนี ผู้บริหารสองคนจากเอเจนซี Mutabor ชี้ว่าเทพนิยายเรื่อง AI ฟรีจบลงแล้ว พวกเขาเขียนว่างาน AI ระดับมืออาชีพเร่งหลายกระบวนการได้อย่างมหาศาล แต่ใช้พลังประมวลผลจำนวนมาก ตอนนี้ Mutabor จะแสดงค่าประมวลผล AI เป็นรายการแยกในข้อเสนอถึงลูกค้า เรียกว่า "M-Credit"

ถ้าการประมวลผลไม่ฟรี เวลาของคนที่อยู่รอบ ๆ มันก็ไม่ฟรีเช่นกัน ผู้ก่อตั้งเอเจนซีในงานเสวนาเรื่องการนำ AI มาใช้ที่สิงคโปร์สัปดาห์นี้แบ่งปันกรอบแนวคิดง่าย ๆ สำหรับนับทั้งสองอย่าง พร้อมเรื่องรายงานประจำสัปดาห์ที่แสดงว่าเหตุใดเรื่องนี้จึงสำคัญ

เหตุใดการวัด ROI ของ AI ในเอเจนซีจึงยากนัก

ส่วนใหญ่เพราะไม่มีใครเขียนจุดเริ่มต้นไว้ เอเจนซีแทบไม่จับเวลากระบวนการของตนเอง ลองถามว่ารายงานประจำเดือนใช้เวลานานเท่าไร คุณจะได้ยินว่า "ราวหนึ่งวัน" "แล้วแต่ลูกค้า" หรือการยักไหล่

แล้ว AI ก็มาพร้อมผลประหยัดที่ดูชัดเจน ฉบับร่างปรากฏในไม่กี่นาที สิ่งที่ไม่มีใครจับเวลาคือทุกอย่างที่เกิดต่อจากนั้น การตรวจตัวเลข การเขียนคำอธิบายใหม่ การแก้แผนภูมิที่อ้างเดือนผิด การอธิบายบริบทของลูกค้าซ้ำ ชั่วโมงเหล่านี้กระจายอยู่ตามผู้คนและวันต่าง ๆ จึงไม่เคยปรากฏเป็นต้นทุน

ผลคือเรื่องเล่าที่ทุกคนอยากเชื่อ โดยไม่มีหลักฐานทั้งสองทาง

"กำหนดความสำเร็จก่อนใช้งานจริง" หมายความว่าอย่างไร

กรอบแนวคิดของผู้ก่อตั้งมีสี่ขั้นตอน และดังแผนภาพที่แสดง ขั้นตอนเหล่านี้ดำเนินไปตามลำดับ แต่ละขั้นมีหนึ่งคำถามจากสไลด์ของเขา

ไม่มีอะไรในนี้ซับซ้อน นั่นแหละคือประเด็น ขั้นตอนเหล่านี้พื้นฐานจนเมื่ออยู่ท่ามกลางความเร่งรีบในการนำมาใช้ มันเป็นสิ่งแรกที่ถูกข้าม

เกิดอะไรขึ้นเมื่อเอเจนซีแห่งหนึ่งทำรายงานประจำสัปดาห์ให้เป็นอัตโนมัติ

ในตัวอย่างของผู้ก่อตั้ง เอเจนซีการตลาดแห่งหนึ่งต้องการให้ AI รับช่วงรายงานประจำสัปดาห์ เป้าหมายชัดเจน คือลดเหลือหนึ่งชั่วโมงโดยให้คนตรวจผลลัพธ์ บนกระดาษ เวิร์กโฟลว์ AI ดูถูกกว่า

จากนั้นก็ถึงการทบทวน การแก้ข้อมูลหลอน คือตัวเลขผิดที่ระบุอย่างมั่นใจเต็มที่ เพิ่มเวลาอีกราวสี่ชั่วโมง ผลประโยชน์สุทธิ: ไม่มีเลย

หากไม่มีฐานตั้งต้นและเป้าหมาย เอเจนซีนั้นคงประกาศชัยชนะไปแล้ว การร่างเร็วขึ้น เครื่องมือน่าประทับใจ ต้องอาศัยการทบทวนต้นทุนทั้งหมดจึงเห็นว่าเวลาเพียงย้ายจากการเขียนไปสู่การแก้ไข ในหลายเอเจนซี การแก้ไขนี้ยังตกอยู่กับคนอาวุโสกว่า เพราะมีแต่พวกเขาที่รู้ว่าตัวเลขควรหน้าตาเป็นอย่างไร

ภาระ AI คืออะไร และจะสังเกตได้อย่างไร

ภาระ AI (AI drag) เป็นคำของผู้ก่อตั้ง หมายถึงจุดที่คุณใช้เวลาแก้สิ่งที่ AI ผลิตมากกว่าเวลาที่จะใช้ทำงานให้ถูกตั้งแต่แรก มันคือภาษีแอบแฝงของโครงการนำร่อง AI จำนวนมาก และแทบไม่เคยประกาศตัว ให้สังเกตสัญญาณเหล่านี้

• เวลาร่างลดลง ขณะที่เวลาแก้ไขค่อย ๆ เพิ่มขึ้นอย่างเงียบ ๆ
• คนอาวุโสถูกดึงมาตรวจผลลัพธ์ที่เคยเป็นงานรูทีน
• การแก้ไขแบบเดิมปรากฏซ้ำสัปดาห์แล้วสัปดาห์เล่า
• ผู้คนกลับไปใช้วิธีเดิมกับลูกค้า "สำคัญ"
• ไม่มีใครบอกได้ว่าเครื่องมือประหยัดอะไร บอกได้เพียงว่ามันผลิตอะไร

หากพบตั้งแต่สองข้อขึ้นไป ให้หยุดแล้วรันขั้นตอนทบทวนอีกครั้ง ภาระ AI ไม่ใช่เหตุผลให้ทิ้ง AI แต่เป็นสัญญาณว่าเวิร์กโฟลว์ ข้อมูล หรือคำสั่งต้องได้รับการแก้ไขก่อนขยายผล

ทำไมเรื่องนี้จึงเกิดซ้ำแล้วซ้ำเล่า

นักเศรษฐศาสตร์เรียกว่าความล้มเหลวของตลาด เมื่อราคาไม่สะท้อนต้นทุนที่แท้จริง ทรัพยากรจึงไหลไปผิดที่ AI "ฟรี" เป็นตัวอย่างตามตำราภายในเอเจนซี ที่นั่งราคาถูก การประมวลผลมองไม่เห็น และเวลาตรวจงานไม่อยู่ในงบของใคร เมื่ออะไรดูเหมือนฟรี คุณจะใช้มากเกินไปในที่ที่มันไม่ควรอยู่

M-Credit ของ Mutabor ตามที่ Horizont อธิบายคือสัญญาณราคา ทำให้ต้นทุนแอบแฝงอย่างหนึ่งปรากฏแก่ลูกค้า เอเจนซีต้องมีวินัยเดียวกันภายใน ใส่เวลาตรวจและแก้ไขลงในใบบันทึกเวลา นับค่าประมวลผล แล้วประสิทธิภาพจะกลายเป็นสิ่งที่มองเห็น และข้อคิดเบื้องหลังบทความนี้ก็เป็นจริง คือประสิทธิภาพเป็นมารดาของนวัตกรรม ผลประหยัดจริงคืนเวลาจริงให้กับงานที่ดีกว่า

จะรันฐานตั้งต้น เป้าหมาย ทดสอบ และทบทวนกับเวิร์กโฟลว์การรายงานได้อย่างไร

1. เลือกรายงานที่ทำซ้ำหนึ่งฉบับ รายสัปดาห์หรือรายเดือน สำหรับลูกค้าหนึ่งราย ในรูปแบบที่คงที่
2. จับเวลาหนึ่งเดือน ทุกขั้นตอนและทุกคน รวมถึงการตามข้อมูลและการแก้ข้อผิดพลาด นั่นคือฐานตั้งต้นของคุณ
3. ตกลงเป้าหมายก่อนสร้าง ชั่วโมงต่อรายงานและอัตราข้อผิดพลาดที่ยอมรับได้ เขียนไว้ร่วมกับหัวหน้าทีมลูกค้า
4. ระบุผู้ตรวจ คนหนึ่งที่รับผิดชอบคุณภาพและบันทึกว่าการตรวจใช้เวลานานเท่าใด
5. รันทั้งสองวิธีควบคู่กัน หลายรอบ ข้อมูลเดียวกัน เกณฑ์คุณภาพเดียวกัน
6. ทบทวนต้นทุนทั้งหมด การร่าง การตรวจ การแก้ไข ค่าเครื่องมือ และค่าประมวลผล เทียบกับฐานตั้งต้น
7. ตัดสินใจ: ขยายผล แก้ หรือหยุด หากถึงเป้าหมายก็ขยายผล หากเกิดภาระ AI ก็แก้อินพุต หากทั้งสองอย่างไม่ได้ผล ก็หยุดแล้วเลือกงานอื่น

เอเจนซีควรจัดงบสำหรับอะไรหลังเปิดตัว

การทดสอบที่ผ่านไม่ใช่ผลิตภัณฑ์ที่เสร็จสมบูรณ์ คำแนะนำส่งท้ายของผู้ก่อตั้งคือ สร้างเพื่อการเปลี่ยนแปลง ไม่ใช่เพื่อคำสัญญาที่เสร็จสิ้น สิ่งที่คุณสร้างจะต้องการการลงทุนต่อเนื่องและทรัพยากรเฉพาะ เพราะโมเดลเปลี่ยน ลูกค้าเปลี่ยน KPI และแพลตฟอร์มเปลี่ยนข้อมูล

เรื่องนี้เกี่ยวข้องโดยตรงกับการตัดสินใจว่าจะสร้างเองหรือซื้อ หากสร้างระบบรายงานอัตโนมัติเอง คุณเป็นเจ้าของภาระการดูแลรักษาตราบเท่าที่มันยังทำงานอยู่ ตัวอย่างเช่น Defy Agents รันเวิร์กโฟลว์แบบเอเจนต์สำหรับงานส่งมอบที่ทำซ้ำ เช่น การรายงานและการติดตาม โดยภาระการดูแลรักษาไม่ตกอยู่กับทีมของคุณ SAMY เอเจนซีอินฟลูเอนเซอร์ระดับโลก นำไปใช้เพื่อปรับปรุงการรายงานประสิทธิภาพ ลดงานสามวันเหลือหนึ่งวัน

ไม่ว่าคุณจะเลือกเส้นทางใด ให้รันสี่ขั้นตอนก่อน คุณดูได้ว่าเอเจนต์ การติดตาม และการเข้าถึงข้อมูลประกอบกันอย่างไรบนแพลตฟอร์ม Defy แต่ฐานตั้งต้นต้องมาจากคุณ