ถ้าเคยนั่งเลือกระหว่าง Claude Haiku, Sonnet, และ Opus แล้วไม่แน่ใจว่าราคาที่ต่างกันหลายเท่านั้นคุ้มหรือเปล่า Nick Saraev (@nicksaraev) เพิ่งทำสิ่งที่หลายคนอยากรู้แต่ไม่มีเวลาทำ นั่นคือจ่ายเงินจริงกว่า $700 หรือราว 24,000 บาท เพื่อรันคำสั่งชุดเดียวกันทุกตัวอักษรบนทั้งสามโมเดล แล้วเปรียบผลลัพธ์ในทุกมิติ ตั้งแต่เกม 3D ไปจนถึงการวิเคราะห์การทุจริตทางบัญชี
สิ่งที่ได้จากการทดสอบนี้ไม่ใช่แค่ "Opus ดีที่สุด" อย่างที่คนส่วนใหญ่คาด แต่เป็นภาพที่ละเอียดกว่านั้น บางงาน Haiku ชนะทั้งที่ถูกกว่า 16 เท่า บางงานช่องว่างระหว่างโมเดลแทบมองไม่เห็น และคำถามที่สำคัญกว่า "อันไหนดีกว่า" คือ "อันไหนคุ้มค่ากว่าสำหรับงานที่เราทำ"
- งานวิเคราะห์ข้อมูลและข้อความ ทั้งสามโมเดลได้ผลเท่ากันทุกประการ
- งาน 3D/UI/เกม Sonnet ดีกว่า Haiku ชัดเจน แต่ช่องว่าง Sonnet–Opus เล็กกว่าที่คาด
- Haiku ชนะ Breaking Bad RPG ทั้งคุณภาพและราคา
- เลือกโมเดลตามประเภทงาน ไม่ใช่เลือก Opus เป็นค่าเริ่มต้นเสมอ
ราคาต่างกันแค่ไหน — และทดสอบอะไรบ้าง
เริ่มจากตัวเลขก่อน Haiku 5.5 ราคา 1 เซนต์ต่อ 1 ล้าน input token สำหรับ cache hit ต่ำกว่า 100K ซึ่งถูกกว่า Sonnet ประมาณ 3–5 เท่า และถูกกว่า Opus ได้ถึง 15 เท่าในงานบางประเภท ตัวเลขนี้ฟังดูธรรมดา แต่พอเอาไปใช้กับงานจริงที่ใช้ token หลักสิบล้านตัว ความต่างกลายเป็นหลายร้อยดอลลาร์ได้ทันที
งานที่ใช้ทดสอบครั้งนี้ถือว่าหนักพอสมควร ได้แก่ การสร้างเกม 3D หลายประเภท ทั้ง League of Legends clone, Breaking Bad RPG, Call of Duty FPS และ Minecraft sandbox นอกจากนั้นยังมีการออกแบบเว็บไซต์เปิดตัวผลิตภัณฑ์ web app การเงินส่วนตัว สารคดีแอนิเมชัน 2 นาที และงานวิเคราะห์ข้อมูลการฉ้อโกงจากไฟล์ CSV ขนาดใหญ่ แต่ละงานรันบนทั้งสามโมเดลด้วยคำสั่งเดียวกันทุกตัวอักษร ไม่มีการปรับแต่งพิเศษให้โมเดลไหน
สร้างเกม 3D — เมื่อเงิน 20 เซนต์ให้ผลที่คาดไม่ถึง
งานสร้างเกมเป็นส่วนที่ให้ข้อมูลมากที่สุดในการทดสอบนี้ เพราะต้องการทั้งตรรกะโค้ด กราฟิก และความสม่ำเสมอของระบบพร้อมกัน ใน League of Legends clone Haiku ใช้เงินไม่ถึง $10 ได้เกมที่เล่นได้จริง มีแชมเปี้ยนให้เลือก มีระบบสกิล และทำลาย nexus ได้ กราฟิกอยู่ในระดับพื้นฐาน แต่ครบทุก mechanic ที่ต้องมี Sonnet ให้กราฟิกดีกว่าชัดเจน แต่ใช้เงินมากกว่าถึงห้าเท่า ขณะที่ Opus น่าแปลกใจตรงที่กราฟิกไม่ได้ดีกว่า Sonnet อย่างมีนัยสำคัญ บางจุดอาจด้อยกว่าด้วยซ้ำ
งานที่น่าสนใจที่สุดในหมวดนี้คือ Breaking Bad RPG ซึ่ง Haiku ใช้เงินแค่ $8.87 แต่ได้เกมที่มี texture สภาพแวดล้อมสูงมาก โครงสร้างบ้านใน New Mexico ดูสมจริง แสงและเงาทำออกมาดี อย่างไรก็ตามโมเดลตัวละครทำออกมาได้ไม่ดีในทุกโมเดล ซึ่งเป็นข้อจำกัดของการทำงานใน Three.js ไม่ใช่ความสามารถของโมเดลใดโมเดลหนึ่ง สิ่งที่ทำให้ Haiku ชนะในงานนี้กลับเป็น gameplay — Sonnet และ Opus ใส่ cutscene ที่ข้ามไม่ได้มากเกินไป จนประสบการณ์การเล่นแย่กว่า แม้กราฟิกบางจุดจะดีกว่า
ราคาต่อคุณภาพที่ได้รับคือตัวแปรที่สำคัญกว่าคุณภาพสูงสุดที่เป็นไปได้ในการเลือกโมเดลสำหรับงานจริง
สำหรับ Minecraft sandbox Haiku ทำสำเร็จที่ 20 เซนต์เท่านั้น ได้โลกที่เดินได้และวางบล็อกได้จริง Opus ที่แพงกว่ามากทำออกมาได้ดีกว่าชัดเจน มีเงา โลกใหญ่กว่า procedural generation คุณภาพสูง นี่เป็นงานที่ Opus ชนะขาดจริงๆ แต่ก็ต้องถามตัวเองว่าสำหรับงานจริงในชีวิตประจำวัน เราต้องการความแตกต่างระดับนั้นหรือเปล่า
ออกแบบเว็บไซต์และ UI — ราคาต่อคุณภาพที่มองเห็นได้ชัด
งานออกแบบเว็บไซต์เปิดตัวนาฬิกาให้เห็นภาพความแตกต่างได้ชัดที่สุดในชุดนี้ Haiku ใช้เงินประมาณ $3 ได้เว็บที่มี 3D visualization นาฬิกาแยกชิ้นส่วนเมื่อ scroll ผ่าน มี section FAQ และระบบ reserve ใช้งานได้จริง ไม่ใช่งานขยะ แต่อาจดูเป็น template-like ในบางจุด Sonnet ที่ใช้เงินมากกว่าหลายเท่าให้ผลลัพธ์ที่สวยงามกว่าชัดเจน zoom เข้าไปในกลไกนาฬิกาได้ละเอียดกว่า animation ลื่นกว่า ขณะที่ Opus เป็นที่สุดในงานนี้อย่างไม่ต้องเถียง animation above-the-fold สวยงามมาก บอกเล่า molecular basis ของนาฬิกาได้ครบถ้วน และดูเป็นงาน premium จริงๆ แต่ค่าใช้จ่ายก็พุ่งไปถึง $55 เมื่อเทียบกับ Haiku ที่ $3
สิ่งที่น่าสังเกตเพิ่มเติมคือในงาน personal finance web app Haiku ใช้ token มากกว่า Sonnet และ Opus (7 ล้าน token เทียบกับ 4 และ 3.39 ล้าน) แต่เพราะราคาถูกกว่ามาก ค่าใช้จ่ายรวมยังอยู่ที่ 50 เซนต์เท่านั้น ซึ่งหมายความว่าโมเดลเล็กบางงานอาจต้องใช้ token มากกว่าเพื่อทำงานให้เสร็จ แต่ก็ยังถูกกว่าอยู่ดีในท้ายที่สุด
งานวิเคราะห์ข้อมูล — จุดที่ทุกโมเดลเท่ากัน
นี่คือผลลัพธ์ที่น่าตกใจที่สุดในการทดสอบทั้งหมด ในงานนักบัญชีนิติวิทยาศาสตร์ที่ต้องหาการทุจริตมูลค่า $391,333 จากไฟล์ CSV ขนาดใหญ่ ทั้งสามโมเดลได้คะแนน 8 จาก 8 เท่ากันทุกประการ หา fraud scheme ครบทุกจุด รายงานชัดเจน ไม่มีโมเดลไหนทำได้ดีกว่าอีกโมเดลอย่างมีนัยสำคัญ และที่สำคัญกว่าคือความต่างของค่าใช้จ่ายระหว่าง Haiku กับ Sonnet ในงานนี้อยู่ที่แค่ประมาณ 20 เซนต์ ขณะที่ Haiku กับ Opus ต่างกัน 4–5 เท่า
ความเป็นจริงที่การทดสอบนี้ยืนยันคือโมเดล AI กำลังถึง "จุดอิ่มตัว" สำหรับงานข้อความและการวิเคราะห์ข้อมูล ทั้งโมเดลเล็กและใหญ่สามารถทำงานประเภทนี้ได้อย่างถูกต้องแทบจะเท่ากัน ซึ่งหมายความว่าถ้างานหลักเป็นการสรุปเอกสาร วิเคราะห์ข้อมูล ตอบคำถาม หรือเขียนเนื้อหา การจ่ายเงินเพิ่มเพื่อใช้ Opus หรือแม้แต่ Sonnet อาจไม่มีความจำเป็นในหลายกรณี
เลือกโมเดลให้ถูกกับงาน ไม่ใช่เลือกแพงที่สุดเสมอ
จากข้อมูลทั้งหมด กรอบคิดที่ได้คือ งานที่ Haiku เหมาะสุดได้แก่ งานข้อความ การวิเคราะห์ข้อมูล การสรุปเอกสาร การสร้างเนื้อหาจำนวนมาก และ UI ที่ไม่ต้องการ visual fidelity สูง ในหมวดนี้ Haiku ให้คุณค่าสูงสุดต่อเงินที่จ่ายไปอย่างชัดเจน ถ้าเป้าหมายคือ "ทำ SEO site จำนวนมาก" หรือ "process เอกสารหลายร้อยฉบับ" Haiku คือตัวเลือกที่สมเหตุสมผลที่สุด
Sonnet เหมาะสำหรับงานที่ต้องการคุณภาพ visual ระดับหนึ่ง เช่น UI สำหรับ demo ลูกค้า หรือ presentation ที่ต้องดูดี สิ่งที่น่าแปลกใจจากการทดสอบนี้คือ Sonnet อยู่ใกล้ Opus มากกว่าที่หลายคนคาด ช่องว่างระหว่างสองตัวนี้เล็กกว่าช่องว่างระหว่าง Haiku กับ Sonnet อย่างเห็นได้ชัด Opus สมเหตุสมผลเมื่องานต้องการ "ดีที่สุดที่เป็นไปได้" โดยไม่คำนึงถึงต้นทุน เช่น งาน creative ระดับสูง prototype ที่ไปโชว์นักลงทุน หรืองานที่ความแตกต่างเล็กน้อยมีผลต่อการตัดสินใจจริง แต่การเลือก Opus เป็นค่าเริ่มต้นสำหรับทุกงานนั้นไม่มีเหตุผลรองรับอีกต่อไปแล้ว
บทสรุป
การทดสอบนี้เปลี่ยนวิธีคิดเรื่องการเลือกโมเดลไปมาก แทนที่จะถามว่า "ใช้โมเดลอะไรดี" คำถามที่ถูกต้องกว่าคือ "งานนี้ต้องการ visual fidelity ขนาดไหน และงบที่มีเพียงพอสำหรับระดับนั้นไหม" สำหรับธุรกิจและ creator ที่ใช้ AI เป็น pipeline ทำงานจำนวนมาก การ route งานประเภทต่างๆ ไปยังโมเดลที่เหมาะสมอาจลดค่าใช้จ่ายได้มากโดยไม่กระทบคุณภาพผลลัพธ์เลย
Haiku กำลังดีขึ้นเร็ว ช่องว่างที่เคยเป็นเหตุผลให้จ่ายเงินเพิ่มสำหรับโมเดลใหญ่แคบลงทุกวัน และการเลือกโมเดลให้ถูกกับงานกำลังกลายเป็นทักษะที่สำคัญกว่าการ "ใช้โมเดลแพงที่สุดเสมอ"




