ลองนึกภาพว่ามีโมเดล AI จากจีนตัวใหม่ที่ราคาถูกกว่าโมเดลระดับแนวหน้าฝั่งตะวันตกราวครึ่งหนึ่ง แต่คะแนนเบนช์มาร์กบางรายการกลับแซงหน้าไปแล้ว คำถามที่ตามมาคือในงานจริง มันทำได้ใกล้เคียงกันแค่ไหน Nick Saraev ครีเอเตอร์จากช่อง YouTube Nick Saraev ลองตอบคำถามนี้ด้วยการให้ Kimi K3.1 Pro และ Claude Opus 5.5 สร้างงานจากพรอมต์เดียวกันทั้งหมด 8 โจทย์ แล้วนำผลมาเทียบกันทีละชิ้น
บทความนี้สรุปสิ่งที่การทดสอบนั้นบอกเรา ทั้งตัวเลขเบนช์มาร์ก ความต่างด้านเวลาและคุณภาพ ไปจนถึงฟีเจอร์เฉพาะตัวของ Kimi และราคา เพื่อให้เห็นภาพว่าโมเดลแบบนี้เหมาะกับงานของเราตรงไหน
สรุปสั้น ๆ
- Kimi K3.1 Pro ทำคะแนนเบนช์มาร์กด้านโค้ดและงานระยะยาวได้สูสีกับ Opus 5.5 และชนะในบางรายการ
- ในโจทย์ชุดเดียวกัน Kimi สร้างเสร็จเร็วกว่ามาก (ราว 30 นาที เทียบกับราว 47 นาที)
- Opus 5.5 ให้ภาพสวยและละเอียดกว่า แต่มีงานที่เปิดไม่ติดหรือบังคับตัวละครไม่ได้ 2 จาก 8 ชิ้น
- Kimi มีโหมด Swarm ที่ส่งงานให้เอเจนต์จำนวนมากทำพร้อมกัน และราคาถูกกว่าราวครึ่งหนึ่ง
เบนช์มาร์กบอกอะไรได้บ้าง
ตัวเลขที่ Kimi เปิดเผยน่าสนใจตรงที่ไม่ได้ชนะแค่เรื่องความรู้ทั่วไป แต่เก่งในงานแนวเอเจนต์ที่ต้องทำต่อเนื่องยาว ๆ บน Terminal Bench 4.0 Kimi ได้ 65.7 เทียบกับ GPT6 Asteris ที่ 58.2 และถือว่าตามหลัง Opus 5.5 อยู่นิดเดียว ซึ่งสำคัญเพราะเบนช์มาร์กนี้สะท้อนการทำงานกับคอมพิวเตอร์จริงในงานเขียนโปรแกรม
ในชุดทดสอบงานวิศวกรรมแบบหลายชั่วโมง 20 โจทย์ที่ไม่มีอินเทอร์เน็ต Kimi ทำได้ดีที่สุดในบรรดาโมเดลแนวหน้า นำ Opus 5.5 อยู่เกือบ 5 คะแนน และบน Kimi Codebench 3.0 แบบ long horizon ก็ได้ 61.2 เทียบกับ 58.5 ส่วน Humanity's Last Exam ซึ่งเป็นเบนช์มาร์กยอดนิยมสำหรับวัดความเก่งระดับ AGI Kimi ได้ 70 สูงกว่า Opus 5.5 ที่ 67.7 อย่างไรก็ตาม ตัวเลขเหล่านี้ให้ข้อมูลได้เพียงส่วนหนึ่ง เพราะคะแนนไม่ได้บอกว่างานที่ออกมาใช้งานได้จริงหรือสวยแค่ไหน จึงต้องดูผลลองทำจริงประกอบกัน
กติกาการทดสอบและเรื่องความเร็ว
การเทียบที่ยุติธรรมต้องคุมตัวแปรให้เหมือนกัน ทั้งสองโมเดลได้พรอมต์เดียวกัน ใช้เครื่องมือชุดเดียวกัน และรันที่ระดับ effort สูงสุดบน harness ของตัวเอง คือ Kimi Code สำหรับ Kimi และ Claude Code สำหรับ Opus 5.5
ผลด้านเวลาต่างกันชัดเจน เฉลี่ยแล้ว Kimi ใช้ประมาณ 29 นาที 41 วินาทีต่อชิ้น ขณะที่ Opus 5.5 ใช้ประมาณ 47 นาที 2 วินาที เวลาที่นานกว่าไม่ได้แปลว่าคุณภาพดีกว่าเสมอไป และในหลายเดโมของรอบนี้ ผู้ทดสอบเห็นว่าโมเดลที่ใช้เวลานานกว่ายังไม่ได้ตรวจว่างานของตัวเองรันได้จริงด้วยซ้ำ ซึ่งเป็นบทเรียนที่ควรจำไว้ว่าความเร็วในการสร้างมีผลต่อต้นทุนและความต่อเนื่องของงานโดยตรง
เดโมที่ Kimi ทำได้ดีหรือสูสี
เดโมแรกคือซิมูเลเตอร์คีย์บอร์ดเมคานิคัล 3 มิติชื่อ Loom ฝั่ง Kimi มีตัวเลือกสีให้เปลี่ยน เปลี่ยนชนิดสวิตช์ได้ พิมพ์บนคีย์บอร์ดได้จริง สั่งให้ชิ้นส่วนแยกออกจากกันได้ และมีปุ่มใส่ตะกร้า ผู้ทดสอบประเมินว่าละเอียดกว่าที่คาดไว้มาก ส่วน Opus 5.5 ในรอบแรกเปิดไม่ขึ้นเลย ต้องสั่งให้แก้ก่อน เมื่อแก้แล้วงานของ Opus ดูสมจริงกว่าเล็กน้อย ทั้งรูปทรงปุ่มและพื้นผิวแผ่นรองโต๊ะ แต่เมื่อเทียบกับราคาที่ถูกกว่ามาก ผลของ Kimi ถือว่าไม่น้อยหน้า
เดโมทดสอบงานเกมบอกอะไรได้อีกมุมหนึ่ง เกมแนว Minecraft ของ Kimi เล่นได้เต็มรูปแบบ มีเงาสวย วิ่งสปรินต์ได้ ซูมออกอัตโนมัติ และแม้แต่ดำน้ำตอนกลางคืนก็มีเอฟเฟกต์ภาพเบลอ ในขณะที่เวอร์ชันของ Opus ดูสวยมากแต่ตัวละครขยับไม่ได้เลย จึงเล่นไม่ได้ในทางปฏิบัติ ส่วนเดโมจำลองการระเบิดตึก Kimi ทำได้ตั้งแต่ระเบิดจากล่างขึ้นบน กระจกพังลงมา และมีภาพรีเพลย์ย้อนหลัง จุดที่ขาดคือบริบทเมืองรอบตึกที่ยังโล่ง ขณะที่ฝั่ง Opus ใส่ตึกไว้ในเมืองได้สมจริงกว่า แต่เสียงประกอบกวนใจและควันดูไม่เนียน
เดโมที่ Opus 5.5 เหนือกว่า
เมื่อเน้นความสวยงามและความละเอียด Opus 5.5 มักได้เปรียบ ในเดโมจำลองกาแล็กซีชนกัน ทั้งสองมีฟังก์ชันใกล้เคียงกัน มีดาวหลักแสนดวงและการบิดเบี้ยวของแขนกาแล็กซีเหมือนกัน แต่ฝั่ง Opus ให้บรรยากาศอวกาศจริงจังกว่า ส่วนของ Kimi ดูค่อนไปทางการ์ตูน ซึ่งส่วนหนึ่งเป็นเรื่องรสนิยมและสีพื้นหลังมากกว่าความสามารถ
เดโมเว็บไซต์เลื่อนหน้า (scroll-driven) ธีมนักดำน้ำลึกที่บังคับให้ใช้เฉพาะ SVG กับ HTML ก็เห็นความต่างชัด Opus ไปไกลกว่าด้วยฉลามที่ว่ายอยู่จริงและเอฟเฟกต์ 3 มิติ ทำให้เลื่อนดูสนุกกว่า แต่ราคาที่จ่ายคือหน้าเว็บช้าลงเพราะไม่ได้ optimize และในเกมยิงไททันที่ผู้ทดสอบเคยทำเอง เวอร์ชันของ Kimi ควบคุมสับสนเพราะกดขึ้นกลายเป็นลง ขณะที่ Opus เล่นสนุกและสวยกว่าอย่างชัดเจน ภาพรวมจึงสรุปได้ว่า Opus ให้คุณภาพสูงสุดสูงกว่า แต่ Kimi ให้ผลที่สม่ำเสมอกว่า
ฟีเจอร์ของ Kimi และเรื่องราคา
Kimi มี harness ของตัวเองที่ kimi.ai ใช้ได้ทั้งถามตอบทั่วไปและสั่งงานแบบเอเจนต์ มีการเพิ่มไฟล์และรูปภาพ ปลั๊กอิน และสกิล รวมถึงปรับระดับ effort ได้เหมือนโมเดลอื่น จุดที่ต่างคือร่องรอยการคิด (reasoning trace) ของ Kimi เขียนสั้นกว่าของโมเดลฝั่งตะวันตกมาก เพราะมักตัดประธานหรือกรรมออก ซึ่งเป็นวิธีประหยัดโทเค็นของโมเดลที่ต้องแข่งกับคู่แข่งที่มีพลังประมวลผลและพารามิเตอร์มากกว่า
อีกฟีเจอร์เด่นคือ Swarm ที่ส่งงานให้เอเจนต์จำนวนหลายร้อยตัวทำพร้อมกัน เช่น สั่งให้สร้างแลนดิงเพจ 10 แบบสำหรับสินค้าสมมติ ระบบจะแตกงานออกเอง และถามคำถามผ่านแผงถามตอบเมื่อต้องการข้อมูลเพิ่ม ในเรื่องราคา Kimi อยู่ที่ราว 2 ดอลลาร์ต่อล้าน input token และ 10 ดอลลาร์ต่อล้าน output token ซึ่งต่ำกว่า Opus 5.5 ประมาณครึ่งหนึ่ง ส่วนการทดสอบทั้งหมดรันบนแผนสมาชิก ไม่ได้คิดตาม API และแผนของ Kimi ให้โควตาค่อนข้างเยอะ
คำถามที่ควรถามไม่ใช่ว่าโมเดลไหนเก่งสุด แต่เป็นว่าคุณภาพที่เพิ่มขึ้นของโมเดลแพงกว่า คุ้มกับราคาที่จ่ายเพิ่มเป็นสองเท่าหรือไม่
บทสรุป
จากการทดสอบทั้ง 8 โจทย์ Kimi K3.1 Pro ยังไม่ได้เก่งกว่า Opus 5.5 ในทุกด้าน โดยเฉพาะงานที่ต้องการความสวยและรายละเอียดระดับสูง แต่ความเร็ว ความสม่ำเสมอ และราคาที่ถูกกว่าครึ่ง ทำให้มันเป็นตัวเลือกที่จริงจังสำหรับงานความรู้และงานโค้ดทั่วไป โดยเฉพาะงานที่ต้องรันซ้ำหลายรอบ
วิธีที่ได้ผลคือลองให้โมเดลทั้งสองทำโจทย์จริงของเราเองด้วยพรอมต์เดียวกัน แล้วดูทั้งผลลัพธ์ เวลา และต้นทุนต่อชิ้นงาน เพราะส่วนต่างเล็ก ๆ ของคุณภาพจะมีค่าแค่ไหน ขึ้นอยู่กับว่างานนั้นต้องการความสมบูรณ์แบบมากน้อยเพียงใด
