🔥 โปรโมชั่นLifetime เหลือ ฿3,990 (จาก ฿7,990)ดูเลย →
Tutorial29 สิงหาคม 2569·7 นาที

สร้าง JARVIS ด้วย Claude: AI ส่วนตัวที่มองเห็น โต้เถียง และทำงานแทนได้

AiCEO Academy

AiCEO Academy

ผู้ก่อตั้ง AiCEO Academy · ผู้เชี่ยวชาญด้าน AI

สร้าง JARVIS ด้วย Claude: AI ส่วนตัวที่มองเห็น โต้เถียง และทำงานแทนได้
สรุปสั้นๆ
  • AI ส่วนตัวที่เชื่อมต่อ Google Drive, Gmail, Telegram และ Canva สามารถทำงานแบบ multi-step ได้ในคำสั่งเดียว
  • การแชร์หน้าจอให้ AI เห็นแบบ real-time ทำให้ feedback มีบริบทและตรงประเด็นกว่าการพิมพ์อธิบาย
  • AI ที่ตั้งค่า persona และ "ความซื่อสัตย์" ได้จะให้คำวิจารณ์ที่มีประโยชน์กว่า AI ที่พยักหน้าตลอด
  • Computer use หรือการให้ AI ควบคุมหน้าจอคือขั้นถัดไปของ automation ที่ไม่ต้องเขียน script

จาก AI ที่แค่ตอบคำถาม สู่ผู้ช่วยที่มองเห็นหน้าจอ วิจารณ์ resume ออกแบบโฆษณา และส่งข้อความ Telegram ได้ในตัวเดียว — นี่คือสิ่งที่ Claude ทำได้เมื่อประกอบเข้ากับ tools ที่ถูกต้อง

ถ้าเคยจินตนาการถึง AI ที่คุยได้เหมือนคน เห็นสิ่งที่เราเห็น และลงมือทำงานแทนเราในแอปจริงๆ — Zubair Trabzada จากช่อง AI Workshop ทำสิ่งนั้นให้เห็นเป็นรูปธรรมในวิดีโอที่เขาเรียกว่า JARVIS Mark 45 ระบบนี้ไม่ใช่แค่ chatbot ธรรมดา แต่คือ AI ที่รู้จักไฟล์ในเครื่อง มองเห็นหน้าจอ และเชื่อมต่อกับ tools จริงๆ ไม่ว่าจะเป็น Google Drive, Telegram หรือแม้แต่ Meta Ads Manager

  • การแชร์หน้าจอแบบ real-time เปลี่ยน AI จาก chatbot เป็น "ที่ปรึกษาที่อยู่ตรงหน้า"
  • Persona และ tone ตั้งได้ — ความซื่อสัตย์ที่ปรับได้ทำให้ feedback มีคุณภาพสูงขึ้นจริง
  • Computer use คือก้าวใหม่: AI ไม่ได้แค่บอก แต่ลงมือทำในแอปจริงแทนเราได้

AI ส่วนตัวที่ "เห็น" ไม่ใช่แค่ "ฟัง"

สิ่งที่ทำให้ระบบแบบ JARVIS แตกต่างจาก ChatGPT หรือ Claude ในเบราว์เซอร์ทั่วไป ไม่ใช่ตัวโมเดล แต่คือ การมองเห็นหน้าจอแบบ real-time เมื่อแชร์หน้าจอให้ AI เห็น มันไม่ได้แค่รับข้อความที่เราพิมพ์ — มันเห็นตัวเลข เห็น layout เห็น context ที่เราไม่ต้องอธิบายซ้ำ

ตัวอย่างที่ชัดที่สุดคือตอนที่ระบบวิจารณ์ resume เจ้าของเปิดไฟล์บนหน้าจอ แล้วพูดว่า "ช่วย roast มันหน่อย" AI เห็น layout จริง เห็น bullet point จริง และวิจารณ์ได้เฉพาะเจาะจง เช่น ชี้ว่า "ไม่มีตัวเลขแม้แต่ตัวเดียว — resume นี้พิสูจน์ได้แค่ว่าคุณเคยทำงาน ไม่ใช่ว่าคุณทำได้ดี" ซึ่งเป็นคำวิจารณ์ที่มาจากการอ่าน content จริง ไม่ใช่การเดาสุ่ม

การให้ AI เห็นหน้าจอแทนการพิมพ์อธิบาย คือการลด friction ที่ใหญ่ที่สุดในการใช้ AI ในชีวิตจริง

Persona และ "ความซื่อสัตย์" ที่ตั้งได้

หนึ่งในจุดที่น่าสนใจของระบบนี้คือการที่ tone ของ AI ปรับได้ตามสถานการณ์ ก่อนเริ่มเซสชัน ระบบได้รับคำสั่งให้เพิ่ม humor และ honesty ขึ้นเป็น 100% ผลที่ได้คือ AI ที่ไม่ประจบ ไม่พยักหน้าแบบ default แต่วิจารณ์ตรงๆ พร้อมความตลกแบบ dry humor เช่น บอกว่า resume "พิสูจน์ได้แค่ว่านั่งอยู่ในเก้าอี้ ไม่ใช่ว่าทำงานได้"

ความสำคัญของการตั้ง persona ไม่ใช่เรื่องความบันเทิง แต่คือ คุณภาพของ output AI ที่ตั้ง default ไว้ว่า "ต้องสุภาพ" มักหลีกเลี่ยงความจริงที่อาจสร้าง discomfort เมื่อเราต้องการ feedback จริงๆ การปรับ tone ให้ตรงกับงานจึงเป็นทักษะที่ควรฝึก ไม่ใช่แค่เขียน prompt แล้วหวังผลเดิมทุกครั้ง

Multi-step Tasks ที่ทำในคำสั่งเดียว

หลังจาก roast resume เสร็จ AI ได้รับคำสั่งต่อเนื่องทันที: "สร้าง resume ใหม่ใน Google Doc แล้วส่ง link มาทาง Telegram" สิ่งที่เกิดขึ้นคือ AI ทำงาน หลาย tools พร้อมกันในเบื้องหลัง — เปิด Google Drive, สร้างเอกสาร, แก้ไข bullet point ให้มีตัวเลขและ action verbs จริงๆ จากนั้นส่งลิงก์ผ่าน Telegram พร้อมข้อความสรุปสั้นๆ

สิ่งนี้เกิดขึ้นได้เพราะระบบมี tool access จริง ไม่ใช่แค่รู้จัก API แต่ถูก authorize ให้ใช้งานจริงๆ Google Drive, Gmail, Zapier, Canva ทั้งหมดเชื่อมต่อและ AI รู้ว่าจะหยิบ tool ไหนเมื่อไร นี่คือความแตกต่างระหว่าง AI ที่ "บอกวิธีทำ" กับ AI ที่ "ทำให้เลย"

Computer Use: AI ที่ขับเมาส์แทนเรา

ขั้นที่น่าทึ่งที่สุดในการสาธิตคือตอนที่ AI ได้รับคำสั่งให้สร้าง Facebook Ads campaign ใหม่ใน Meta Ads Manager แทนที่จะอธิบายว่า "ให้คลิกที่นี่ แล้วไปที่นั่น" มัน ควบคุมหน้าจอโดยตรง — คลิก New Campaign, เลือก objective, ตั้งชื่อ campaign และพิมพ์ข้อมูลลงในฟอร์มจริงๆ

กลไกเบื้องหลังนี้คือ computer use ที่ Claude รองรับ ซึ่งทำงานโดยการ screenshot หน้าจอ ส่งภาพให้โมเดลวิเคราะห์ จากนั้นสั่ง action (คลิก, พิมพ์, scroll) แบบ loop ต่อเนื่อง มันไม่ได้รู้โครงสร้าง HTML ของแอป แต่ "มองเห็น" หน้าจอเหมือนมนุษย์แล้วตัดสินใจว่าต้องทำอะไรต่อ ข้อจำกัดชัดเจนคือความเร็วและโอกาสเกิด error ระหว่าง steps แต่สำหรับงานที่ทำซ้ำๆ และมี pattern ชัด มันใช้งานได้จริงในปัจจุบัน

วิจารณ์ YouTube Channel พร้อม Research ออนไลน์

การทดสอบสุดท้ายที่โชว์ให้เห็นความสามารถรอบด้านคือการให้ AI วิจารณ์ช่อง YouTube โดยให้เข้าถึงอินเทอร์เน็ตได้ด้วย ผลลัพธ์ไม่ใช่แค่ความเห็นส่วนตัว แต่มีข้อมูลจริง เช่น การชี้ว่า channel handle ยังใช้คำว่า "GPT" ทั้งที่ content ส่วนใหญ่ปัจจุบันเกี่ยวกับ Claude และ Agentic AI หรือการอ้างว่า trailer ที่ความยาวต่ำกว่า 90 วินาทีมักเพิ่ม subscriber conversion ได้ 5-15% สำหรับผู้เยี่ยมชมใหม่

ความสามารถในการผสม real-time web research กับ visual context จากหน้าจอ คือจุดที่ AI แบบนี้เริ่มมีมูลค่าในชีวิตจริง เพราะมันไม่ได้แค่ตอบจากความรู้ที่มีอยู่ แต่ไปหาข้อมูลเพิ่มเติมก่อนให้คำแนะนำ เหมือนที่ปรึกษาจริงๆ ทำ

บทสรุป

ระบบแบบ JARVIS ที่เห็นในวิดีโอนี้ไม่ได้เกิดจากโมเดล AI ที่ฉลาดกว่าคนอื่น แต่มาจากการ ออกแบบ tool access ที่ถูกต้องและการตั้ง persona ที่เหมาะกับงาน สิ่งที่ควรเอาไปลองคือการเริ่มจาก tools ที่ใช้ทุกวันอยู่แล้ว เช่น Google Drive หรือ calendar แล้วให้ AI เชื่อมต่อกับมัน แทนที่จะมองว่า AI เป็นแค่เครื่องตอบคำถาม ลองมองมันเป็น layer ที่นั่งอยู่เหนือ workflow ที่มีอยู่และทำงานแทนเราในส่วนที่ซ้ำๆ

แหล่งข้อมูล

คำถามที่พบบ่อย

Computer use ของ Claude ทำงานอย่างไร?+

Claude จะ screenshot หน้าจอ วิเคราะห์ภาพที่เห็น แล้วสั่ง action เช่น คลิก พิมพ์ หรือ scroll เป็น loop ต่อเนื่อง โดยไม่ต้องรู้โครงสร้าง HTML ของแอป แค่ "มองเห็น" หน้าจอเหมือนมนุษย์

ต้องใช้โมเดลไหนถึงรองรับ screen sharing และ computer use?+

Claude Opus รองรับ computer use และ vision ได้ดีที่สุด แต่ Sonnet ก็ทำได้ในหลายกรณี สิ่งสำคัญกว่าคือ tool access และ framework ที่ใช้ build ระบบ

ถ้าไม่มีเงินซื้อ paid community จะสร้าง AI assistant แบบนี้ได้ไหม?+

ได้ — โครงสร้างพื้นฐานใช้ Claude API + MCP (Model Context Protocol) เพื่อเชื่อม tools ต่างๆ มี free resource และ open-source framework หลายตัวที่ทำสิ่งนี้ได้

#claude#ai assistant#computer use#jarvis#tool use#automation#screen sharing#personal ai#multi-agent

แชร์บทความนี้:

🔥 โปรโมชั่นพิเศษ — Lifetime เหลือ ฿3,990 (จาก ฿7,990)ดูโปรโมชั่น →