Google เปิดตัวโมเดล AI ตัวใหม่ด้านวิดีโอสุดเจ๋ง ชื่อ Lumiere

เป็นโมเดล AI สร้างวิดีโอในระดับ state-of-the-art สุดๆ ชื่อว่า Lumiere

จากเดิมที Google มีตัวสร้างวิดีโอที่ชื่อว่า VideoPoet อยู่แล้ว

กับตัวสร้างรูปชื่อ ImageGen 

แต่ Lumiere ออกมา นี่ดูเจ๋งกว่าตัวเดิมมาก สามารถสร้าง Short-form Video คุณภาพสูงได้เลย

ข้อมูลเบื้องต้น

• Lumiere ถูกเทรนด้วยชุดข้อมูลเป็นวิดีโอกว่า 30 ล้านวิดีโอ ความยาว 80 เฟรม พร้อมการใส่ text caption เข้าไปเพื่อฝึกมัน

• สามารถสร้างวิดีโอได้ 16 เฟรม ต่อวินาที

• ซึ่งไม่มีการบอกว่าเอาวิดีโอ 30 ล้านวิดีโอนี่ มีแหล่งที่มาจากไหนเหมือนกัน

ผลงานนี้ เป็นงานวิจัยร่วมกันระหว่างทีมงาน Google Research และมหาวิทยาลัยชั้นนำด้านเทคโนโลยีของอิสราเอล คือ

• Technion - Israel Institute of Technology

• Weizmann Institute of Science และ

• มหาวิทยาลัย Tel Aviv

Lumiere มีฟีเจอร์เด็ดอยู่ 4 อย่าง คือ

1. Video Editing หรือการแก้ไขวิดีโอ - แก้ได้ด้วยการ Prompt คำสั่งเข้าไปเลย (ง่ายแต่เทพมาก)

2. Stylized Generation - สามารถสร้างวิดีโอจาก reference ที่เราให้ได้เลย (ให้ ref เป็นรูปภาพหรือวิดีโอก็ได้) - โมเดลจะเรียนรู้สไตล์ที่ใส่ไป แล้วสร้างวิดีโอออกมาใช้สไตล์นั้น เทพไปอีกกกกก’

3. Image & Text to Video - ไม่ใช่แค่ใส่ Prompt เป็นข้อความนะ โยนรูปภาพใส่เข้าไป มันเจนเป็นวิดีโอให้โดยใช้รูปนั้นอีก เช่น โยนรูปเราหน้านิ่งๆเข้าไป แล้วสั่งให้มันสร้างรูปเรากำลังหัวเราะ มันทำได้ เทพเกินไปละ

4. Cinemagraphs - สามารถเลือกแค่บางส่วนของรูปภาพนั้น แล้วทำให้มันเคลื่อนไหวเป็นวิดีโอได้

แหล่งข้อมูล

ข้อมูลทั้งหมดนี้ เป็นงานวิจัยของ Google ที่เผยแพร่ลงใน GitHub

Paper งานวิจัย

หนึ่งในนักวิจัย ชื่อ Hila Chefer จากมหาวิทยาลัย Tel Aviv เป็นคนโพสต์ลงใน X

แนะนำเว็บไซต์และ Newsletter อื่นๆที่น่าสนใจ