Hệ thống tạo video đồng bộ hóa môi từ clip âm thanh

Anonim

Hệ thống tạo video đồng bộ hóa môi từ clip âm thanh

Khoa học

Bến Coxworth

Ngày 12 tháng 7 năm 2017

Hệ thống này đã được đào tạo theo giờ phát biểu của Barack Obama (Tín dụng: Michael.worley)

Bạn đã có thể tạo một bản sao kỹ thuật số giọng nói của ai đó, cho phép người dùng tạo một tệp âm thanh của họ nói những điều mà họ chưa bao giờ thực sự nói. Người nghe vẫn có thể không bị lừa, tuy nhiên, vì sẽ không có cảnh quay của người nói những lời đó. Tốt .

Các nhà nghiên cứu của Đại học Washington hiện đã tạo ra một hệ thống chuyển đổi các clip âm thanh thành các video được hát nhép.

Để hệ thống hoạt động, nó cần phân tích khoảng 14 giờ cảnh quay hiện tại của người đang nói - các nhà nghiên cứu đang hy vọng giảm đáng kể con số đó, có thể xuống còn một giờ. Sử dụng một mạng lưới thần kinh, nó học được hình dạng miệng của chúng đi kèm với âm thanh lời nói nào.

Khi hệ thống sau đó được cung cấp một "video đích " của người đó (trong đó họ có thể nói về bất cứ điều gì), cùng với một tệp âm thanh của họ nói những từ mong muốn, nó sẽ ghép hai từ lại với nhau. Nó làm như vậy bằng cách bỏ âm thanh gốc của video, thay thế nó bằng âm thanh mong muốn và ánh xạ phiên bản hoạt hình trên máy tính của miệng người nói thay cho miệng của họ trong video.

Kết quả cuối cùng là mọi người nghe họ nói những lời mong muốn, và dường như cũng thấy miệng họ làm như vậy. Mặc dù chắc chắn có tiềm năng cho sự phản bội, các nhà nghiên cứu đã phát triển công nghệ với những mục đích sử dụng khác.

"Chuyển đổi âm thanh thành video thực tế có các ứng dụng thực tế như cải thiện hội nghị video cho các cuộc họp, cũng như các tương lai như có thể tổ chức một cuộc trò chuyện với một nhân vật lịch sử trong thực tế ảo bằng cách tạo hình ảnh chỉ từ âm thanh, " trợ lý nói giáo sư Ira Kemelmacher-Shlizerman. "Đây là loại đột phá sẽ giúp kích hoạt các bước tiếp theo. "

Bạn có thể xem và nghe hệ thống đang sử dụng, trong video sau.

Nguồn: Đại học Washington

Hệ thống này đã được đào tạo theo giờ phát biểu của Barack Obama (Tín dụng: Michael.worley)