Audio2Photoreal by Meta

Audio2Photoreal by Meta: Sesi fotogerçekçi konuşan insanlara dönüştürmek için araştırma kodu

Audio2Photoreal, Meta (facebookresearch) tarafından geliştirilen bir araştırma kod tabanıdır. Amaç, bir konuşma kaydından fotogerçekçi insan görüntüleri ve beden hareketlerini üretebilen avatarlar üretmektir. Repo 6 Ağustos 2025 tarihinde arşivlenmiş ve artık salt okunur. Araştırma makalesi: “From Audio to Photoreal Embodiment: Synthesizing Humans in Conversations” (CVPR 2024) olarak referanslanabilir.

Temel yetenekler ve öne çıkan noktalar

Audio2Photoreal tek bir bileşenden ziyade bir pipeline sunar; sesten yüz ifadelerine, yüz diffüzyon modellerinden vücut üretimine kadar bir dizi önceden eğitilmiş model içerir. Öne çıkan noktalar:

• Ses girdisinden fotogerçekçi konuşan yüz ve beden hareketleri sentezleme.
• Yüz için diffusion tabanlı modeller; beden için VQ-VAE ve guide transformer bileşenleri.
• Önceden eğitilmiş motion modelleri ve kişi-özgü datasetler (kişi ID’leriyle sağlanan veri paketleri).
• Gradio tabanlı demo ile kayıt yapıp örnekler üretme imkanı; aynı zamanda yerelde çalıştırılabilecek kod ve eğitim betikleri.
• Rendering için CA Bodies reposuna bağlı bir görüntü oluşturma boru hattı; PyTorch3D gereksinimi bulunuyor.

Nasıl kullanılır ve teknik gereksinimler

Repo, deneysel/kaynak kod niteliğindedir; kullanmaya başlamak için ana adımlar şunlardır:

• Çevre kurulumunu yapın: python 3.9 öneriliyor, conda ile izole bir ortam oluşturun ve gerekli paketleri yükleyin.
• Örnek hızlı başlatma: conda create –name a2p_env python=3.9
  conda activate a2p_env
  sh demo/install.sh
  python -m demo.demo
  (Bu komutlar demo README’inde yer almakta ve gradio aracılığıyla ses kaydedip video üretebilmenizi sağlar.)
• Gereksinimler: CUDA 11.7, gcc/g++ 9.0, PyTorch ve PyTorch3D; güçlü GPU ve yeterli bellek render/işleme için önemli.
• Model ve veri indirme: repository üzerinden kişi-özgü veri paketleri ve önceden eğitilmiş modeller indirilebiliyor. Ayrıca render için CA Bodies varlıklarının da indirilmesi gerekiyor.
• Eğitim: Repo, yüz, rehber poz ve beden modellerini sıfırdan eğitmek için betikler içerir; pratikte yüksek hesaplama kaynağı (birden fazla güçlü GPU) gerektirir.
• Sınırlamalar: Gerçek zamanlı olmaktan ziyade araştırma/üretim amaçlı pipeline. Modeller kişi-özgüdür; yeni bir kişiye uygulanması için ek veri veya ince ayar gerekebilir.
• Etik ve lisans: Kaynak kod ve verilerin kullanım koşullarına ve lisansına dikkat edin. Repo arşivlendiği için aktif bakım yok; kullanımda etik ve izinler açısından dikkatli olun.

Fiyatlandırma

Ücretsiz. Kod ve modeller GitHub üzerinden dağıtılıyor; repo: https://github.com/facebookresearch/audio2photoreal (arşivlenmiş durum). İlgili modeller ve veri paketleri README’de verilen doğrudan indirme bağlantılarıyla sağlanıyor.

Özetle: Audio2Photoreal, sesten fotogerçekçi konuşan insan görüntüleri üreten güçlü ve iyi dokümante edilmiş bir araştırma kod kümesi sunuyor. Önceden eğitilmiş modeller ve bir demo ile denemesi kolay olsa da, ağır GPU gereksinimleri, kişi-özgü modeller ve arşivlenmiş repo durumu nedeniyle daha çok araştırmacılar ve deneyimli geliştiriciler için uygun. Kullanım öncesi lisans ve etik koşullar dikkatle gözden geçirilmeli.