AMD mulai menunjukkan arah baru dalam pengembangan teknologi neural rendering untuk GPU Radeon dan konsol. Lewat penelitian terbaru, tim teknis AMD mengembangkan metode yang memanfaatkan AI image generation untuk menghasilkan pencahayaan tidak langsung secara real-time.
Teknologi ini berpotensi menjadi salah satu bagian dari masa depan FSR Diamond, sekaligus membuka kemungkinan AMD memiliki pendekatan sendiri terhadap teknologi neural rendering yang sedang dikembangkan Nvidia.
AI Dipakai untuk Menghasilkan Global Illumination
Penelitian AMD tersebut berfokus pada masalah yang cukup berat dalam rendering modern, yaitu global illumination (GI).
Global illumination bertugas mensimulasikan bagaimana cahaya memantul dari satu objek ke objek lainnya. Efek ini membuat pencahayaan dalam game terlihat lebih realistis, tetapi proses perhitungannya juga sangat berat, terutama ketika menggunakan teknik seperti path tracing.
AMD mencoba mengambil pendekatan berbeda dengan menjadikan global illumination sebagai masalah image generation.
Dalam paper berjudul Temporally Stable Generative Illumination with a One-Step Diffusion Model, peneliti AMD menggunakan model diffusion untuk menghasilkan pencahayaan berdasarkan informasi dari scene yang sedang dirender.
Bedanya dengan diffusion model pada umumnya, metode ini dirancang hanya membutuhkan satu langkah denoising. Hal tersebut penting karena model harus menghasilkan output dengan cepat jika nantinya digunakan dalam rendering real-time.
Stable Diffusion 2.1 Turbo Jadi Dasar Model
Metode yang dikembangkan AMD menggunakan Stable Diffusion 2.1 Turbo sebagai model dasar.
Model tersebut mendapatkan sebuah frame yang sudah memiliki direct lighting, yaitu cahaya yang datang langsung dari sumber menuju objek. Informasi tersebut kemudian digunakan sebagai petunjuk untuk menghasilkan efek indirect lighting, seperti cahaya yang memantul dari permukaan objek dan menerangi area di sekitarnya.
Untuk melatih modelnya, AMD membuat dataset sintetis berisi sekitar 31.000 frame interior yang dirender menggunakan Blender Cycles.
Scene tersebut dibuat dengan berbagai kondisi, termasuk penggunaan antara satu hingga 30 sumber cahaya serta objek yang dapat bergerak. Dataset kemudian digunakan dalam 50 putaran training menggunakan GPU AMD Instinct MI210.
Selain gambar, model juga diberikan berbagai informasi mengenai lighting, radiance, material, dan geometri. Informasi tersebut membantu output AI tetap mengikuti bentuk serta kondisi pencahayaan yang sebenarnya ada di dalam scene.
AMD Berusaha Mengatasi Masalah Flickering
Salah satu tantangan terbesar penggunaan AI untuk rendering real-time adalah konsistensi antar-frame.
Model generatif dapat menghasilkan sedikit perbedaan ketika melakukan proses yang sama berulang kali. Dalam gambar biasa mungkin tidak terlalu terlihat, tetapi pada game perbedaan tersebut dapat muncul sebagai flickering atau perubahan pencahayaan yang mengganggu.
AMD menggunakan teknologi bernama Temporal VAE (TVAE) untuk mengatasi masalah tersebut.
Sistem ini memanfaatkan motion vectors dan riwayat output dari frame sebelumnya untuk menjaga agar hasil pencahayaan tetap konsisten. Dengan begitu, AI tidak hanya melihat frame yang sedang diproses, tetapi juga mempertimbangkan apa yang terjadi pada frame sebelumnya.
Output akhirnya kemudian digabungkan kembali dengan frame asli yang menggunakan direct lighting.
Performanya Masih Jauh dari Standar Gaming
Meski konsepnya menarik, teknologi ini masih membutuhkan banyak pengembangan sebelum bisa diterapkan secara langsung pada game modern.
Dalam pengujian AMD, metode tersebut mampu menghasilkan satu frame dalam sekitar 0,29 detik pada resolusi 512 x 512. Artinya, kecepatannya berada di sekitar 3,45 FPS.
Pengujian tersebut bahkan dilakukan menggunakan GeForce RTX 3090, bukan GPU AMD terbaru.
Kebutuhan memorinya juga berada di kisaran 8–9 GB VRAM. Dan perlu diingat, angka tersebut hanya untuk proses generative illumination, bukan keseluruhan proses rendering sebuah frame game.
Dengan demikian, teknologi ini masih sangat jauh dari kebutuhan real-time gaming pada resolusi tinggi dan frame rate 60 FPS atau lebih.
Bisa Menjadi Bagian dari FSR Diamond
Penelitian ini menjadi semakin menarik karena AMD sebelumnya sudah memperkenalkan FSR Diamond, generasi teknologi FSR yang mengandalkan neural rendering.
AMD menyebut FSR Diamond akan mencakup berbagai teknologi berbasis machine learning, termasuk neural rendering generasi berikutnya, ML-based upscaling, multi-frame generation, ray regeneration, dan path tracing.
Penelitian mengenai generative illumination ini sejalan dengan arah tersebut, meskipun AMD belum mengatakan bahwa teknologi dalam paper tersebut akan langsung menjadi fitur FSR Diamond.
Artinya, belum bisa dipastikan apakah metode ini nantinya akan muncul sebagai fitur gaming yang bisa digunakan konsumen atau masih menjadi bagian dari penelitian AMD.
AMD Punya Pendekatan Sendiri terhadap Neural Rendering
Perkembangan ini juga menunjukkan bahwa neural rendering bukan hanya menjadi fokus Nvidia.
Nvidia telah semakin agresif menggunakan AI untuk berbagai bagian dari pipeline grafis, sementara AMD mulai memperlihatkan penelitian yang mengarah ke penggunaan model generatif untuk pencahayaan.
Bahkan, sejumlah rumor dari komunitas hardware sebelumnya menyebut AMD sedang mengembangkan teknologi neural lighting yang konsepnya disebut-sebut memiliki kemiripan dengan pendekatan neural rendering Nvidia.
Namun, hubungan antara rumor tersebut dengan penelitian yang baru dipublikasikan AMD belum dapat dipastikan.
Untuk sekarang, teknologi generative illumination AMD masih merupakan hasil penelitian, bukan fitur Radeon yang sudah siap digunakan gamer. Jika AMD nantinya berhasil mengoptimalkan metode tersebut hingga mampu berjalan pada resolusi dan frame rate gaming modern, neural lighting bisa menjadi salah satu komponen penting dalam generasi FSR berikutnya.
