S3D & WibbleWobble

Untuk gamer yang penasaran
Deskripsi tingkat populer tentang teknologi, bagaimana teknologi itu dibangun dan cara kerjanya. Jika Anda tidak tertarik, tidak perlu membacanya - ini adalah materi yang kering.

Bagaimana game menggambar 3D
Cara biasa untuk menghasilkan gambar 3D dalam game adalah dengan merender adegan dua kali - secara terpisah untuk mata kiri dan kanan, secara virtual menggeser kamera relatif terhadap pusat adegan. Ini mahal dalam hal sumber daya dan memerlukan dukungan bawaan dari mesin game. Tidak semua game dapat melakukan ini. WibbleWobble menawarkan dua jalur berbeda, dan perbedaan di antara keduanya sangat mendasar - ini menentukan kualitas gambar dan kumpulan artefak gambar.

Jalur satu: ReShade Client - mensintesis stereo dari bingkai datar
Game merender satu tampilan biasa. Efek SuperDepth3D ReShade mengambil bingkai itu bersama dengan buffer kedalaman adegan dan merekonstruksi sudut pandang kedua darinya dengan menggeser piksel sesuai dengan kedalaman. Mesin game tidak tahu apa-apa tentang stereo. Ini murah dalam hal kinerja dan bekerja dengan hampir semua game DX11/DX12. Konsekuensinya adalah artefak yang melekat pada metode itu sendiri. Mereka dijelaskan di bawah, di bagian "Kekurangan".

Jalur dua: OpenVR Client - rendering 3D sejati
WibbleWobble mendaftarkan dirinya di SteamVR sebagai headset VR virtual. Game yang mendukung VR, atau yang memiliki mod VR, merender adegan dua kali dari dua kamera yang dipisahkan oleh jarak antar pupil, persis seperti yang dilakukan headset asli. IPD, resolusi per mata, dan panjang fokus diatur di VR Config. Di sini WibbleWobble tidak mensintesis apa pun: ia mengambil pasangan stereo yang sudah jadi dan mengeluarkannya ke layar secara berurutan bingkai, menyinkronkan kacamata rana. Ini lebih mahal dalam hal kinerja, tetapi geometri 3D benar-benar akurat. Tidak ada lubang di sepanjang kontur, tidak ada efek "kardus"; setiap mata mendapatkan pantulan dan sorotan cahayanya sendiri. Intinya, ini adalah cara untuk memainkan game VR di monitor biasa dengan kacamata 3D tetapi tanpa headset.

Reprojection - mekanisme perluasan bidang pandang
Reprojection bekerja dalam kedua mode, termasuk monokuler. Shader berkinerja tinggi mengambil bingkai game dan memetakannya ke geometri ruang kerja Anda: ke satu monitor, atau empat monitor, atau layar melengkung. Melalui pelacakan kepala (OpenTrack) gambar bergeser mengikuti kepala Anda, dan monitor mulai bertindak sebagai jendela ke dunia virtual - efek "akuarium VR". Tujuan reprojection adalah untuk mendapatkan skala dunia yang benar dan bidang pandang (FOV) yang benar untuk penggunaan multi-monitor. Reprojection dapat dimatikan sepenuhnya (Client Config -> Reprojection: Disabled) dan Anda hanya dapat menggunakan output stereo, BFI, dan upscaler - skenario biasa untuk satu layar.
* Harus dikatakan bahwa penulis proyek terlalu optimis tentang ide "memperluas dunia" di beberapa panel. Bahkan kartu grafis yang kuat pun tidak memiliki kinerja yang cukup untuk ini. Anda akan beruntung jika kecepatannya cukup untuk satu layar 4K. Ini tidak akan berfungsi dengan beberapa layar...

FOV (Field of View): sudut pandang. Ini menentukan sektor dunia mana yang ditangkap kamera virtual dalam bingkai. Ini diukur dalam derajat, secara terpisah untuk vertikal dan horizontal. FOV kecil (40-50°) terlihat seperti lensa telefoto: sektor sempit dengan objek besar. FOV besar (100-120°) adalah sudut lebar, seperti kamera aksi. Anda melihat banyak ke samping, tetapi ujung-ujungnya meregang dan objek tampak lebih jauh dan lebih kecil. Ini adalah parameter kunci di WibbleWobble. Program harus mengetahui sudut di mana game menggambar bingkai untuk memproyeksikannya dengan benar ke monitor fisik Anda. Itulah sebabnya Game Config memiliki dua bidang, FOV Vertikal dan FOV Horizontal, dengan satu persyaratan: nilainya harus cocok dengan yang diatur dalam game itu sendiri. Ubah satu nilai dan yang lainnya dihitung ulang secara otomatis agar sesuai dengan rasio aspek jendela.

Jika FOV:
terlalu besar dunia terlihat seperti mainan dan skala objek terdistorsi
terlalu rendah dunia tampak raksasa dan semuanya membayangi Anda
dalam 3D kedalaman rusak bersama dengan skala, dan ketegangan mata muncul

Pelacakan kepala sebagai "jendela ke dunia"
Menggunakan metode OpenTrack, penangan aplikasi melacak posisi kepala dan menggeser proyeksi sehingga monitor merender jendela virtual ke dalam adegan 3D. Ini menciptakan efek paralaks. Saat Anda menggerakkan kepala, gambar sedikit bergeser, seolah-olah Anda benar-benar melihat melalui jendela.

Output stereo berurutan bingkai
Aplikasi menerima bingkai dari game pada kecepatan variabel saat bingkai tersebut siap, "bagaimanapun datangnya." Klien kemudian menyesuaikan kecepatan bingkai untuk pemutaran pada 60 Hz. Sumber pasangan stereo dapat berupa SuperDepth3D, mod VR, atau konten 3D yang sudah jadi. WibbleWobble menerimanya dalam format side-by-side atau checkerboard (Client Config -> Source Format) dan mendekodenya di FrameBufferDecode. Renderer kemudian mengubahnya menjadi aliran berurutan bingkai 120 Hz sambil menyinkronkan kacamata rana. Emitor berikut didukung: NVIDIA 3D Vision, Open3DOLED, proyektor DLP, 3D Ready, dan emitor IR Arduino/VESA buatan sendiri.

Melawan motion blur dan cross-talk
Motion blur adalah keburaman yang dihasilkan oleh layar. Panel LCD dan OLED modern menahan piksel menyala selama durasi bingkai - mode sample-and-hold. Sementara piksel tetap menyala dan diam di satu posisi, mata secara naluriah terus mengikuti objek yang bergerak. Akibatnya, gambar "bercoreng" pada retina itu sendiri, meskipun setiap bingkai individu di layar sangat tajam. Semakin lama piksel menyala, semakin kuat corengannya. Cacat ini menyembunyikan detail halus dan selanjutnya menurunkan gambar dalam mode 3D.

Untuk mengurangi waktu menyala piksel, WibbleWobble menyediakan dua alat:
Black Frame Insertion - menyisipkan bingkai hitam di antara bingkai yang berguna (parameter Black Frame Insertion Interval di Client Config).
CRT Beam Simulator oleh Blur Busters - shader yang meniru sapuan sinar elektron CRT: ia mengosongkan gambar baris demi baris, bukan sebagai satu bingkai utuh. Ini memberikan hasil yang lebih baik tetapi menuntut layar: memerlukan gamma 2.2 atau 2.4, ABL/APL dinonaktifkan, dan OLED dalam mode SDR. Pada panel FALD dan MiniLED, ini bekerja dengan buruk karena inersia lampu latar.

Kedua mode ini tidak boleh diaktifkan secara bersamaan. Saat menggunakan CRT Sim, parameter Black Frame Insertion Interval di Client Config harus nol. Perlu ditekankan secara terpisah bahwa game mungkin berjalan pada kecepatan yang lebih rendah daripada kecepatan output bingkai layar, dan program mengisi bingkai yang hilang hingga kecepatan layar. Tapi ini bukan generasi gambar antara baru - ini adalah pengulangan bingkai yang sudah jadi. Dengan kata lain, tidak ada kehalusan yang disediakan oleh metode resampling.

Cross-talk adalah efek di mana gambar yang ditujukan untuk satu mata sebagian mencapai mata lainnya. Akibatnya, pemirsa melihat kontur ganda atau "hantu" semi-transparan di samping objek. Ini menurunkan kualitas gambar 3D dan mengurangi rasa kedalaman. Untuk mengatasinya, dukungan untuk Black Frame Insertion dan simulator sinar CRT Blur Busters sudah terpasang. Untuk penekanan cross-talk yang komprehensif, mode cerdas digunakan: gambar game digambar pada 60 Hz, kacamata menerima sinkronisasi pada 120 Hz, dan output ke layar berjalan pada 240 Hz dengan pengulangan bingkai.

Terlepas dari semua kelebihannya, metode ini memiliki keterbatasan yang harus disebutkan secara terpisah. Mereka berasal bukan dari ketidaksempurnaan program tetapi dari prinsip operasi yang dipilih. Sudut pandang stereo kedua tidak dirender dari model adegan tetapi direkonstruksi dari bingkai yang sudah jadi dan peta kedalaman. Jika tidak ada data tentang apa yang tersembunyi di balik objek latar depan dalam bingkai sumber, tidak ada tempat untuk memulihkannya.

Lubang di tepi objek - disocclusion
Ini adalah cacat utama metode ini. Ketika program menggeser sudut pandang untuk mata kedua atau untuk putaran kepala, bagian dari latar belakang yang disembunyikan oleh tepi objek latar depan dalam bingkai sumber akan terlihat. Tapi tidak ada yang merender piksel-piksel itu - mereka secara fisik tidak ada. Program tidak memiliki apa pun untuk mengisi celah itu, sehingga ia baik meregangkan piksel tepi, menghasilkan lingkaran cahaya "kenyal" yang tercoreng di sepanjang kontur, atau mengganti tambalan yang "masuk akal" tetapi biasanya salah. Semakin kuat pergeseran sudut pandang, semakin lebar pita lingkaran cahaya. Ini bukan bug implementasi tetapi keterbatasan metode itu sendiri: Anda tidak dapat mengekstrak dari satu gambar apa yang tersembunyi di balik objek dan tidak terlihat di dalamnya.

Gerakan kepala memperkuat distorsi
Dalam stereo biasa, jarak antara sudut pandang kecil dan konstan - sama dengan jarak antara pupil. Tetapi dengan "jendela ke dunia," kepala bergerak puluhan sentimeter ke berbagai arah, sehingga pergeseran sudut pandang relatif berkali-kali lebih besar dari yang alami, dan lubang serta corengan menjadi lebih besar. Hasilnya seperti ini: duduk diam dan hampir tidak ada artefak, tetapi efek 3D juga lemah; banyak bergerak dan efeknya ada, tetapi segala sesuatu di sepanjang tepi objek tercoreng dan melayang.

Grafik bergantung pada peta kedalaman
Program memerlukan informasi yang benar tentang jarak ke setiap titik dalam adegan. Game tidak selalu menyediakannya, atau semuanya. Permukaan transparan - air, kaca, asap, api, dedaunan - biasanya tidak memiliki kedalaman yang terperinci, atau mesin tidak membuatnya sama sekali. Akibatnya, objek berakhir pada jarak yang salah: air menempel di tempat yang salah, asap berlipat ganda, partikel menggantung di udara di tempat yang berbeda. Selain itu, tidak setiap game mengeluarkan buffer kedalaman yang kompatibel sama sekali - di beberapa game terbalik, di game lain dilindungi dan tidak dapat dibaca.

Pantulan dan sorotan cahaya paling rusak
Cermin, air, aspal basah, dan logam ditentukan oleh kedalaman permukaannya sendiri, bukan oleh gambar yang dipantulkan di dalamnya. Ketika sudut pandang bergeser, pantulan melayang entah ke mana. Jika sorotan cahaya "dilukis" ke permukaan, ia tidak berperilaku sebagaimana mestinya di dunia nyata. Justru konten glossy yang paling mencolok itulah yang terlihat datar dan salah dalam stereo.

Antarmuka, crosshair, dan HUD
Elemen dua dimensi di atas bingkai - bilah kesehatan, menu, crosshair - digambar pada kedalaman nol, sehingga setelah diproses mereka berakhir pada jarak stereo yang salah. Antarmuka baik menempel ke layar atau menggantung di depan adegan. Crosshair adalah sakit kepala tersendiri; posisi kedalamannya hampir selalu harus disesuaikan secara manual.

Satu bingkai untuk kedua mata
Kedua mata melihat gambar yang sama, hanya digeser. Dengan rendering stereo yang jujur, setiap mata mendapatkan sorotan cahaya, bayangan, dan refraksi yang benar; di sini itu tidak akan terjadi. Karena itu, objek tampak sebagai lapisan datar yang dipotong dari kayu lapis dan diatur berdasarkan kedalaman, bukan sebagai benda bervolume. Dalam materi berbahasa Inggris, efek ini disebut efek "cardboard cutout".

Penyesuaian per game
Bidang pandang, rentang kedalaman, dan konvergensi diatur secara manual untuk setiap game secara terpisah. Kesalahan memberikan baik ketegangan mata dari konvergensi yang berlebihan, atau skala yang salah, di mana dunia terlihat seperti mainan atau raksasa, atau bahkan kedalaman terbalik sama sekali. Ini adalah solusi "sesuaikan dan cari tahu", bukan "instal dan mainkan".

Latensi dan bingkai yang tidak merata
Game merender bingkai secara tidak merata, dan klien menyesuaikannya dengan fps stabil layar dengan mengulangi bingkai yang sudah jadi. Pengulangan itu sendiri tidak menimbulkan distorsi, tetapi latensi antara tindakan dan gambar terakumulasi: pengambilan bingkai, pemrosesan, output. Untuk pelacakan kepala, latensi semacam itu terasa sebagai "mengambangnya" adegan. Game Config memiliki parameter Frame Capture Delay untuk ini, untuk menyetel momen pengambilan.

Sisa cross-talk dan persyaratan monitor yang tinggi
Teknik perangkat lunak - penyisipan bingkai hitam dan mode 60/120/240 - menekan ghosting, tetapi tidak menghilangkannya sepenuhnya, karena cross-talk ditentukan oleh banyak faktor: fisika panel layar dan kacamata itu sendiri. Ini tergantung pada waktu respons piksel, kecepatan switching, kontras lensa kacamata, dan kecepatan gambar vertikal layar. Selain itu, mode yang paling agresif memerlukan panel 240 Hz yang cepat dengan persistensi piksel yang pendek, yang tidak dimiliki setiap pengguna. Tidak seperti NVIDIA 3D Vision, ReShade tidak mereproduksi volume yang sudah jadi tetapi mensintesisnya dari bingkai datar. Itulah sebabnya lubang di sepanjang kontur, pantulan yang salah, dan tepi yang melayang adalah artefak yang stabil dari metode ini, bukan kekurangan sementara.

Geometri stereo di sini jujur, dan tidak ada artefak sintesis gambar - disocclusion, "kardus," pantulan rusak - yang ada di sini. Tetapi metode ini memiliki biaya sendiri, dan itu berbeda.

Game harus mendukung VR
Ini adalah keterbatasan utama. Metode ini tidak berfungsi dengan game sembarangan: ia memerlukan dukungan VR bawaan atau mod VR. Jika tidak ada mod yang siap pakai, jalur OpenVR tidak akan berfungsi, dan hanya ReShade dengan semua artefaknya yang tersisa. Dengan kata lain, kompatibilitas luas yang menjadi tujuan jalur pertama sepenuhnya hilang di sini.

Beban ganda pada kartu grafis
Adegan benar-benar dirender dua kali, dari dua kamera. Tidak ada penghematan yang disediakan oleh reprojection tampilan tunggal: kinerja turun sama seperti di VR nyata. Ini sebagian dikompensasi oleh pengaturan Resolution di VR Config - resolusi per mata dapat diturunkan, dan WibbleWobble akan menskalakan gambar ke resolusi layar.

Instalasi yang rumit
SteamVR harus diinstal. Driver didaftarkan melalui Install.bat dengan hak administrator, setelah itu dua baris harus ditambahkan secara manual ke file config\steamvr.vrsettings: "forcedDriver": "WibbleWobbleVR" dan "activateMultipleDrivers": "true". Kemudian selesaikan Room Setup dalam mode STANDING ONLY. Kesalahan di langkah mana pun dan, alih-alih stereo, Anda mendapatkan layar hitam tanpa pesan yang jelas tentang penyebabnya.

Keterbatasan OpenVR itu sendiri
Beberapa pengaturan tidak dapat diubah dengan cepat. Jika Anda mengubah resolusi atau kecepatan output, restart SteamVR diperlukan. Ini adalah keterbatasan platform, bukan program, tetapi secara signifikan memperlambat penyesuaian game.

Optimasi render merusak beberapa game
VR Config memiliki parameter Optimise Single Eye yang memungkinkan rendering hanya satu mata atau keduanya pada setengah FOV. Penulis proyek memperingatkan secara langsung: mode "Both" adalah yang paling bermasalah - vignetting dan desinkronisasi mata mungkin terjadi, dan gambar mungkin "bergeser." Di beberapa game, optimasi harus dimatikan sepenuhnya.

Memperebutkan fokus jendela
Beberapa game tidak memberikan fokus ke antarmuka WibbleWobble: kombinasi tombol SHIFT + END tidak berfungsi, atau UI digambar tetapi tidak dapat dikendalikan. Anda harus beralih secara manual melalui ALT + TAB. Masalah terpisah: jendela WibbleWobble tidak boleh ditutup - program tidak pulih setelahnya, dan game harus dimulai ulang.

Memusatkan ulang pada setiap peluncuran
Pelacakan harus dipusatkan secara manual (SHIFT + .) setiap kali saat startup, diposisikan tepat di pusat area kerja di depan layar. Jika kepala tidak ada di sana selama pemusatan, reprojection mulai berperilaku aneh dan skala "melayang." Menurut pengakuan penulis sendiri, mencapai posisi yang benar membutuhkan latihan. Ini nantinya dapat diperbaiki dengan menggunakan perangkat lunak pelacakan yang lebih cerdas.

Keanehan aplikasi individual
Beberapa program hanya berfungsi dengan merek headset tertentu. Untuk mereka, VR Config memiliki parameter Headset Identification yang membuat WibbleWobble menampilkan dirinya sebagai perangkat yang berbeda - Vive, misalnya - yang tanpanya pelacakan kepala tidak berfungsi di DEOVR. Dengan kata lain, kompatibilitas di beberapa tempat bergantung pada solusi seperti ini.

Kesamaan dengan jalur pertama
Segala sesuatu yang menyangkut perangkat keras berlaku untuk kedua metode: sisa cross-talk, persyaratan untuk panel cepat, kebutuhan akan sinkronisasi kacamata yang tepat. Output stereo, emitor, BFI, dan CRT Sim bekerja sama terlepas dari dari mana pasangan stereo itu berasal.