Natürlich gibts da zig Einstellungsmöglichkeiten um die Qualität zu erhöhen. So kann man zum Beispiel die Samples für die Schatten erhöhen, oder so manch Wert im GI Panel ändern, zum Beispiel 1st bounce und 2nd bounce. Welche Werte das genau sind um die beste Qualität rauszukitzeln kann ich dir aber leider nicht sagen. Ich selber habe nur eine Vray Version von Anno Tobak für trueSpace. Und seitdem hat sich da doch einiges getan. Da musst du dich einfach mal einarbeiten und ein wenig in den Settings rumspielen.
Um einen pixeligen Look loszuwerden, der meist an den Kanten auftritt, kannst du auch einfach in doppelter Grösse rendern, und dann im Post Processing in deiner 2D App das Bild kleinerskalieren. Das vermeidet Antialiasartifakte, und somit den pixeligen Look an den Kanten.
Und dann wären da noch die Antialias Einstellungen