multipass compositing ist kein zuckerschlecken. Da gibts sehr viele dinge die man beachten sollte:
1. ganz ganz wichtig: wenn du mit linear workflow arbeitest (also gamma 2,2) dann MUSST du deine passes linear zusammenbauen, also mit 1,0 und erst gamma 2,2 am ende draufmachen.
2. auch sehr wichtig ist das verständnis von unpremultiplication. Also das rausziehen des AA aus den RGB passes.
3. Vray passes sind nicht einfach so zu addieren/multiplizieren/etc, vorallem nicht die raw passes, es ist ein wenig komplex aber ich rendere inzwischen alles passes so das ich sie durch den diffusefilter dividieren kann, dadurch bekomme ich dann einen rawpass der korrekt addiert/etc werden kann.
Alles in allem ein wirklich weitläufiges thema! Ich weiß zwar nicht genau was jetzt dein problem ist aber vlt hilft dir tipp 1 schon weiter.
ach und... "mit photoshop kann man nicht compen"
pps: man kann durchaus ein beauty wieder aus den passes zusammenbauen