Wundert mich, dass Du den Fehler nicht siehst, obwohl er klar auf der Hand liegt und Du ihn schon selbst nennst.
Kamera-Animation! Nicht Objekt-Animation. Und dennoch animierst Du ein Objekt.
Starre Objekte ändern ihren Schattenwurf, etc. nicht. Deshalb hast Du einmal den kompletten Schatten für alle Frames und Positionen verteilt.
Bleibt Dir wohl nur noch Vollanimation.