Kurzgesagt gibt deine Textur bei diesem Shaderaufbau einfach nicht mehr her.
Die relativ hellen Pixel brennen aus und das gibt dann die Zacken.
Hier hilft spontan nur das Vorbereiten in einem Malprogramm ..
Ah, darum gings also. Ich stand da auf dem Schlauch was du anstellen wolltest, sorry.
Tip. Manche Sachen löst man besser über Geometrie, nicht über Textur. Solche feinen Strukturen könnten mit Geometrie besser hinhauen. Bevor du da die Texturauflösung ins Unermessliche hochschraubst.
Also das Rendert man aus und schon hat man seine Bump oder auch Displacement Map..
Es geht bei den ganzen Graustufenmaps immer um werte zwischen 0 und 1.
Schwarz ist 0 und weiß ist dann 1.
Der Bumpshader interpretiert dir deine Graustufenmap in eine Höhenmap um, die dann kompatibel ist mit dem Bump Eingang.
Optional geht auch Displacement.
Aber da bist du dann am Zug das rauszufinden.