Kurzgesagt gibt deine Textur bei diesem Shaderaufbau einfach nicht mehr her.
Die relativ hellen Pixel brennen aus und das gibt dann die Zacken.
Hier hilft spontan nur das Vorbereiten in einem Malprogramm ..
Ah, darum gings also. Ich stand da auf dem Schlauch was du anstellen wolltest, sorry.
Tip. Manche Sachen löst man besser über Geometrie, nicht über Textur. Solche feinen Strukturen könnten mit Geometrie besser hinhauen. Bevor du da die Texturauflösung ins Unermessliche hochschraubst.