Ich gehe mal davon aus, dass du ((3ab+5b)^2)^2 meinst. Dazu nimmst du den inneren Term (3ab+5b)^2 und löst diesen auf mit der binomische Formel. Danach steht das da: (9*a^(2)*b^(2)+30ab^(2)+25b^2)^2. Das ganze machst du nochmal (also die Summe in den Klammern mit sich selbst multiplizieren) und am Ende hast du einen Summenterm dastehen.