Gibt es eine mathematische Definition der Redundanz?

Ich würde es so sagen:

Wenn man gegebene Information auf unterschiedliche Weise codiert, kann man die Ergebnisse solcher Codierungen als Nachrichten unterschiedlicher Länge betrachten, d.h. als Nachrichten, die aus unterschiedlich vielen Bits bestehen. 

Eine Codierung heißt redundanzfrei, wenn es keine gibt, die aus noch weniger Bits besteht.

Ist als C(I, N) eine redundanzfreie, aus N Bits bestehende Codierung der gegebenen Information I, und ist C(I,n) eine weitere, nun aber aus n Bits bestehende Codierung von I, so ist

• N <= n
• und n/N - 1 die Redundanz der Codierung C(I,n).

Redundanz ist das Maß für die Vorsagbarkeit eines Versuchs, einer Messung oder einer Nachricht., also die Differenz zwischen dem maximal möglichen Informationsgehalt und dem  über alle Ausgänge auf der Grundlage ihrer Wahrscheinlichlkeiten gemittelten Informationsgehalt.

Der Landau-Operator geht in die Richtung (er wird auch als Landauscher Mülleimer bezeichnet :D)