Ein oder allgemein ein Übertragungsglied mit einer Eingangs- und einer Ausgangsgröße wird instabil (nicht übertragungsstabil) genannt, wenn nicht zu jedem Zeitpunkt t ≧ t 0 (Anfangsruhelage) zu jeder beschränkten Eingangsgröße die zugehörige Ausgangsgröße ebenfalls beschränkt ist (n. DIN 19 229).
Man unterscheidet die „monotone Instabilität“, wenn sich das System nach einem Anstoß in gleichförmiger Bewegung von der Ausgangslage entfernt (Bild I 14 a) und die „oszillatorische Instabilität“, bei der das System in Schwingungen gerät, die sich zu immer größerer Amplitude aufschaukeln (b).
Abbildung I 14: Instabilität einer Schwingung