Also erstmal vorab .. Ich habe auch Katzen und bei zwei von ihnen hatte ich dasselbe Problem! Wie du schon vermutet hast könnte es sehr gut damit zusammen hängen das er früher (bevor er zu euch gekommen ist) nicht artgerecht behandelt wurde.. So war es zumindestens bei meinen. Es gibt mehrere Möglichkeiten dieses Verhalten loszuwerden...
Möglichkeit 1: Viel mit dem Kater spielen und auch oft streicheln und ihm versuchen zu zeigen das er sicher bei dir/euch ist.. (wenn ihr das nicht nicht sowieso schon immer macht ;) ).
Möglichkeit 2 : Gebt ihm zeit .. Irgendwann gewöhnt er sich daran und nach ein paar Monaten oder ein, zwei jahren wird er das dann auch nicht mehr machen ;)
Möglichkeit 3: Mit ihm spezielle kurse machen bzw eine Katzenflüsterin aufsuchen (keine Ahnung ob das so heißt :D Die Kurse können dann auch wieder mit Vertrauens übungen kombiniert werden :D...
Ich hoffe ich konnte euch einigermaßen weiterhelfen :)