Hab wenig mit Unity 3D gearbeitet, aber versuch mal einen Rigidbody zu adden, und dann die position mithilfe eines scripts zu fixieren, sodass nur die rotation von äußeren einflüssen beinträchtigt werden kann.
ps: unity forum ist denke ich besser für solche fragen

using UnityEngine;

public class fix : MonoBehaviour
{
   public GameObject go;
   private Vector3 pos;
   public void Start()
   {
       pos = go.transform.position;
   }
   private void Update()
   {
       go.transform.position = pos;
   }
}