自留地问题我家自留地当时被别人拿去建…

自留地问题我家自留地当时被别人拿去建房，现在因为地震，别人家已经搬出去了。我家有该地的产权证，而他家也有房产证。相当于该地拥有两个使用权。现在我想收回该地，我该怎么办？