그러나 무덤은 석회석으로 단단하게 다져있어 쉽게 파지 못했다. 날이 밝아오고 썰물 시간이 다가오자 철수함으로써 도굴은 실패하고 만다. 이 소식을 접한 흥선대원군은 크게 노하였다. 조상숭배 사상 때문에 묘를 신성시하는 조선이었다. 심지어 국왕의 할아버지 묘까지 파헤치는 오랑캐들과는 상종할 수 없다며 척화비를 세우고 더욱 강력한 쇄국정책을 시행하였다. 또 천주교인들이 개입하였다는 이유로 이 지역 교인 천여 명이 해미읍성에서 처형을 당하였다.
남연군은 본래 인조의 셋째아들 인평대군의 6대손이다. 왕손과는 거리가 먼 촌수였다. 어릴 때 사도세자의 서자이자 정조의 이복동생인 은신군이 아들이 없자 양자로 입적되어 가게를 이었다. 즉 영조의 손자가 된 것이다. 정조의 유일한 직계인 제24대 헌종이 후사 없이 죽자, 당시 세도가인 안동김씨들은 헌종의 7촌 아저씨뻘인 강화도령 원범을 제25대 왕 철종에 오르게 한다. 그리고 세도정치를 강화하기 위해 왕족 중에서 자신들에게 위협이 될 만한 인물들은 모두 제거하였다. 대표적인 사람이 흥선군의 형 이하전이다. 그는 기개가 있어 왕위계승권자로 자주 물망에 오르내렸다. 그러자 안동김씨들은 그를 역모로 몰아 사사하였다.
이에 흥선군은 호신책으로 시정의 무뢰한들과 어울리며 파락호 생활을 하였다. 심지어는 안동김씨 집안을 찾아다니며 구걸을 하기도 했다. 이렇게 목숨을 부지하면서 안동김씨를 꺾을 궁리만 하였다. 가장 좋은 방법이 안동김씨 조상 묘보다 더 좋은 곳에 아버지 묘를 이장하는 것이라고 생각했다. 그는 스스로 풍수공부를 했고 이 과정에서 전국의 지관들과 친분을 쌓았다. 전국 지관들은 자기 고장의 명당자리를 흥선군에게 소개하였다. 그러나 안동김씨를 꺾을 만한 대명당은 없었다.
그러던 어느 날 충청도 홍성에 사는 정만인이라는 지관이 찾아왔다. 그는 흥선군에게 덕산 가야산에 2대천자지지와 광천 오서산에 만대영화지지 두 자리가 있는데 어느 것을 선택하겠냐고 물었다. 2대천자지지는 천자가 2대에 걸쳐 나오지만 곧 망할 자리이고, 만대영화지지는 왕은 될 수 없지만 만대에 걸쳐 자손들이 부귀영화를 누리며 편하게 살 수 있는 자리라고 하는 것이었다. 흥선군은 조금도 망설임 없이 2대천자지지를 선택했다. 그리고 정만인을 따라 가야산으로 가보았다. 그런데 그곳은 가야사라는 절이 있었고 명당자리에는 석탑이 서있었다. 정만인은 탑 자리에 묘를 쓰면 십년 안에 틀림없이 제왕이 날 것이라고 장담하였다. 흥선군도 풍수를 배웠기 때문에 그 말이 허풍이 아니라는 것을 알고 있었다.
그러나 문제는 절 자리에 어떻게 묘를 이장할 수 있느냐다. 당시 가야사는 수덕사보다 더 큰 절이었다. 한양으로 올라온 흥선군은 며칠을 고민하다가 대제학 김병학 집을 찾아갔다. 그 집에는 가보로 내려오는 옥벼루가 있었다. 이를 잠시 빌린 그는 영의정 김좌근을 찾아가 마치 자기 것인 양 뇌물로 주었다. 그리고 충청감사에게 가야산 탑 자리에 묘를 쓸 수 있도록 도와달라는 편지 한통만 써달라고 하였다. 벼루가 마음에 든 김좌근은 쾌히 승낙했다. 흥선군은 곧바로 충청감사에게 달려갔다. 세도가인 영의정의 편지에다 왕족인 흥선군이 정중하게 부탁하자 충청감사는 석탑을 헐고 묘를 쓸 수 있도록 해주었다. 물론 이것은 전해져오는 일화 중의 하나다. 또 다른 일화는 2만 냥의 돈을 주지승에게 뇌물로 주고 절을 불사른 뒤 이장했다는 이야기도 있다.
어쨌든 가야사는 폐사되고 흥선군은 경기도 연천에 있는 아버지 남연군의 묘를 이곳으로 이장하였다. 그리고 7년 후 차남 명복을 얻었다. 그가 곧 제26대 고종으로 대한제국의 첫 황제가 되었다. 그리고 27대 순종 황제에 가서 조선은 일본에 망하였다.
