사이트를 만들고 나면 검색에 나오게 하려고 네이버 서치어드바이저와 구글 서치콘솔에 주소를 넣는다. 우리도 7월 20일에 했다. 그리고 오늘, 그때 등록해 둔 것이 조용히 낡아 있었다는 걸 알았다.
등록은 어디서 하나
둘 다 무료고 절차가 비슷하다. 사이트 주소를 넣고, 이 사이트가 내 것이라는 걸 증명하고, 사이트맵 주소를 알려 주면 끝난다.
소유 증명은 대개 파일 한 장을 받아 웹 최상위에 올리는 방식이다. 우리 서버에 실제로 남아 있는 두 파일이 이렇게 생겼다.
| 파일 | 올라간 시각 | 어디 것 |
|---|---|---|
| navera193f4c9a…d1.html | 2026-07-20 16:48:47 | 서치어드바이저 |
| google2401af40…e1.html | 2026-07-20 16:51:21 | 서치콘솔 |
3분 차이다. 한자리에서 둘 다 했다는 뜻이다.
이 파일들은 지우면 안 되나
지우면 안 된다. 이름이 난수라 나중에 보면 정체불명 파일처럼 보이는데, 검색엔진이 주기적으로 다시 확인한다. 지우면 소유 확인이 풀린다. 웹 최상위를 정리하다가 이걸 같이 버리는 일이 실제로 흔하다.
등록하고 나면 robots.txt를 한 번 열어 보라
robots.txt는 크롤러에게 어디를 봐도 되는지 알려 주는 한 장짜리 파일이다. 등록 작업을 하다 보면 이 파일이 바뀌어 있을 수 있다.
우리 작업 기록에는 그날 웹 최상위에 있던 robots.txt가 구글을 전면 차단하고 있었다고 적혀 있다. Disallow: / 한 줄에 네이버 봇만 예외로 열린 형태였고, 생성 시각이 16시 47분이었다. 위 표의 두 파일 사이다.
누가 만든 파일인지는 끝내 못 밝혔다. 자동으로 생긴 것인지 사람이 올린 것인지 확인하지 못했으니 여기서 범인을 지목하지는 않겠다. 다만 등록 작업을 한 날에 그 파일이 바뀌어 있었다는 사실은 남는다. 등록을 마쳤으면 내도메인/robots.txt를 주소창에 쳐서 한 번 읽어 보는 편이 좋다.
우리 사이트맵은 6페이지짜리였다
오늘 잡힌 건 더 조용한 쪽이다. robots.txt 안에는 사이트맵 주소를 알려 주는 줄이 하나 있는데, 우리 것은 이렇게 되어 있었다.
Sitemap: https://curiogan.kr/Sitemap.xml
주소가 살아 있어서 지금까지 아무도 이상하게 보지 않았다. 열어 보니 워드프레스가 만드는 사이트맵이 아니라 손으로 만든 별개 파일이었다. 619바이트에 주소가 여섯 줄. 홈과 초기 글 다섯 편이 전부였다.
같은 시각 진짜 사이트맵에는 서른 개가 들어 있었다.
| robots.txt가 알리던 것 | 실제 사이트맵 | |
|---|---|---|
| 파일 | Sitemap.xml (손으로 만든 것) | sitemap_index.xml |
| 담긴 주소 | 6개 | 30개 |
| 마지막 갱신 | 7월 22일에 멈춤 | 글 쓸 때마다 자동 |
2주 넘게 크롤러에게 여섯 페이지짜리 사이트라고 말해 온 셈이다. 영문판도 같은 증상이었고, 같은 서버에 있는 다른 블로그 한 곳은 멀쩡했다. 그래서 서버 문제가 아니라 이 사이트 설정 문제였다.
그럼 나머지 글은 검색에 안 나왔나
그건 아니었다. 서버 접속 기록을 뒤져 보니 같은 기간에 구글 봇이 우리 글 주소 29종 중 27종을 전부 정상으로 가져갔다. 사이트맵에 없는 글도 목록 페이지와 글 안의 링크를 타고 찾아간 것이다.
사이트맵은 길을 안내하는 지도지 유일한 출입구가 아니다. 지도가 낡았다고 집이 사라지지는 않는다. 그래도 지도를 고쳐 두는 게 맞다. 새 글이 늦게 발견될 이유를 굳이 남겨 둘 필요가 없고, 사이트를 처음 훑는 쪽에는 규모가 작아 보인다.
고치는 건 한 줄이었다. robots.txt의 사이트맵 줄을 워드프레스가 실제로 만드는 주소로 바꿨다. 요스트 같은 SEO 플러그인을 쓰면 대개 /sitemap_index.xml이다. 바꾸고 나서 그 주소를 열어 글이 몇 개 들어 있는지 세어 봤다. 서른 개가 맞았다.
등록 뒤에 확인할 것
주소를 넣는 데 5분, 확인하는 데 5분이다. 뒤쪽을 건너뛰면 우리처럼 된다.
내도메인/robots.txt를 연다. 차단 줄이 생기지 않았는지 본다.- 그 안의 Sitemap 줄에 적힌 주소를 그대로 복사해 연다.
- 열린 사이트맵에서 글 주소가 몇 개인지 센다. 실제 글 수와 맞는지 본다.
- 소유확인 파일이 아직 그 자리에 있는지 본다.
3번이 핵심이다. 우리가 놓친 자리가 정확히 거기였다. 주소가 열리는지만 보고 안에 뭐가 들었는지는 안 봤다. 응답이 온다는 건 파일이 있다는 뜻이지 맞는 파일이라는 뜻이 아니다.
주소를 바꾸는 일과도 이어진다. 글 주소 규칙을 중간에 바꾸면 사이트맵과 실제 주소가 어긋나는데, 그 이야기는 고유주소를 한 번 정하면 바꾸지 말라고 쓴 글에 적어 뒀다. 검색 노출을 어떤 이름으로 부르든 결국 같은 일이라는 이야기는 SEO와 AEO, GEO를 정리한 글에 있다.
등록은 한 번 하고 끝나는 일로 보인다. 실제로는 등록해 둔 내용이 낡는다. 분기에 한 번쯤 위 네 줄을 다시 훑는 것으로 충분하다.