글을 아무리 잘 써도 아무도 안 읽는다면, 그게 과연 글이라고 할 수 있을까요. 저는 처음 워드프레스 사이트를 만들고 글을 올렸을 때 딱 그 상황이었습니다. 방문자는 0, 구글 검색 결과엔 흔적도 없었습니다. 글을 잘 쓰는 것과 그 글이 세상에 '보이게' 만드는 것이 완전히 다른 문제라는 걸, 그때 처음 체감했습니다.
검색엔진은 당신의 사이트를 모른다 - 크롤링과 색인의 구조
사이트를 만들면 검색엔진이 알아서 찾아줄 거라고 생각하는 분들이 많습니다. 저도 처음엔 그랬습니다. 그런데 현실은 달랐습니다. 검색엔진이 내 사이트를 인식하려면 먼저 크롤링(Crawling) 과정이 이루어져야 합니다. 여기서 크롤링이란 구글봇(Googlebot)과 같은 검색 로봇이 웹을 돌아다니며 사이트의 정보를 자동으로 수집하는 작업을 말합니다. 하루에 전 세계에서 수천만 개의 페이지가 생성되는데, 이걸 사람이 하나하나 확인하는 게 아니라 로봇이 자동으로 처리하는 구조입니다.
크롤링이 끝나면 색인(Index) 작업이 이어집니다. 색인이란 수집한 정보를 분석해서 검색 결과에 등록할 수 있는 형태로 정리하는 과정입니다. 이 단계에서 검색엔진은 페이지의 이미지, 텍스트, 메타 태그(Meta Tag), 내부 링크 구조 등을 종합적으로 평가합니다. 메타 태그란 페이지의 제목, 설명, 키워드 등 검색엔진에게 페이지 정보를 알려주는 HTML 코드 요소입니다. 그래서 글만 잘 쓰는 게 아니라 이미지 alt 속성, 페이지 구조, 태그까지 신경 써야 한다는 말이 나오는 겁니다.
제가 직접 겪어보니, 이 구조를 모르고 그냥 글만 올리면 말 그대로 '없는 사람' 취급을 받습니다. 번듯한 가게를 골목 안쪽에 차려놓고 간판도 없이 손님을 기다리는 것과 같은 상황이었습니다. 웹마스터 도구는 바로 그 간판 역할을 합니다. "저 여기 있어요"라고 검색엔진에 공식적으로 알려주는 창구인 셈입니다.
검색엔진에 사이트를 노출시키는 전체 흐름을 정리하면 다음과 같습니다.
- 웹마스터 도구에 사이트 등록 및 소유권 인증
- 사이트맵(Sitemap) 제출로 페이지 구조 전달
- 구글봇 등 크롤러의 방문 및 크롤링
- 색인 생성 후 검색 결과 노출
사이트맵 제출, 왜 이게 핵심인가
사이트맵(Sitemap)이라는 개념이 처음엔 저도 헷갈렸습니다. 사이트맵이란 내 사이트에 어떤 페이지들이 있는지, 그 관계는 어떻게 구성되어 있는지를 정리한 XML 형식의 파일입니다. 쉽게 말해 크롤러에게 건네주는 '목차'라고 보면 됩니다. 구글 공식 문서에 따르면, 사이트맵을 제출하면 검색엔진이 사이트를 더 효율적으로 크롤링할 수 있다고 명시되어 있습니다(출처: Google Search Central).
구글 서치 콘솔(Google Search Console)에서 사이트맵을 제출하는 방법은 생각보다 간단합니다. 도메인 주소 뒤에 /sitemap_index.xml을 입력하고 제출하면 됩니다. 랭크매스(Rank Math)와 같은 SEO 플러그인을 사용하고 있다면 이 사이트맵이 자동으로 생성되어 있기 때문에 별도로 파일을 만들 필요가 없습니다.
그런데 제가 처음 제출했을 때 '실패'라는 메시지가 떴습니다. 솔직히 이건 예상 밖이었습니다. 제대로 입력한 것 같은데 왜 실패가 뜨는지 이해가 안 됐거든요. 알고 보니 처음 제출 직후에는 실패로 표시되더라도 며칠 지나면 자동으로 '성공'으로 바뀌는 경우가 많습니다. 크롤러가 아직 방문하지 않았을 뿐, 잘못된 게 아닌 겁니다. 그 사실을 모르고 뭔가 잘못됐다고 생각해서 처음부터 다시 하려고 했던 게 떠오릅니다.
RSS 피드도 함께 제출하는 게 좋습니다. RSS(Really Simple Syndication)란 사이트의 최신 콘텐츠 업데이트 정보를 자동으로 전달하는 구독 형식의 데이터 파일입니다. 도메인 주소 뒤에 /feed를 입력해서 사이트맵과 함께 제출해 두면 새 글을 올릴 때마다 검색엔진이 더 빠르게 인식할 수 있습니다.
네이버, Bing, 다음 - 플랫폼마다 다른 방식
구글만 잘 잡으면 된다고 생각하는 분들이 있는데, 저는 조금 다르게 봅니다. Bing 웹마스터 도구를 등록해 두면 마이크로소프트 에지(Microsoft Edge) 브라우저 기본 검색엔진인 Bing에도 노출됩니다. 국내에서 윈도를 사용하는 사람이라면 에지 브라우저가 기본으로 설치되어 있고, 그걸 그대로 쓰는 사용자가 생각보다 많습니다. 구글 SEO를 제대로 잡아두면 Bing에서도 자연스럽게 노출이 따라오는 경우가 많습니다. 두 검색엔진의 크롤링 평가 기준이 유사하기 때문입니다.
네이버 서치 어드바이저(Naver Search Advisor)는 구조가 조금 다릅니다. 구글은 랭크매스 같은 플러그인이 많은 부분을 자동으로 처리해 주는 반면, 네이버는 수동으로 URL을 하나씩 제출해야 하는 경우가 있습니다. 네이버 측에서 워드프레스 사이트를 주요 플랫폼으로 적극 수집하기 시작하기 전까지는 이 수동 제출 과정이 필수입니다. 제가 직접 써봤는데, 처음엔 이게 귀찮게 느껴졌습니다. 그런데 반복하다 보니 오히려 내가 쓴 글을 다시 보게 되고, 제목이나 설명을 조금씩 고치는 계기가 됐습니다. 글 퀄리티 개선에도 간접적으로 영향을 준 셈입니다.
소유권 인증 과정에서 가장 당황했던 건 분명히 메타 태그를 제대로 넣었는데 인증이 안 될 때였습니다. 몇 번을 확인해도 맞게 넣었는데 계속 실패가 떴습니다. 한참 헤맸는데 원인은 캐시(Cache)였습니다. 캐시란 브라우저나 서버가 페이지 로딩 속도를 높이기 위해 데이터를 임시 저장해 두는 공간입니다. 이 캐시가 오래된 버전의 페이지를 보여주면, 실제로 태그를 추가했더라도 검색엔진 로봇이 이를 인식하지 못하는 상황이 생깁니다. 캐시 플러그인에서 캐시를 한 번 비워줬더니 바로 인증이 됐습니다. 허탈하면서도 웃음이 났습니다.
한 가지 솔직히 말씀드리고 싶은 게 있습니다. 이 모든 작업을 하면서 묘하게 씁쓸한 순간이 있었습니다. 결국 사람에게 읽히는 글을 쓰기 위해 먼저 로봇에게 인정받아야 하는 구조입니다. 글의 본질은 전달과 공감인데, 어느 순간부터 키워드 배치나 구조 설계에 더 많은 시간을 쓰고 있는 자신을 발견했습니다. 내용을 깊게 고민한 글보다 SEO를 잘 맞춘 글이 더 빨리 노출되는 경험도 몇 번 했습니다. SEO 최적화가 콘텐츠의 질을 대체하는 방향으로 흘러가지 않도록 균형이 필요하다는 점은, 이 분야를 다루는 누구나 한 번쯤 생각해봐야 할 지점이라고 봅니다(출처: Google Search Central - SEO 기본 가이드).
웹마스터 도구 등록과 사이트맵 제출은 결국 출발선에 서는 과정입니다. 이걸 마쳤다고 트래픽이 바로 늘진 않습니다. 하지만 이 단계를 건너뛰면 아무리 좋은 글을 써도 검색엔진이 그 존재 자체를 모릅니다. 구글 검색창에 site:내주소를 입력해서 내 글이 색인된 걸 처음 확인했던 순간, 조회수는 여전히 0이었지만 "이제 시작은 됐다"는 확신이 생겼습니다. 그 작은 차이가 생각보다 큽니다. 아직 등록을 미루고 있다면, 오늘 바로 구글 서치 콘솔부터 시작해 보시길 권합니다.
참고: https://www.youtube.com/watch?v=INYdwHXH6ls&list=PLVJGMSyXcLp8gjtCimbL092DHd6tXJggW&index=9