"저번 달까지만 해도 잘 나오던 우리 사이트가 구글에서 갑자기 사라졌어요."
테크니컬 SEO 진단을 진행하며 가장 빈번하게 듣는 호소입니다. 대부분의 경우 원인은 방치된 크롤링 오류에 있습니다. 사이트가 통째로 증발한 것이 아니라, 구글의 크롤러(웹문서 수집 봇)가 우리 페이지를 정상적으로 읽지 못해 색인 과정에서 밀려난 것이죠. 그 이면을 들여다보면 세 가지 유형의 크롤링 장애가 얽혀 있습니다.
오늘은 실무 현장에서 검색 트래픽 하락의 주범으로 꼽히는 404 오류, 리다이렉트 루프, 소프트 404의 실체와 로그에이전시의 자체 해결 프레임워크를 공유합니다.
크롤링 오류란 무엇인가요?
크롤링 오류의 가장 무서운 점은 관리자의 눈에 띄지 않는다는 것입니다. 브라우저로 직접 접속하면 멀쩡해 보이는 페이지도, 구글 봇에게는 완전히 다르게 인식되는 경우가 허다하죠. 구글 서치콘솔 공식 도움말이나 데이터에 직접 접속하기 전까지는 문제를 인지조차 못 하는 분들이 많습니다. (현상의 근본적인 원인에 대해서는 지난 아티클 『테크니컬 SEO 점검 — 검색해도 우리 홈페이지가 안 나오는 진짜 이유』에서 상세히 다룬 바 있습니다.)
주요 크롤링 오류 3가지 비교
| 구분 | HTTP 상태 코드 | 핵심 문제 | 대표 해결법 |
|---|---|---|---|
| 404 오류 | 404 Not Found | 페이지 자체가 존재하지 않음 | 301 리다이렉트 또는 410 처리 |
| 리다이렉트 루프 | 3xx 무한 반복 | URL 간 순환 참조 발생 | 리다이렉트 체인 끊기 및 단순화 |
| 소프트 404 | 200 OK | 빈 페이지인데 정상 코드 반환 | 실제 404/410 반환 또는 콘텐츠 보강 |
로그에이전시의 CIR 프레임워크
수많은 사이트의 테크니컬 이슈를 다루며, 로그에이전시는 크롤링 오류를 빠르고 정확하게 걷어내는 CIR 프레임워크(Classify → Inspect → Resolve)를 정립했습니다.
- Classify (분류): 서치콘솔 데이터에서 오류를 404, 루프, 소프트 404로 정확히 분류합니다.
- Inspect (검사): URL 검사 도구를 활용해 구글 봇 시점에서의 렌더링 상태를 확인합니다.
- Resolve (해결): 오류 유형별로 최적의 응답 코드 및 콘텐츠 보강 전략을 서버단에 적용합니다.
이 프레임워크를 기반으로 각 오류의 실전 대응법을 살펴보겠습니다.
1. 404 오류란? 원인과 해결법
가장 흔하게 발생하면서도 유독 방치율이 높은 오류입니다. 이전 프로모션 페이지를 단순히 삭제만 했거나, 리뉴얼 중 URL 구조가 변경되었으나 연결을 누락했을 때 발생합니다.
실전 해결책 (Resolve):
- Step 1: 서치콘솔 '페이지' 보고서 내 '찾을 수 없음(404)' 목록을 추출합니다.
- Step 2: 대체할 수 있는 연관 페이지가 있다면 기존 URL을 새 페이지로 301 리다이렉트 처리합니다.
- Step 3: 영구 삭제되어 보낼 곳이 없는 콘텐츠라면, 명확하게 410(Gone) 응답 코드를 반환하도록 설정해 구글의 재방문을 막습니다.
2. 리다이렉트 루프 원인과 해결법
사용자 화면에는 "ERR_TOO_MANY_REDIRECTS"라는 에러를 띄웁니다. 주로 플랫폼 이전 시 구버전과 신버전의 규칙이 충돌하거나, .htaccess 같은 서버 설정과 플러그인 규칙이 중복 적용될 때 발생합니다.
실전 해결책 (Resolve):
- Step 1: 서치콘솔 '리다이렉트 오류' 항목에서 루프가 걸린 URL 패턴을 파악합니다.
- Step 2: 불필요한 리다이렉트 체인을 끊어냅니다. (예: A ➔ B ➔ C 구조를 A ➔ C 로 직접 연결)
- Step 3: 자체 구축 서버(Nginx, Apache 등) 단에서 충돌하는 포워딩 룰이 없는지 최종 점검합니다.
3. 소프트 404란? 진단과 대처법
"품절된 상품입니다" 문구만 띄워둔 쇼핑몰 페이지나, 검색 결과가 0건인 내부 페이지가 200 코드를 반환하는 것이 대표적입니다. 실제로 로그에이전시가 최근 수행한 B2B 산업재(제조 폴리우레아 코팅 전문) 클라이언트의 커스텀 웹사이트 자체 구축 및 최적화 프로젝트에서, 기존 사이트에 방치되어 있던 소프트 404 40여 개를 발견하여 전면 수정한 결과, 색인된 정상 페이지 수가 단 2주 만에 120% 이상 증가하며 오가닉 트래픽을 크게 회복한 사례가 있습니다.
실전 해결책 (Resolve):
- Step 1: 서치콘솔에서 '소프트 404'로 분류된 URL을 직접 브라우저로 렌더링해 봅니다.
- Step 2: 진짜로 콘텐츠가 없는 페이지라면 개발단에서 404 또는 410 코드를 반환하도록 로직을 수정합니다.
- Step 3: 일시적 빈 페이지라면, 연관 콘텐츠를 채워 넣어 봇이 '가치 있는 페이지'로 인식하도록 보강합니다.
크롤 버짓이란? (크롤링 예산)
이쯤에서 반드시 짚고 넘어가야 할 개념이 크롤 버짓(Crawl Budget)입니다.
이 예산은 1) 사이트의 전체 페이지 규모, 2) 서버의 응답 속도, 그리고 3) 방치된 크롤링 오류의 비율에 따라 구글이 유동적으로 할당합니다. 404나 무한 루프 같은 크롤링 오류가 방치되어 있으면 구글 봇은 엉뚱한 곳에서 귀중한 예산을 낭비하게 됩니다. 결국 정작 노출되어야 할 신규 콘텐츠는 수집조차 되지 못하고 밀려나는 치명적인 결과로 이어집니다.
실무자를 위한 크롤링 오류 점검 체크리스트
당장 우리 사이트의 상태를 확인하고 싶다면 아래 5단계를 따라 점검해 보세요.
- 데이터 접근: 구글 서치콘솔에 접속하여 [색인] > [페이지] 메뉴로 이동합니다.
- 오류 필터링: '페이지가 색인 생성되지 않는 이유' 목록에서 404, 리다이렉트, 소프트 404 항목을 클릭합니다.
- URL 추출: 상단 우측의 [내보내기] 기능을 통해 문제가 되는 URL 리스트를 다운로드합니다.
- 해결 조치: 앞서 설명한 로그에이전시의 CIR 프레임워크에 따라 유형별 맞춤 조치(301/410 처리 또는 콘텐츠 보강)를 서버에 적용합니다.
- 검증 요청: 조치가 완료되면 서치콘솔 해당 오류 화면에서 [수정 결과 확인] 버튼을 눌러 구글에 재평가를 요청합니다.
크롤링 오류, 혼자서 해결할 수 있을까?
리뉴얼 직후이거나 자체 구축(Custom) 웹사이트의 경우 수백 개의 오류가 동시다발적으로 쏟아지곤 합니다. 이때 자체 대응을 할지, 외부 전문가를 찾을지 판단하는 기준은 명확합니다.
단순 삭제로 인한 소수의 404 오류는 내부 관리자가 가볍게 대처할 수 있습니다. 하지만 1) 전체 페이지 대비 오류 비율이 10%를 넘어가거나, 2) 원인을 알 수 없는 리다이렉트 루프와 소프트 404가 핵심 비즈니스 페이지에서 발생했다면, 지체 없이 테크니컬 SEO를 전문으로 다루는 에이전시에 진단을 맡기는 것이 트래픽 손실을 막는 유일한 방법입니다. (참고: 테크니컬 SEO 업체, 어떤 곳에 맡겨야 하는가)
크롤링 오류 해결은 화려한 마케팅 액션이 아니지만, "구글이 우리 비즈니스를 온전히 읽어내고 있는가?"라는 본질적 질문에 답하는 작업입니다. 로그에이전시는 감이 아닌 데이터로 답하며, 모든 크롤링 오류 수정에 대해 재현성 기반 검증을 수행하여 동일한 문제가 반복되지 않도록 서버단부터 철저히 통제합니다.
자주 묻는 질문
명확한 기준 수치는 없습니다. 하지만 오류가 발생하는 URL의 비율이 전체 색인 페이지 대비 10%를 넘어가기 시작하면 크롤 버짓 낭비가 심각해집니다. 특히 전환(Sales)이 일어나는 중요 페이지에 오류가 생겼다면 단 1개라도 즉시 조치해야 합니다.
404는 페이지가 없다고 서버가 구글 봇에게 정직하게(404 코드) 알려주는 반면, 소프트 404는 페이지에 내용이 없는데도 서버가 정상(200 코드)이라고 거짓말을 하여 봇을 혼란스럽게 만드는 현상입니다.
크롤 버짓은 구글이 우리 사이트에서 할애할 수 있는 '체력' 혹은 '예산'입니다. 오류 페이지가 많으면 이 예산이 낭비되어, 정작 노출되어야 할 정상적인 신규 콘텐츠가 구글 검색 결과에 반영되지 못하는 심각한 병목 현상을 유발합니다.
리뉴얼 기획 단계부터 구버전 URL과 신버전 URL을 1:1로 매칭하는 '리다이렉트 맵(Map)' 문서 작성이 필수입니다. 배포 직후에는 서치콘솔을 즉각적으로 모니터링하여 누락된 경로를 방어해야 합니다.
단순 404 오류라면 어느 정도 대처가 가능합니다. 단, 리다이렉트 루프나 복잡한 조건의 소프트 404, 특히 자체 구축(커스텀) 웹사이트의 경우에는 서버 통신 지식이나 SEO 전문성이 반드시 필요합니다. 내부 리소스만으로 서버단 대처가 막막하다면 전문 진단을 의뢰하는 것을 권장합니다.