- Google·ChatGPT 기준으로 본 색인, 구조화 데이터, 크롤러 접근 관리

AI 검색이 확산되면서 브랜드와 매체의 노출 경쟁은 검색 결과 첫 화면만의 문제가 아니게 됐다. 사용자는 검색창에 짧은 키워드를 입력하는 대신 질문형 문장으로 정보를 찾고, AI 검색 서비스는 여러 출처를 묶어 답변과 링크를 함께 제시한다.
Google은 생성형 AI 검색 기능이 기존 검색 색인과 품질 시스템을 기반으로 작동한다고 설명한다. 7월 10일 업데이트된 Google Search Central 가이드는 AI Overviews와 AI Mode 같은 기능에서 기존 SEO 원칙이 여전히 기반으로 쓰이며, 검색 색인에서 관련 페이지를 가져와 답변 근거로 활용하는 흐름을 제시했다. AI 검색 노출은 별도의 마법 같은 최적화보다 공개 페이지의 색인 가능성, 독자에게 유용한 원문성, 명확한 기술 구조에서 출발한다.
OpenAI의 ChatGPT Search도 공개 웹페이지의 접근성과 출처 연결을 별도 쟁점으로 다룬다. OpenAI 도움말은 웹사이트가 ChatGPT 검색 결과에 포함되려면 OAI-SearchBot 접근을 허용하고, 호스팅 환경이나 CDN이 검색봇 IP 대역을 막지 않는 상태여야 한다고 설명한다. 광고 랜딩 페이지 검증 문서에서는 OAI-AdsBot과 OAI-SearchBot을 구분하고, robots.txt, 웹 방화벽, 봇 차단, CAPTCHA, 자바스크립트 챌린지가 크롤러 접근을 막을 수 있다고 제시했다.
브랜드 운영에서 먼저 나뉘는 영역은 공개 페이지에 둘 정보와 접근을 제한할 정보다. 상품명, 가격, 행사 기간, 매장 위치, 공식 판매처, 고객센터, 정책 변경처럼 이용자가 판단에 쓰는 정보는 검색봇이 접근할 수 있는 공개 페이지에 정리하는 편이 적합하다. 내부 운영 문서, 로그인 뒤에 제공되는 회원 데이터, 공개 전 캠페인 소재, 계약 조건은 인증, noindex, 접근 권한 관리로 분리된다.
robots.txt는 크롤러 접근을 제어하는 장치로 쓰이지만, 검색 결과에서 URL 노출을 제외하는 수단과는 구분된다. 크롤링이 막힌 페이지라도 외부 링크를 통해 URL 자체가 검색 결과에 남을 수 있고, 검색 제외가 목적일 때는 noindex나 접근 제한이 별도 기준으로 적용된다. AI 검색 대응에서도 크롤러 접근 허용과 검색 노출 제외는 같은 조치가 아니다.
구조화 데이터는 AI 검색만을 위한 별도 장치가 아니라 검색 엔진이 기사와 페이지 정보를 읽는 보조 신호로 남는다. Google의 Article 구조화 데이터 가이드는 NewsArticle, Article, BlogPosting 같은 마크업이 제목, 이미지, 발행일, 수정일, 작성자 정보를 더 명확히 전달하는 데 쓰인다고 설명한다. Google은 생성형 AI 검색을 위해 특별한 schema.org 마크업을 추가할 요구가 없다고 선을 그었지만, 기사 페이지의 날짜와 이미지, 작성 주체를 정리하는 작업은 검색 결과 품질 관리와 연결된다.
콘텐츠 측면에서는 단순 키워드 반복보다 원문성이 더 강한 신호로 제시된다. Google은 생성형 AI 검색 가이드에서 이미 인터넷에 널린 내용을 다시 쓰는 방식보다 고유한 관점, 직접 경험, 독자가 읽기 쉬운 구조, 고품질 이미지와 영상이 장기적인 노출 가능성과 맞닿는다고 설명했다. 언론사와 브랜드가 같은 보도자료를 반복하는 대신 비교 기준, 원자료, 수치, 적용 범위, 현장 사례를 함께 정리하면 AI 검색이 인용할 수 있는 정보 단위가 늘어난다.
측정 방식도 바뀌고 있다. Google은 6월 3일 웹사이트 운영자를 위한 새 도구와 인사이트를 소개하며 AI Overviews 월간 활성 이용자가 25억 명을 넘었고, AI Mode 월간 이용자도 10억 명을 넘었다고 밝혔다. 같은 발표에서 웹사이트 운영자가 AI 검색 환경을 관리할 수 있는 Search Console 관련 기능과 성과 인사이트를 언급했다. AI 검색 유입은 기존 검색 클릭만으로 모두 설명되지 않기 때문에 검색 노출, 크롤링, 인용 가능성, GA4 체류 지표를 함께 읽는 운영으로 넓어졌다.
브랜드가 당장 정리할 항목은 세 갈래로 나뉜다. 첫째, 공개 페이지는 검색봇과 AI 검색봇이 접근 가능한 상태로 두고, 방화벽과 봇 차단 정책이 정상 크롤러를 막지 않는지 점검한다. 둘째, 기사와 상품·서비스 페이지에는 발행일, 수정일, 이미지, 작성 주체, 가격·기간·위치 같은 판단 정보를 명확히 남긴다. 셋째, 검색 노출에서 제외할 페이지는 robots.txt 하나에 맡기지 않고 noindex, 로그인, 접근 권한 같은 통제 장치로 분리한다.
AI 검색 대응은 검색 엔진을 속이기 위한 문장 제작보다 공개 정보의 품질 관리에 가깝다. Google과 OpenAI의 공식 문서는 공통적으로 색인 가능성, 크롤러 접근, 신뢰 가능한 출처 연결을 전제로 둔다. 브랜드와 매체의 운영 기준도 그 지점에서 시작한다. 공개할 정보는 AI가 읽을 수 있게 정리하고, 공개하지 않을 정보는 기술적으로 분리하는 일이 AI 검색 시대의 기본 노출 관리가 된다.
BEST 뉴스
-
카카오모먼트, 고객데이터 타겟 28일 신설…기존 그룹 2027년 종료
사진=카카오모먼트 카카오모먼트가 9월 28일 타겟관리 메뉴에 ‘고객데이터’를 신설한다. 광고주가 보유한 오디언스 식별자를 광고 유형별로 나누지 않고 성과형 광고와 참여형 광고, 메시지광고에서 함께 활용하도록 타겟 체계를 개편한다. 기존에는 성과형 광고 등에 쓰는 고객파... -
네이버 디스플레이 광고, 고객여정 타겟을 쇼핑단계 타겟으로 변경
사진=네이버 광고주센터 네이버 디스플레이 광고의 ‘고객여정 타겟’이 ‘쇼핑단계 타겟’으로 이름을 바꾼다. 네이버 쇼핑의 브랜드 애널리틱스 고객여정분석 보고서가 9월 16일 ‘브랜드 분석 > 쇼핑단계분석’으로 개편되면서, 해당 데이터를 활용하는 광고 타겟의 명칭과 집계 기... -
네이버 파워링크 홍보영상 확장소재, 신규 등록 중단일 22일로 앞당겨
사진=네이버 광고주센터 네이버 검색광고의 파워링크 ‘홍보영상’ 확장소재 신규 등록 중단 일정이 9월 23일에서 9월 22일로 변경됐다. 네이버TV 서비스 종료와 맞물려 영상 연동형 확장소재의 신규 등록을 먼저 멈추는 조치다. 중단 대상은 파워링크 홍보영상 확장소재의 신규 등... -
카카오모먼트, 커머스 랜딩 URL에 레퍼러 자동 추가
사진=카카오모먼트 카카오모먼트가 9월 28일부터 광고의 커머스 랜딩 URL에 유입 경로를 식별하는 레퍼러 파라미터를 자동으로 추가한다. 판매자는 카카오 커머스 통계에서 모먼트 광고를 통한 유입과 구매 전환을 구분해 확인할 수 있게 된다. 레퍼러는 선물하기와 톡스토어, 카... -
당근 비즈프로필 광고, 예약 탭 바로가기 실험 시작
사진=당근비즈니스 당근이 비즈프로필 홈 랜딩 광고의 연결 화면을 예약 탭으로 바꾸는 실험을 9월 17일부터 시작했다. 일부 광고를 누른 이용자는 비즈프로필 홈을 거치지 않고 예약 가능한 상품 목록으로 이동한다. 기존 광고는 클릭하면 비즈프로필 홈 탭으로 연결됐다. 실험 ... -
카카오비즈니스, 베스트 어워즈 모집…우수 사례 100팀 선정
사진=카카오비즈니스 카카오비즈니스가 광고와 커머스, 채널 운영 성과를 공유하는 ‘2026 카카오비즈니스 베스트 어워즈’ 사례 공모를 진행한다. 접수 기간은 10월 14일까지이며 수상팀 발표는 11월 4일이다. 공모 대상은 카카오광고, 카카오쇼핑, 카카오톡 채널, 매장, ...







