카테고리05 / 09
기술 최적화
robots.txt, llms.txt, sitemap.xml, JSON-LD, 캐노니컬, 렌더링, 코어 웹 바이탈 등 기술 설정을 안내합니다.
질문 7개 · 각 질문의 핵심 답변을 먼저 확인하고, 자세한 설명은 글에서 읽어 보세요.
- Q28
robots.txt로 AI 크롤러를 어떻게 관리하나요?
robots.txt로 AI 크롤러를 관리할 때는 봇 이름(User-agent)별로 규칙을 따로 적어, 검색 노출에 쓰이는 봇과 모델 학습에 쓰이는 봇을 구분해 허용하거나 차단합니다. 예를 들어 OpenAI의 OAI-SearchBot은 허용하고 GPTBot은 차단하면 검색에는 나오되 학습에는 쓰지 말라는 뜻이 됩니다. 다만 규칙 준수는 크롤러의 자율이며, 사용자 요청으로 움직이는 일부 에이전트에는 적용되지 않을 수 있습니다.
자세히 보기봇마다 따로 설정 - Q29
llms.txt는 무엇이고 꼭 만들어야 하나요?
llms.txt는 웹사이트가 대규모 언어 모델(LLM)과 AI 에이전트에게 사이트 정보를 간결하게 제공하도록 '/llms.txt' 마크다운 파일을 두자는 제안이며, 꼭 만들어야 하는 파일은 아닙니다. 공식 웹 표준이 아니라 제안(proposal)이고, 구글은 AI 개요와 AI 모드 노출에 새로운 AI 텍스트 파일이 필요 없다고 밝힙니다. 따라서 '만들면 인용된다'가 아니라 비용이 낮은 보조 수단으로 보는 것이 정확합니다.
자세히 보기필수는 아닌 제안 - Q30
sitemap.xml은 왜 필요한가요?
sitemap.xml은 사이트의 URL 목록을 검색엔진에 알려 주는 파일로, 검색엔진이 페이지를 더 쉽게 발견하도록 돕기 위해 필요합니다. 다만 구글은 주로 링크를 통해 페이지를 찾기 때문에 사이트맵 제출은 필수가 아니며, 제출한다고 색인이나 순위가 보장되지도 않습니다. 사이트맵 하나에는 URL을 최대 50,000개, 압축 전 50MB까지 담을 수 있습니다.
자세히 보기파일당 5만 URL - Q31
JSON-LD 구조화 데이터란 무엇인가요?
JSON-LD 구조화 데이터는 페이지에 담긴 내용이 무엇인지(조직, 글, 질문과 답변 등)를 표준 형식으로 분류해 검색엔진에 알려 주는 데이터이며, 구글은 여러 형식 가운데 일반적으로 JSON-LD를 권장합니다. 어휘는 대부분 schema.org를 사용합니다. 다만 구조화 데이터를 넣어도 리치 결과 표시나 AI 답변 인용이 보장되지는 않습니다.
자세히 보기구글 권장 형식 - Q32
캐노니컬 URL은 언제 써야 하나요?
캐노니컬(canonical) URL은 내용이 같거나 매우 비슷한 페이지가 여러 주소로 존재할 때, 그 가운데 대표로 삼을 주소를 검색엔진에 알려 주기 위해 씁니다. 구글은 리디렉션과 rel='canonical' 링크를 강한 신호로, 사이트맵 포함을 약한 신호로 봅니다. 지정은 명령이 아니라 신호여서 구글이 다른 URL을 대표로 고를 수도 있습니다.
자세히 보기대표 주소 지정 - Q33
자바스크립트로 만든 사이트는 검색과 AI에 불리한가요?
자바스크립트로 만든 사이트가 그 자체로 불리한 것은 아니지만, 본문이 자바스크립트 실행 뒤에만 나타나는 구조라면 색인이 늦어지거나 일부 크롤러가 내용을 읽지 못할 수 있습니다. 구글은 자바스크립트 웹 앱을 크롤링, 렌더링, 색인의 3단계로 처리하며 렌더링은 나중에 처리될 수 있습니다. 구글 외의 크롤러(일부 AI 크롤러 포함)는 자바스크립트를 실행하지 않을 수 있어, 중요한 본문은 서버가 보내는 HTML에 담는 편이 안전합니다.
자세히 보기본문은 HTML에 - Q34
코어 웹 바이탈은 무엇을 측정하나요?
코어 웹 바이탈(Core Web Vitals)은 페이지의 로딩 속도, 반응성, 시각적 안정성을 측정하는 세 가지 지표입니다. web.dev 기준으로 LCP는 2.5초 이내, INP는 200밀리초 이하, CLS는 0.1 이하가 좋은 수준입니다. 구글은 좋은 코어 웹 바이탈이 핵심 순위 시스템이 보상하려는 것과 일치한다고 설명하지만, 점수만으로 상위 노출이 보장되지는 않습니다.
자세히 보기LCP 2.5초 이내