다음, AI 크롤러 차단한다더니… 아직도 뉴스 '줄줄' 샌다

업스테이지, 두 달 전 "전면 차단"
검사해보니 여전히 봇 접근 가능

  • 페이스북
  • 트위치
  • 가
  • 가

포털 다음(Daum)이 자사 플랫폼에 게재되는 제휴 언론사 뉴스에 대해 인공지능(AI) 크롤러를 차단하겠다고 했지만 여전히 봇이 접근할 수 있는 상황인 것으로 나타났다. 다음은 약 한 달 전 전면 차단 조치를 했다는 입장인데, 테스트 결과 기사 제공 호스트에 봇 차단 규칙이 적용되지 않은 상태였고, AI 크롤러의 기사 본문 추출까지 가능한 것으로 확인됐다.

9월21일 미디어데이에서 외부 뉴스 크롤러에 대한 전면 차단 방침을 밝힌 다음에 검색 색인 크롤러, AI 검색 크롤러, AI 학습 크롤러, AI 답변 에이전트 차단과 관련한 조치와 효과를 문의한 결과 16일 다음은 “10월 초부터 크롤링에 대해 전면 차단 조치를 적용했다”고 답했다. “사이트 전체가 아니라 다음뉴스 기사뷰 페이지를 직접 차단하는 방식”이고, “현재 구글 등 주요 검색엔진에서 다음뉴스 기사가 나오지 않고 있다”는 설명이었다.


이는 언론계의 ‘데이터·트래픽 누수’에 대한 대응 차원이다. 다음이 제휴 언론 기사를 제공하는 도메인에 봇 관련 선언적, 물리적 차단 조치를 취하지 않아 빅테크의 AI 크롤러가 다음을 통해 국내 뉴스를 무단 이용·학습한다는 우려가 있었다. 동일한 기사가 언론사가 아닌 다음 링크로 구글 등에서 우선 노출돼 언론사 트래픽을 강탈한다는 지적도 끊이지 않았다.


다음 답변에 따르면 이런 문제가 해소됐어야 하지만 실제론 여전했다. 우선 선언적 차단 조치인 robots.txt가 daum.net에만 적용됐고 뉴스 제공 핵심 경로인 v.daum.net에 반영되지 않았다.


16일 본보가 미디어스타트업 블루닷AI와 협업해 v.daum.net에 대한 HTTP 접근성을 테스트한 결과 주요 AI 크롤러 8개 중 4개(GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot)가 테스트 기사에 대해 정상 HTML 응답을 받고 기사 본문까지 추출하는 것으로 확인됐다. 콘텐츠가 기술적으로 수집 가능한 상태였다는 의미다. 이들 크롤러는 빅테크의 대표적인 학습, 검색, 색인 봇이다. 네이버에선 기사 호스트인 n.news.naver.com의 robots.txt에 주요 크롤러 차단이 명시돼 있었고, 본문 추출도 되지 않았다.


기사가 ‘줄줄’ 새는 상황은 다음의 차단 시점 이후에도 감지돼 왔다. AI 검색 언론사 인용량에서 다음이 최상위권을 차지하고, 구글 등에서 언론사 기사가 다음 링크를 출처로 검색되는 사례가 이어져서다. 10월 말 한국온라인신문협회 간담회에선 관련 논의가 있었는데 한 신문사 관계자는 다음의 조치에 대해 “AI를 하는 개발 회사인데 문제를 모르진 않았을 테고, 알고도 기만했다기엔 금방 들통날 일이라 이해 안 된다는 의견이 많았다”고 했다.


조치를 취했지만 문이 열려 있는 결과는 다음의 차단 수단과 범위, 효과, 뉴스 제공 호스트(v.daum.net)를 통한 봇 접근 대책 등에 대한 설명 요구로 귀결될 수밖에 없다. 다음은 앞선 답변에서 “다음엔 뉴스 외에도 다양한 서비스와 콘텐츠가 있어 뉴스 기사와 동일한 정책을 도메인 단위로 일괄 적용하기 어렵다”고도 했는데 이 역시 의문 해소와는 거리가 있다는 지적이 나온다.


이성규 블루닷AI 대표는 “언론사 동의 없이 기사 페이지가 AI 검색·학습에 노출된 걸 막는 게 목적인데 전체 도메인 정도에서 차단하고 접근을 막은 듯 애기해선 안 된다는 것”이라며 “핵심은 다음이 v.daum.net에 대해 차단 규칙을 명확히 만드는 거다. 차단 대상, 적용 범위, 검증 결과를 언론에 명확히 설명할 필요도 있다”고 했다.

최승영 기자의 전체기사 보기

배너

많이 읽은 기사