본문 바로가기

IT & AI

ChatGPT는 어떤 출처를 읽고 인용할까, 브라우저 트래픽에서 드러난 구조

728x90

ChatGPT는 어떤 출처를 읽고 인용할까, 브라우저 트래픽에서 드러난 구조

ChatGPT 출처 선택 구조 썸네일
ChatGPT 출처 선택 구조 썸네일

ChatGPT의 답변에 표시된 인용 링크만 봐서는 검색 과정 전체를 알기 어려워요. 한 연구자가 로그인된 Pro 계정의 브라우저 응답을 며칠간 살펴 약 1,240개 출처 레코드를 분석했어요. 그 안에는 검색 공급 경로, 질문 분류, 모델이 만든 검색어와 실제 실행 모델이 함께 담겨 있었어요. 1

핵심 요약

구분관찰된 내용활용할 때 볼 점
출처 경로웹 결과마다 `serp`, `labrador`, `bright`, `oxylabs` 중 하나가 붙었어요한 종류의 검색 색인만 쓰는 구조로 단정하기 어려워요
검색 여부질문이 `text`로 분류되면 웹을 찾지 않고 학습 데이터로 답했어요최신 정보가 필요한 질문도 검색이 생략될 수 있어요
탐색 방식Thinking 모델은 제품 비교를 15~40개 하위 검색으로 넓혔어요가격과 명세를 평문 HTML에서 바로 확인할 수 있어야 해요
인용 조건가져온 페이지가 모두 답변에 인용되지는 않았어요사실은 공식 페이지, 평가는 제3자 자료가 선택되는 경향이 있었어요
한계한 계정과 SaaS·기술 중심 질문에서 나온 결과예요비율과 도메인 순위를 전체 ChatGPT의 일반 규칙으로 보면 안 돼요

1. 답변 뒤에는 검색 여부를 먼저 가르는 분류가 있었어요

연구자는 일반 패킷의 암호화된 내용을 억지로 푼 것이 아니에요. 브라우저가 복호화한 뒤 DevTools Network 패널에 보여 주는 HTTP 응답 JSON을 확인했어요. 여기서 결과별 `result_source`, 질문별 `turn_use_case`, 모델이 만든 검색어와 실제 실행 모델을 읽었어요. 최종 답변만 모아 브랜드 노출을 세는 조사와 달리, 브라우저로 전달된 처리 정보를 직접 관찰한 사례예요. 2

질문은 instant search, shopping, `text`, local, thinking, image generation 등 6개 용도로 나뉘었어요. 이 가운데 `text`로 분류된 질문은 웹 검색을 거치지 않았어요. 타이어 교체법이나 번역처럼 학습 데이터로 처리할 법한 요청뿐 아니라 최신 치료 지침 요청에도 검색 없이 답한 사례가 있었어요.

728x90

연구자가 최신 정보를 의도한 질문 10개를 따로 시험했을 때도 3개는 웹을 찾지 않았어요. 다만 이 수치는 한 계정에서 얻은 작은 표본이에요. ChatGPT가 최신 질문의 30%를 늘 검색하지 않는다는 뜻으로 확대하면 안 돼요. 확인할 수 있는 사실은 질문 문구와 분류 결과에 따라 웹 검색 자체가 생략될 수 있다는 점이에요.

웹 결과는 네 가지 경로 표시를 달고 왔어요

관찰된 `result_source` 값은 `serp`, `labrador`, `bright`, `oxylabs`였어요. `labrador`에는 Reuters, The Guardian, WSJ, Wikipedia, arXiv 같은 출처가 나타났어요. `bright`와 `oxylabs`는 각각 Bright Data와 Oxylabs 계열로 관찰됐고, 쇼핑·금융·날씨·지역 검색에서 자주 보였어요. 한 답변 안에서도 출처 도메인에 따라 서로 다른 경로가 섞였어요.

이 필드만으로 OpenAI와 각 매체의 계약이나 대금 지급 관계까지 알 수는 없어요. 서버 내부의 순위 점수도 브라우저 응답에 드러나지 않았어요. 따라서 네 가지 이름은 실제 응답에서 확인된 출처 공급 경로로 볼 수 있지만, `labrador`가 곧 유료 라이선스 목록이라는 해석은 추정에 머물러요.

Thinking 모델은 질문 하나를 여러 검색으로 넓혔어요

빠른 모델은 재작성한 검색어 하나를 실행하는 경우가 많았어요. Thinking 모델은 제품 비교 질문 하나를 15~40개의 하위 검색으로 나눴어요. 공급업체의 가격 페이지를 `site:` 검색으로 찾고, 가격을 추정한 뒤 달러나 유로 기호와 숫자를 페이지 안에서 다시 확인하는 과정도 나타났어요.

이 과정에서 모델은 처음 질문에 없던 제품을 발견하면 비교 대상을 넓혔어요. `find`, `open`, `click` 같은 서버 측 도구로 페이지를 탐색하기도 했어요. 사람이 입력한 문장 하나에만 맞춘 페이지보다 제품명, 가격, 요금제와 명세를 명확한 텍스트로 제공한 페이지가 이런 탐색에 대응하기 쉬워요.

가져오기와 인용, 브랜드 언급은 서로 달랐어요

페이지를 모델 문맥으로 가져오는 것과 답변 뒤에 인용 링크로 붙이는 것은 같은 일이 아니었어요. 브랜드 이름이 답변에 나와도 해당 문장의 근거로 연결되지 않을 수 있었어요. 원문은 이를 가져오기, 인용, 언급이라는 세 상태로 구분했어요.

제한된 표본에서 Reddit은 278회 가져와졌고 11회 인용됐어요. YouTube는 201회 가져와졌지만 인용은 없었어요. Reddit 본문은 문장 단위 근거로 쓰기 쉬운 텍스트인 반면, YouTube 검색 결과에서는 영상 대본보다 메타데이터를 주로 받은 차이가 있었어요. 이 횟수도 SaaS와 기술 질문에 치우친 관찰값이라 도메인 전체의 고정 순위로 볼 수는 없어요.

공식 페이지는 자사 가격과 제품 명세의 근거로 연결됐어요. 어떤 제품이 더 좋은지 같은 평가는 리뷰 사이트나 Reddit 등 제3자 자료에서 가져오는 경향이 있었어요. 공식 가격 페이지를 JavaScript로 불러와 읽지 못한 사례에서는 G2 같은 외부 페이지로 출처가 바뀌기도 했어요.

콘텐츠 운영자가 바로 확인할 부분

가격, 기능, 지원 범위처럼 자주 바뀌는 사실은 페이지의 평문 HTML에 적는 편이 좋아요. 이미지 안에만 넣거나 사용자 조작 뒤 JavaScript로 불러오면 검색 도구가 핵심 값을 놓칠 수 있어요. 페이지 제목만 넓게 잡기보다 주장 하나를 뒷받침할 수 있는 수치와 설명을 가까이 배치해야 해요.

자사 제품의 장점을 자사 페이지만으로 증명하기는 어려워요. 공식 문서는 정확한 명세와 가격을 맡고, 실제 사용 평가는 신뢰할 만한 리뷰와 커뮤니티 글에서 확인될 수 있어야 해요. 같은 주제를 얇게 나눈 페이지를 많이 만드는 방식보다 근거가 분명한 페이지 하나가 인용 문장과 연결되기 쉬워요.

검색 노출을 점검할 때는 목표 질문이 웹 검색을 실행하는지도 먼저 확인해야 해요. 정의나 사용법 질문이 `text`로 처리되면 새 페이지를 잘 만들어도 그 대화에서 실시간 출처 후보가 될 수 없어요. 반대로 제품 비교나 지역 검색처럼 웹을 쓰는 질문은 파싱 가능한 사실, 제3자 평가, 질문에서 파생될 하위 검색어를 함께 살펴야 해요.

왜 중요한가요

이번 관찰은 ChatGPT가 단일 검색 결과 목록에서 링크 몇 개를 고르는 단순한 구조가 아니라는 점을 보여 줘요. 먼저 질문의 용도를 분류하고, 필요한 경우 여러 공급 경로에서 결과를 가져와요. Thinking 모델은 질문을 수십 개 검색으로 넓힌 뒤 페이지 안의 숫자와 문구까지 확인했어요. 콘텐츠가 검색됐다는 사실만으로 인용까지 보장되지는 않았어요. 2

실무에서는 세 가지를 나눠서 확인하면 돼요. 목표 질문이 웹 검색을 쓰는지, 페이지의 핵심 사실을 HTML 텍스트로 읽을 수 있는지, 평가성 주장을 뒷받침할 외부 출처가 있는지 살펴보세요. 다만 이번 결과는 한 명의 Pro 계정과 며칠간의 SaaS·기술 질문에서 나온 스냅샷이에요. `bright`의 비중이나 특정 도메인의 인용 횟수는 업종, 계정, 시점, 질문 문구가 달라지면 바뀔 수 있어요.

참고 자료

  1. ChatGPT는 실제로 어떻게 출처를 고르는가 — GeekNews
  2. How ChatGPT Actually Picks Sources — Suganthan Mohanadasan
728x90