데이터 품질은 정확성에서 끝나지 않아요

데이터 품질은 정확성에서 끝나지 않아요

AI 뉴스 썸네일

정확하고 빠짐없는 데이터도 쓰는 사람의 질문에 답하지 못하면 좋은 결과를 내기 어려워요. Pivotal의 Abraham Thomas는 데이터 품질을 개별 데이터, 전체 데이터 집합, 목적 적합성, 사업 성과의 4단계로 나눠요. 이 구분을 적용하면 데이터 엔지니어링 팀이 무엇을 검사하고 어디까지 효과를 측정해야 하는지 더 구체적으로 정할 수 있어요. 1 2

핵심 요약

단계	확인할 내용	실무 질문
개별 데이터	정확성, 최신성, 형식, 출처, 내부 일관성을 확인해요	이 레코드와 라벨을 믿고 쓸 수 있나요?
전체 데이터 집합	누락, 중복, 대표성, 분포, 시간에 따른 변화를 살펴요	데이터 전체가 대상과 현실을 제대로 담고 있나요?
목적 적합성	관련성, 충분성, 접근성, 규제, 상호운용성을 확인해요	필요한 시점에 원하는 판단에 쓸 수 있나요?
사업 성과	사용률, 행동 변화, 결과, 비용, 지속성을 측정해요	데이터를 쓴 뒤 의사결정과 성과가 실제로 달라졌나요?

1. 데이터 품질을 4단계로 나누면 놓친 문제가 보여요

데이터 품질 검사는 보통 정확성, 완전성, 일관성 같은 속성에서 시작해요. ISO 25012도 이런 항목을 포함한 15개 특성으로 데이터 품질을 설명해요. 개별 레코드가 잘못됐는지 찾는 데는 유용하지만, 그 데이터가 특정 업무에서 쓸모가 있는지까지 알려 주지는 않아요. 원문은 품질을 데이터 자체에 붙은 고정 점수보다 사용 과정에서 생기는 가치로 평가해요. 2

1단계는 레코드 하나를 믿을 수 있는지 확인해요

개별 데이터 품질은 데이터베이스의 한 레코드, 문장 하나, 질문과 답변 한 쌍, 라벨이 붙은 학습 예제처럼 가장 작은 단위를 다뤄요. 정확성, 정밀성, 최신성, 형식 적합성, 출처, 해석 가능성을 주로 확인해요. 데이터 계약과 스키마 검사, 값 범위 규칙, 라벨 검수도 이 단계에 가까워요.

728x90

평가 기준에는 사용 맥락이 들어가요. 최신 데이터라고 부르려면 어느 시점까지 갱신돼야 하는지 먼저 정해야 해요. 매출 값도 계약, 할인, 갱신, 일회성 매출을 어떻게 해석하는지에 따라 달라져요. 마켓플레이스가 거래 총액과 순매출 중 어떤 수치를 기록해야 하는지도 사업 구조와 회계 목적에 따라 판단이 갈릴 수 있어요.

2단계는 데이터 전체의 관계와 분포를 살펴요

모든 레코드가 정확해도 전체 데이터 집합에 문제가 남을 수 있어요. 일부 기간이 빠졌거나 같은 사건이 두 번 집계될 수 있어요. 특정 고객군만 지나치게 많으면 예측 모델이 실제 고객 구성을 반영하지 못할 수도 있어요. 개별 검사만으로는 범위, 중복, 대표성, 균형, 데이터 양, 결합 가능성, 시간에 따른 드리프트를 확인하기 어려워요.

매출 기록을 예로 들면 각 거래가 정확해도 중간에 매출 정의가 바뀌면 장기 추세가 깨져요. 현재 고객을 완벽하게 담은 데이터도 미래 고객의 구성이 다르면 확장 매출 예측에는 맞지 않을 수 있어요. 데이터 엔지니어링 팀은 파이프라인 성공 여부와 행 개수만 보지 말고 분포 변화와 대상 집단의 대표성도 함께 점검해야 해요.

3단계는 질문과 운영 환경에 맞는지 확인해요

목적 적합성은 데이터와 실제 사용처 사이를 봐요. 정보적 적합성은 필요한 질문에 답할 만큼 관련성이 있고 충분한지를 확인해요. 운영적 적합성은 필요한 때 접근할 수 있는지, 법적으로 사용할 수 있는지, 다른 시스템과 연결되는지, 비용과 위험이 감당할 만한지를 다뤄요.

같은 확정 매출도 회계 감사에는 좋은 데이터지만 실시간 경영에는 늦을 수 있어요. 월말 결산을 마칠 때까지 며칠이 걸리면 경영진은 매출 이탈을 알아도 채용이나 비용 계획을 제때 바꾸기 어려워요. 재무팀에 필요한 40개 탭의 상세 자료가 이사회나 영업팀에는 오히려 사용하기 힘든 형식일 수도 있어요. 정확성과 사용성은 따로 측정해야 해요.

4단계는 데이터가 행동과 결과를 바꿨는지 측정해요

세 가지 단계가 모두 좋아도 사업 성과가 따라오지 않을 수 있어요. 데이터가 실제로 사용됐는지, 사용 뒤 의사결정과 행동이 어떻게 달라졌는지, 그 변화가 투입 비용보다 컸는지를 확인해야 해요. 도입률과 조회 수만으로는 충분하지 않아요. 결과가 나타난 시점, 지속 기간, 다른 요인의 영향, 위험까지 함께 봐야 해요.

정확한 매출 데이터를 이용해 영업 보상 공식을 바꿨다고 가정해 볼 수 있어요. 영업팀이 보상을 늘리려고 다음 달 매출을 앞당기거나 마진을 깎는 할인을 제공하면 데이터는 정확해도 결과는 나빠져요. 이 경우 데이터 정제를 더 하는 것보다 보상 제도와 행동 변화를 다시 설계해야 해요.

아래 단계와 위 단계는 서로 이유를 제공해요

개별 데이터와 전체 데이터 집합이 불안하면 목적에 맞는 분석을 안정적으로 운영하기 어려워요. 반대로 정확성과 완전성 지표만 계속 개선해도 누가 왜 쓰는지 모르면 정비 비용을 설명하기 어려워요. 원문은 이 관계를 사다리로 표현해요. 아래 단계는 상위 사용을 가능하게 하고, 상위 단계의 결과는 아래 단계에 투자할 근거를 제공해요.

데이터 운영팀과 경영진이 품질을 두고 다르게 말하는 이유도 여기에서 찾을 수 있어요. 운영팀은 라벨 오류와 누락을 먼저 보고, 경영진은 매출이나 전환율 변화를 먼저 봐요. 한쪽 기준만 고집하면 정확하지만 쓰이지 않는 데이터나, 성과 목표는 분명하지만 입력을 믿기 어려운 시스템이 생겨요.

왜 중요한가요

데이터 품질 도구를 고를 때 검사 항목 수만 비교하면 실제 운영 범위를 놓칠 수 있어요. 스키마와 값 검증은 1단계를 돕고, 중복·분포·드리프트 모니터링은 2단계를 다뤄요. 3단계부터는 데이터 소비자와 함께 질문, 허용 지연 시간, 접근 권한, 규제 조건을 정해야 해요. 4단계에서는 제품·영업·재무 담당자가 의사결정과 결과의 변화를 계측해야 해요.

새 데이터 파이프라인을 만들 때도 4단계를 차례로 연결할 수 있어요. 먼저 레코드 오류율과 최신성 기준을 정해요. 다음으로 전체 범위와 대표성을 검사해요. 이어서 어떤 업무 결정에 언제 쓰이는지 기록해요. 마지막으로 사용 전후의 시간 절감, 오류 감소, 전환율, 매출처럼 해당 업무에 맞는 결과를 비교해요. 이 연결이 없으면 대시보드 조회 수가 늘어도 데이터 투자의 효과를 판단하기 어려워요.

AI 학습 데이터와 검색 증강 생성 시스템에도 같은 기준을 적용할 수 있어요. 문서 한 건이 정확해도 말뭉치에 특정 관점만 몰리면 답변이 치우칠 수 있어요. 관련 문서를 잘 찾더라도 답이 실제 업무 흐름에 들어가지 않으면 효과가 작아요. 답변 정확도와 검색 점수에 더해 사용자가 어떤 결정을 바꿨는지, 오류와 처리 시간이 얼마나 줄었는지를 함께 봐야 해요.

원문은 데이터 품질의 기본 원리를 다룬 연재 첫 글이에요. 세부 기준과 예시는 글쓴이가 제안한 사고 틀이며 모든 조직에 그대로 적용되는 표준은 아니에요. 그래도 품질 논의를 레코드 오류율에서 사업 결과까지 연결하는 공통 언어로 쓸 수 있어요. 2

참고 자료

1. 데이터 품질에 관하여 - 기본 원리 — GeekNews
2. On Data Quality - The Fundamentals — Pivotal, Abraham Thomas