AI 데이터 관리, 모델보다 입력과 의미 체계가 먼저예요

AI 데이터 관리, 모델보다 입력과 의미 체계가 먼저예요

AI 데이터 관리 뉴스 썸네일

기업용 생성형 AI의 답변 품질은 모델 성능만으로 정해지지 않아요. 어떤 문서를 넣었는지, 같은 용어를 조직 전체에서 같은 뜻으로 쓰는지, 오래되거나 무관한 자료를 걷어냈는지가 결과를 크게 바꿔요. 데이터웨어하우스의 개념을 만든 윌리엄 인먼은 AI 시대의 데이터 관리가 저장 위치보다 입력 텍스트와 의미 체계를 다루는 일로 옮겨가고 있다고 설명해요. 1

핵심 요약

구분	내용	실무에서 볼 점
관리 대상	정형 데이터에 더해 문서와 텍스트까지 관리해요	사내 문서라고 모두 AI 입력에 넣으면 안 돼요
통제 방식	데이터베이스를 직접 고치는 대신 LLM에 들어갈 자료를 선별해요	입력 전에 출처, 업무 관련성, 최신성을 확인해야 해요
의미 체계	온톨로지와 분류체계로 용어와 관계를 정리해요	부서마다 다른 용어를 그대로 두면 검색과 답변이 엇갈려요
연결 구조	정형 데이터 모델과 비정형 지식을 기업 논리 데이터 모델로 연결해요	물리적 저장소를 하나로 합치기보다 공통 정의를 맞추는 데 초점을 둬요
운영 책임	분류체계와 입력 자료를 계속 갱신해요	일회성 구축보다 변경 이력과 담당 조직이 중요해요

1. AI 시대에는 데이터 관리의 통제 지점이 달라져요

전통적인 데이터 관리자는 테이블 구조, 데이터 모델, DDL과 데이터베이스를 직접 바꿀 수 있어요. 오류가 생긴 레코드나 스키마를 찾아 수정하는 방식이라 통제 대상과 작업 결과가 비교적 분명해요. 생성형 AI는 달라요. 운영자가 모델 내부의 수많은 가중치를 업무 요구에 맞춰 건별로 고칠 수 없으므로, 모델에 전달할 텍스트를 고르고 정제하는 쪽에서 품질을 관리하게 돼요. 원문은 이를 LLM에 대한 ‘간접 통제’라고 불러요. 2

이 관점은 기업용 검색, RAG, 상담 도우미를 운영할 때 바로 적용할 수 있어요. 접근 권한이 없는 문서, 업무와 무관한 자료, 폐기된 정책, 서로 충돌하는 버전이 검색 대상에 섞이면 모델이 자연스러운 문장으로 잘못된 답을 만들 수 있어요. 모델을 바꾸거나 지시문을 다듬기 전에 검색 대상 문서와 메타데이터부터 확인해야 하는 이유예요.

728x90

모든 사내 문서를 넣는 방식은 비용과 정확도를 함께 해쳐요

원문은 기업 데이터에서 텍스트가 차지하는 비중이 최대 90%라는 추정을 소개해요. 이 수치는 기업과 집계 방식에 따라 달라질 수 있지만, 계약서와 매뉴얼, 이메일, 회의록처럼 중요한 정보가 데이터베이스 밖에 많이 있다는 문제의식은 분명해요. 2

자료가 많다고 모두 좋은 입력은 아니에요. 같은 내용을 담은 파일이 여러 버전으로 남아 있거나 업무와 관계없는 문서까지 검색하면, 처리량과 비용이 늘고 답변 근거도 흐려져요. 먼저 자료를 넓게 고른 뒤 업무 관련성, 신뢰도, 최신성, 접근 권한으로 다시 좁히는 과정이 필요해요. 문서마다 소유 부서, 시행일, 폐기 여부와 보안 등급을 붙이면 검색 단계에서 제외 기준을 적용하기 쉬워져요.

정형 데이터 모델을 텍스트에 그대로 적용하기는 어려워요

테이블은 열과 자료형, 키와 관계를 미리 정할 수 있어요. 문서는 같은 내용을 여러 표현으로 쓰고 문맥에 따라 단어의 뜻도 달라져요. 인먼은 정형 데이터의 데이터 모델에 대응하는 장치로 온톨로지와 택소노미를 제시해요. 분류체계는 문서를 주제별로 나누고, 온톨로지는 개념 사이의 관계와 의미를 표현해요. 1

예를 들어 영업팀의 ‘고객’과 재무팀의 ‘거래처’가 같은 대상을 뜻하는지부터 정해야 해요. ‘해지’가 계약 종료만 가리키는지, 환불이나 계정 삭제까지 포함하는지도 합의해야 해요. 이 연결이 없으면 사용자는 같은 질문을 해도 검색된 문서와 시스템에 따라 다른 답을 받을 수 있어요. 임베딩 검색의 유사도 점수만으로는 조직 안의 정의 차이까지 자동으로 해결하기 어려워요.

물리적 중앙화보다 공통 의미를 유지하는 일이 현실적이에요

기업 데이터는 업무 시스템, 개인용 컴퓨터, 클라우드 저장소와 외부 웹에 흩어져 있어요. 모든 원본을 한곳으로 옮기는 물리적 중앙화는 비용과 권한, 규제 문제 때문에 현실적이지 않을 때가 많아요. 원문은 저장 위치 대신 데이터의 정의와 의미를 중앙에서 맞추는 ‘의미론적 중앙화’를 대안으로 설명해요. 이를 위해 정형 데이터 모델과 텍스트의 온톨로지·분류체계를 기업 논리 데이터 모델, 즉 ELDM으로 연결해야 한다는 주장이에요. 2

실무에서는 거대한 전사 모델을 한 번에 만드는 것보다 핵심 업무 용어부터 시작하는 편이 안전해요. 고객, 상품, 계약, 매출처럼 여러 부서가 함께 쓰는 개념의 정의와 소유자를 정하고, 각 문서와 테이블이 어느 개념에 연결되는지 기록할 수 있어요. 정의가 바뀌면 영향을 받는 검색 인덱스와 답변 서비스를 찾아 다시 처리하는 절차도 함께 필요해요.

좋은 데이터 관리도 모델의 한계를 없애지는 못해요

입력 자료를 정리하면 근거 없는 답변을 줄일 수 있지만 정확성을 보장하지는 않아요. 모델은 제공된 문맥을 잘못 해석할 수 있고, 검색기가 필요한 문서를 놓칠 수도 있어요. 접근 권한 필터가 잘못되면 정확도보다 더 큰 보안 문제가 생겨요. 데이터 선별, 검색 평가, 답변 검증과 권한 통제를 따로 측정해야 해요.

원문 저자는 기업용 LLM에 들어갈 텍스트를 정제하는 사업도 운영하고 있어요. 그래서 입력 정제의 필요성을 강조하는 부분에는 사업적 이해관계가 섞일 수 있어요. 글에서 제시한 ELDM과 온톨로지 접근을 유일한 해법으로 받아들이기보다, 실제 질문 세트로 검색 적중률과 답변 근거율, 비용 변화를 비교하는 편이 좋아요.

왜 중요한가요

기업이 생성형 AI를 도입할 때 모델 선택은 눈에 잘 보이지만 데이터 운영은 뒤로 밀리기 쉬워요. 실제 서비스에서는 어느 모델을 쓰느냐 못지않게 어떤 문서를 검색하는지, 최신 문서를 우선하는지, 답변에 사용한 근거를 추적할 수 있는지가 중요해요. 2

데이터팀의 역할도 넓어져요. 테이블 품질과 파이프라인만 관리하던 범위에서 문서 수명 주기, 용어 사전, 접근 권한, 검색 평가까지 다뤄야 해요. 이 책임을 데이터팀 한곳에 모두 넘기기보다 업무 부서가 문서의 정확성과 폐기를 맡고, 데이터팀이 공통 정의와 기술 체계를 운영하는 식으로 나누는 편이 현실적이에요.

AI 서비스를 준비하고 있다면 모델 교체 전에 네 가지를 확인해 볼 수 있어요. 답변에 쓰이면 안 되는 문서가 무엇인지, 같은 개념이 부서마다 다르게 정의돼 있는지, 문서의 최신성과 소유자를 추적할 수 있는지, 실제 질문으로 검색 품질을 반복 측정하는지예요. 이 기준이 없으면 모델 성능이 좋아져도 기업 안에서는 신뢰하기 어려운 답이 계속 나올 수 있어요.

참고 자료

1. AI 시대의 데이터 관리 — GeekNews
2. Data Management in the Age of AI — William Inmon