AI 검색에 쓰는 임베딩 모델을 바꿀 때는 이미 저장한 검색 데이터도 새로 만들어야 하는 경우가 많다. 문서를 숫자 배열인 ‘벡터’로 바꾸는 기준이 모델마다 다르기 때문이다. 새 모델로 만든 질문을 예전 모델의 문서 벡터와 바로 비교해도 된다고 가정하면 검색 결과가 어긋날 수 있다.
Google이 2026년 10월 6일 공개한 EmbeddingGemma 2를 두고 개발자 Simon Willison은 Hacker News에서 모델을 계속 이용할 수 있는 선택권에 주목했다. 새 모델의 성능표만 볼 때 놓치기 쉬운 질문이다. 검색 데이터가 쌓인 뒤에도 우리 팀은 다른 모델이나 운영 업체로 옮겨갈 수 있을까.
검색 데이터에는 모델의 흔적이 남는다
임베딩은 문서나 이미지를 의미가 비슷한 항목끼리 찾을 수 있는 숫자 배열로 표현하는 기술이다. RAG는 이 검색으로 찾아온 자료를 답변 생성 모델에 건네는 방식이다. 따라서 답변을 만드는 모델과 자료를 찾는 임베딩 모델은 맡는 일이 다르다.
가상의 업무용 검색 서비스를 생각해 보자. 제품 설명서와 고객 지원 문서를 검색해 답변 근거를 보여주는 서비스다. 설명서를 벡터로 만들어 저장해 두고, 고객의 질문도 같은 임베딩 모델로 변환해 가까운 문서를 찾는다.
이 서비스의 질문 처리 부분만 새 모델로 바꾸면 문서 쪽은 예전 기준, 질문 쪽은 새 기준이 된다. 두 벡터의 길이가 모두 768이어도 의미를 배치한 기준까지 같다는 뜻은 아니다. 모델 간 호환성을 확인하지 않은 일반적인 교체라면 원문에서 새 벡터를 만들 계획이 필요하다.
원문 위치와 문서 식별자, 버전을 남겨두면 다음 모델로 검색 데이터를 다시 만들 때 활용할 수 있다.
공개 가중치가 주는 것은 운영 선택권
EmbeddingGemma 2는 텍스트·이미지·오디오·영상을 하나의 임베딩 공간으로 표현하는 공개 모델이다. Google은 Apache 2.0 라이선스로 배포한다고 안내했다. 여기서 공개 가중치는 모델을 실행하는 데 필요한 값을 내려받을 수 있다는 의미다.
Willison이 제기한 우려는 호스팅 업체가 특정 모델 제공을 중단할 때 쌓아 둔 벡터를 다시 계산해야 하는 부담이다. 그는 직접 서버를 운영하기보다는 호스팅 서비스를 이용하되, 필요하면 같은 공개 가중치를 직접 실행하거나 다른 업체에 맡길 수 있는 선택권을 선호한다고 설명했다.
이 의견을 모든 팀의 정답으로 받아들일 필요는 없다. 작은 팀에는 관리형 API의 운영 편의가 중요할 수 있다. 공개 모델도 실행 환경, 지원 인력, 데이터 처리와 품질 확인 비용이 든다. 모델을 직접 구동할 수 있다는 사실이 무료 운영이나 손쉬운 이전을 보장하지는 않는다.
서비스를 고를 때는 현재 요청 단가와 함께, 지원 종료 안내 방식·사용 중인 모델 버전의 고정 가능 여부·원문을 다시 처리할 경로를 살펴보자. 계약된 서비스와 자체 운영에서 같은 모델을 쓴다고 해도 전처리와 출력 설정은 비교해야 한다.
새 인덱스에서 먼저 시험해 보자
Qdrant의 공식 가이드는 새 벡터를 별도로 만들고, 같은 질문으로 평가한 뒤 검색 경로를 전환하는 방식을 설명한다.
가상의 설명서 검색 서비스도 기존·새 검색을 같은 질문으로 비교할 수 있다. 이전 중 바뀌거나 삭제된 문서는 새 인덱스에도 반영한다.
| 교체 전 정할 것 | 우리 서비스에서 확인할 내용 |
|---|---|
| 다시 만들 자료 | 원문 위치, 문서 식별자, 최신 버전과 삭제 이력 |
| 같이 바꿀 설정 | 문서와 질문의 모델 버전, 차원, 전처리·정규화 |
| 넘어갈 기준 | 실제 고객 질문에서 필요한 문서가 검색되는지 |
| 돌아갈 경로 | 이전 모델과 인덱스를 함께 다시 선택할 방법 |
전환할 때는 질문 모델과 검색 인덱스를 함께 맞춘다. 담당자와 이전 경로를 보관할 기간도 정해두자.
차원을 줄이면 무엇이 가벼워질까
EmbeddingGemma 2의 기본 출력은 768차원이며, 모델 카드에는 512·256·128차원으로 줄이는 방법이 안내돼 있다. 이 모델은 짧은 표현도 활용하도록 학습됐지만, 차원을 줄인 뒤에는 다시 정규화하고 질문·문서의 차원을 맞춰야 한다. 임의의 다른 모델에서도 같은 방식이 통한다는 뜻은 아니다.
저장량 차이는 간단히 계산해 볼 수 있다. 벡터 10만 개를 float32로 저장하면 값 하나에 4바이트가 필요하다. 768차원은 307.2MB, 256차원은 102.4MB, 128차원은 51.2MB다. 십진 MB로 계산한 벡터 값 자체의 산술 예시이며, 실제 서비스 측정값은 아니다.
검색 인덱스와 메타데이터, 원본 파일, 복제본은 이 계산에 포함되지 않는다. 모델 카드도 128차원에서 멀티모달 검색 품질이 떨어질 수 있음을 설명한다. 저장량이 작아지는 것과 필요한 자료를 잘 찾는 것은 별도로 확인해야 한다.
국내 고객의 질문을 교체 기준으로
한국어 업무 검색이라면 ‘보증기간’, ‘AS’, ‘수리 접수’처럼 같은 문의를 다르게 표현한 질문을 함께 모아보자. 회사 내부 약칭과 제품 코드, 영어 이름을 섞은 검색도 실제 이용 장면에 가깝다. 이 예시는 특정 모델의 한국어 성능을 확인한 결과가 아니라, 팀이 만들 평가 질문의 출발점이다.
질문 옆에는 기대하는 근거 문서와 선택 이유를 적는다. 예를 들어 단종된 제품의 설명서가 현재 판매 제품보다 먼저 나오면, 숫자로 표현한 유사도와 별개로 고객에게 필요한 답을 찾지 못한 것이다. 검색 모델을 평가할 사람도 개발팀만으로 정할 필요는 없다. 문서 내용을 아는 지원 담당자가 결과를 함께 보면 놓친 조건을 찾기 쉽다.
새 모델을 도입할 이유는 우리 자료에서 드러나야 한다. 같은 질문에서 필요한 문서를 더 잘 찾는지, 새 데이터 종류를 다룰 수 있는지, 운영 선택권을 넓힐 수 있는지 보자. 이 기준이 정해지면 모델 교체 비용도 기능 개발 일정과 함께 비교할 수 있다.
자주 묻는 질문
답변 생성 모델만 바꿔도 문서 벡터를 다시 만들어야 하나요?
항상 그런 것은 아니다. 검색에 쓰는 임베딩 모델과 문서 처리 설정을 유지한 채 답변 생성 모델만 바꾸는 경우는 구분해야 한다. 임베딩 쪽을 바꿀 때 저장된 벡터와의 호환성을 살펴야 한다.
같은 768차원 모델끼리는 섞어 써도 되나요?
차원이 같다는 이유만으로 호환된다고 볼 수 없다. 모델 버전과 입력 처리 방식까지 확인하고, 실제 질문으로 비교해야 한다.
공개 모델이면 호스팅 서비스를 쓰면 안 되나요?
그렇지 않다. 호스팅의 편의를 이용하면서 향후 다른 운영 경로도 마련할 수 있다. 같은 모델을 다시 사용할 수 있는지와 우리 데이터를 옮길 수 있는지는 각각 살펴보자.
함께 읽을 글
원문과 공식 자료
- Google: EmbeddingGemma 2 발표 — 2026년 10월 6일
- Google: EmbeddingGemma 2 모델 카드
- Qdrant: 벡터 검색의 원리
- Qdrant: 임베딩 모델 이전 가이드
- Simon Willison: Hacker News 댓글의 본인 보관본 — 2026년 10월 6일 · Hacker News 원댓글
자료 확인: 2026년 10월 12일.