핵심 요약
OpenAI Developers의 공개 발표를 바탕으로, 장기 실행 에이전트를 제품에 넣기 전에 문맥·완료 기준·실패 처리를 어떻게 검증할지 살펴봅니다.
AI 스타트업이 새 모델을 만났을 때 던질 질문은 구체적이어야 합니다. 우리 서비스의 어떤 일을 끝까지 맡길 수 있는지, 중간에 무엇을 다시 읽는지, 실패하면 누가 이어받는지입니다. GPT-6.1 Sol 발표는 이 세 질문을 함께 살펴볼 좋은 계기입니다.
장기 실행 에이전트와 캐시 입력 가격
OpenAI Developers의 LinkedIn 게시물은 GPT-6.1 Sol을 복잡한 코드 변경과 여러 앱에 걸친 장기 실행 에이전트에 맞춘 모델로 소개합니다. 같은 문맥을 재사용하는 캐시 입력의 API 단가는 100만 토큰당 0.10달러로, 일반 입력 단가 2달러보다 95% 낮다고 안내했습니다.
공식 제품 발표문에도 이 방향과 가격이 확인됩니다. 제품의 성능 설명과 평가 결과는 OpenAI가 발표한 내용입니다. 한국어 제품을 만드는 팀은 자사 업무에 맞춰 성능과 비용을 검증해야 합니다.
1. 재사용할 문맥과 새로 받아야 할 정보를 나눈다
장기 실행 에이전트는 요청 한 번에 답을 내는 기능보다 여러 번 자료를 읽고 행동하는 기능에 가깝습니다. 반복해서 읽는 제품 설명, 출력 형식, 작업 규칙과 매번 바뀌는 고객 요청을 섞어 관리하면, 무엇이 낡았는지 찾기 어려워집니다.
예를 들어 고객 문의를 분류하는 서비스라면 제품 분류표와 답변 작성 규칙은 버전을 붙여 관리하고, 새 문의와 현재 주문 상태는 요청마다 확인하도록 나눌 수 있습니다. 캐시가 적용됐는지와 최신 정보가 반영됐는지는 실제 요청의 사용량·결과 기록으로 확인해야 합니다.
캐시 입력이 저렴해져도 전체 업무 비용이 같은 비율로 줄어드는 것은 아닙니다. 출력, 도구 실행, 재시도, 사람의 검토에는 별도 비용과 시간이 듭니다. 제품 전체에 95% 절감이라는 숫자를 붙이기 전에 어떤 입력이 실제로 캐시됐는지부터 확인해야 합니다.
2. 한 단계의 답변과 업무 완료를 구분한다
고객 문의를 정확히 분류했더라도, 담당자를 잘못 지정하거나 존재하지 않는 문서 링크를 붙였다면 업무는 완료되지 않았습니다. 에이전트 제품의 검증 단위는 보기 좋은 답변 한 건보다 사용자가 원하는 최종 상태에 맞추는 편이 유용합니다.
새 모델로 바꾸기 전에 실제 서비스에서 반복되는 작업 몇 개를 고르고, 성공 조건을 문장으로 써 보세요. 예를 들면 “문의 유형을 지정하고, 근거 문장을 남기고, 담당자에게 보낼 초안을 만든다”입니다. 성능을 비교할 때 같은 입력과 같은 완료 기준을 사용해야 변경의 의미를 판단할 수 있습니다.
3. 실패를 알리는 방법도 제품 기능으로 설계한다
검색이나 연결 도구가 멈췄는데 에이전트가 계속 완성된 것처럼 보고하면, 사용자는 결과를 다시 확인해야 합니다. 반대로 어느 단계에서 멈췄고 어떤 자료가 부족한지 알려주면 사람이 이어서 처리할 수 있습니다. 이 인계 경험은 장기 실행 기능을 실제로 쓰게 만드는 조건입니다.
처음부터 모든 상황을 자동화할 필요는 없습니다. 자료를 읽고 초안을 만드는 단계부터 시작해, 외부 발송이나 실제 변경을 언제 승인할지 정해 보세요. 권한이 거절됐을 때의 응답, 중복 실행, 오래된 자료를 만난 경우를 검증 목록에 포함할 수 있습니다.
작은 팀이 남길 실행 기록
팀의 업무에 맞게 다음 기록 항목을 줄이거나 늘릴 수 있습니다.
| 기록 항목 | 확인할 내용 |
|---|---|
| 업무와 완료 기준 | 사용자가 필요로 하는 최종 상태 |
| 문맥과 자료 기준일 | 재사용한 규칙의 버전, 새로 조회한 정보 |
| 결과와 근거 | 완료 여부, 확인한 문서나 변경 내역 |
| 중단과 인계 | 어디서 멈췄는지, 사람이 할 다음 행동 |
| 전체 비용 | 입력·출력·도구·재시도·검토 시간 |
한국어 서비스에서 다음으로 확인할 것
한국어 문의, 짧은 메시지, 표 안의 숫자처럼 자사 서비스가 실제로 받는 입력으로 검증해야 합니다. 새 모델의 공식 평가가 우리 서비스의 성공률을 대신해 주지는 않습니다. 모델을 바꾸고도 사람이 다시 읽는 시간이 줄지 않는다면, 실패 원인을 모델·자료·업무 흐름으로 나눠 살펴볼 필요가 있습니다.
이 발표에서 읽을 사업적 질문은 명확합니다. 더 긴 작업을 맡길 수 있을 때 우리 제품은 어떤 반복 업무를 책임질 수 있을까요? 그리고 그 결과를 고객이 확인하고, 고치고, 다시 맡기기 쉽게 만들었을까요?
자주 묻는 질문
캐시 입력 단가 차이가 전체 업무 비용 절감률인가요?
아닙니다. 공식 발표의 캐시 입력 단가 차이는 전체 업무 비용과 구분해야 합니다. 출력, 도구 실행, 재시도와 사람의 검토 시간까지 별도로 기록해야 전체 비용을 판단할 수 있습니다.
댓글 남기기