Human-in-the-Loop AI: 사람과 AI가 협업하는 자동화 전략
완전 자동화가 오히려 프로젝트를 죽이는 순간
2022년, 국내 대형 금융지주 A사의 여신심사 자동화 프로젝트를 총괄할 때 뼈아픈 경험을 했습니다. AI 모델의 정확도는 96%를 넘겼고, 팀 모두가 자신 있었습니다. 그런데 파일럿 3주 만에 현업 부서에서 "이거 못 쓰겠다"는 피드백이 왔습니다.
이유는 단순했습니다. 4%의 오류가 발생했을 때 누가 책임지느냐의 문제였습니다. 여신심사관 입장에서는 AI가 잘못 판단한 건에 대해 자기 이름으로 결재가 나가는 구조를 받아들일 수 없었던 겁니다.
그때 깨달았습니다. 엔터프라이즈 AI 자동화의 핵심은 정확도가 아니라 책임 구조의 설계라는 것을.
제가 현장에서 본 HITL의 세 가지 유형
300건이 넘는 프로젝트를 하면서 HITL 방식은 크게 세 가지 패턴으로 나뉜다는 걸 발견했습니다.
유형 1: 승인형 — AI가 결과를 생성하고, 사람이 최종 승인. 금융 심사, 계약 검토 등 고위험 영역에 적합합니다. A사 여신심사 프로젝트도 이 방식으로 전환한 뒤 6개월 만에 전사 확대되었습니다.
유형 2: 예외 처리형 — AI 신뢰도가 임계값(보통 85~90%) 이하인 건만 사람에게 전달. 글로벌 제조사 B사의 품질검사에서 이 방식을 적용했는데, 전체 건수의 12%만 사람이 확인하면서도 오류율을 0.3% 이하로 유지했습니다.
유형 3: 학습형 — 사람의 수정 이력을 AI에 피드백하여 지속적으로 정확도를 개선. 도입 초기 월 500건의 수정이, 6개월 후 월 80건으로 줄어든 사례가 있습니다 (국내 대형 유통사 C사, 내부 데이터 기준 2025 Q2).
완전 자동화 vs HITL: 실측 비교
아래는 동일 업무(보험 청구서 검토)를 두 방식으로 6개월간 운영한 비교 데이터입니다 (A사 내부 데이터 기준).
| 구분 | 완전 자동화 | HITL (승인형) |
|---|---|---|
| 처리 속도 | 건당 12초 | 건당 3.5분 |
| 오류율 | 3.8% | 0.2% |
| 현업 수용도 | 32% (3개월 후 중단) | 94% (전사 확대) |
| 연간 비용 효과 | 측정 불가 (중단) | 2.1억원 절감 |
속도만 보면 완전 자동화가 압도적이지만, "실제로 현업에서 쓰이느냐"를 기준으로 보면 HITL이 유일한 선택지였습니다.
AI Canvas에서 HITL을 설정하는 방법
AI Canvas는 워크플로우 에디터에서 HITL 노드를 드래그 앤 드롭으로 삽입할 수 있습니다.
- 신뢰도 임계값 설정 — Agent가 처리한 결과의 신뢰 점수가 설정값 이하면 자동으로 사람에게 라우팅
- 승인 대시보드 — 담당자가 대기 중인 건을 확인하고 승인/수정/반려 처리
- 피드백 루프 — 수정 내역이 자동으로 Agent 학습에 반영되어, 시간이 지날수록 사람 개입 비율이 감소
"적절한 자동화"가 진짜 자동화입니다
저는 "100% 자동화"를 목표로 세우는 프로젝트를 더 이상 추천하지 않습니다. 95%를 AI가 하고 5%를 사람이 하는 것이, 100%를 AI에 맡기고 3개월 후에 프로젝트가 좌초되는 것보다 훨씬 현명합니다.
AI Canvas의 HITL 기능을 직접 체험해 보시려면, 데모를 신청해 주세요. 귀사의 업무 특성에 맞는 HITL 전략을 함께 설계해 드립니다.
When full automation actually kills the project
In 2022, I was leading a loan review automation project at a major Korean financial holding company (Company A), and learned a painful lesson. The AI model's accuracy exceeded 96%, and the whole team was confident. But three weeks into the pilot, the business unit came back with: "We can't use this."
The reason was simple: when that 4% of errors occurred, who takes responsibility? The loan officers couldn't accept a system where AI mistakes went out under their signatures.
That's when I realized: the key to enterprise AI automation isn't accuracy — it's designing the accountability structure.
Three HITL patterns I've seen in the field
Across 300+ projects, I've found HITL approaches fall into three patterns:
Pattern 1: Approval-based — AI generates results; humans give final approval. Best for high-risk areas like financial reviews and contract analysis. Company A's loan review project switched to this model and expanded company-wide within six months.
Pattern 2: Exception-based — Only cases where AI confidence falls below a threshold (typically 85–90%) are routed to humans. At a global manufacturer (Company B), this approach meant humans reviewed just 12% of cases while maintaining an error rate below 0.3%.
Pattern 3: Learning-based — Human corrections feed back into AI training for continuous accuracy improvement. One major Korean retailer (Company C) saw monthly corrections drop from 500 to 80 over six months (internal data, 2025 Q2).
Full automation vs. HITL: measured comparison
Below is comparison data from running the same task (insurance claim review) under both approaches for six months (Company A internal data).
| Metric | Full Automation | HITL (Approval) |
|---|---|---|
| Processing speed | 12 sec/case | 3.5 min/case |
| Error rate | 3.8% | 0.2% |
| Business unit adoption | 32% (discontinued at 3 months) | 94% (expanded company-wide) |
| Annual cost impact | Unmeasurable (discontinued) | ₩210M saved (~$155K) |
Speed-wise, full automation wins overwhelmingly. But measured by "does the business actually use it?", HITL was the only viable option.
How to configure HITL in AI Canvas
AI Canvas lets you insert HITL nodes into any workflow via drag and drop:
- Confidence threshold — Results below the set confidence score are automatically routed to a human reviewer
- Approval dashboard — Reviewers see pending items and approve, edit, or reject
- Feedback loop — Corrections automatically feed back into Agent training, reducing human intervention over time
"Appropriate automation" is the real automation
I no longer recommend projects that aim for "100% automation." Having AI handle 95% and humans handle 5% is far wiser than automating 100% and watching the project collapse in three months.
To experience AI Canvas's HITL capabilities firsthand, request a demo. We'll design a HITL strategy tailored to your specific business needs.
AI Canvas
업무 영상 하나면, AI가 자동화합니다
470+ 기업이 선택한 GS 인증 1등급 엔터프라이즈 AI 플랫폼. 무료 데모를 통해 귀사에 맞는 자동화 시나리오를 확인하세요.
무료 데모 신청하기