법정에서도 AI가짜 판례 사건이? 할루시네이션(환각) 알아보기

신뢰가 생명인 법조계에서도 AI가 만든 가짜 판례가 실제 재판에 인용되면서 법정이 술렁이고 있다고 합니다.

챗GPT와 같은 생성형AI를 활용하시면서 AI가 틀린 정보를 줄 때도 있다는 건 다들 아시겠지만,  이번 시간에는 이 Hallucination(할루시네이션, 환각) 현상이 왜 반복되며, 어떻게 대응해야 하는지 정리해 보도록 하겠습니다.

---

해외 법정 뒤흔든 'AI 가짜 판례' 사건

영국 일간지 <가디언>에 따르면, 영국 변호사 초드허리 라흐만이 생성형 AI를 활용해 존재하지 않는 12개 판례를 항소 이유서에 인용한 사건이 있었습니다.

호주에서도 비슷한 사례가 이어졌고, 변호사들이 챗GPT·클로드·코파일럿 등 여러 AI를 교차 검증했음에도 모두 허위 판례로 드러났다고 하는데요, 판사들은 이를 "AI 기술 과신과 전문가 검증 부재의 결과"라며 강하게 비판했습니다. 

이는 단순한 실수가 아니라, AI 시대 법조인의 신뢰 위기를 보여주는 대표 사례라 할 수 있습니다.

왜 여러 AI를 검증했는데도 틀렸을까?

아마도 다들 "여러 AI에 물어봤으니 맞겠지"라고 생각했을 텐데요,

AI는 사실 검증기가 아니라 확률 기반 문장 생성기이므로

같은 질문에 여러 AI가 비슷한 답을 내놓는 건, 서로 검증했기 때문이 아니라 비슷한 방식으로 학습됐기 때문입니다.

---

한국도 예외 아니다… 경찰·법원까지 'AI 오류' 확산

 

출처: [디지털데일리] ""AI가 만든 가짜 판례입니다"... 법정 뒤집은 변호사들, 한국도 '위험지대 " (2025.10.20)

 

최근 보도된 디지털데일리에 따르면

국내에서도 2025년 국정감사 현장에서 경찰이 챗GPT로 작성된 가짜 법리를 공식 결정문에 사용한 사례가 드러났는데요,,

경찰청 자체 AI 시스템이 있음에도 범용 AI를 사용했다는 점에서 논란이 확산됐습니다.
또한 법원에서도 변호사가 제출한 의견서 내 존재하지 않는 5개 판결문이 발견되며, 생성형 AI의 환각 문제가 국내 사법현장까지 침투한 사실이 확인됐습니다.

---

AI는 왜 '가짜 판례'를 만들어내나?

AI가 그럴듯한 거짓말을 만드는 이유는 대형언어모델(LLM)의 작동 원리 때문입니다.

AI는 사실 검증을 하는 존재가 아니라, "확률적으로 가장 그럴듯한 문장"을 만들어내는 시스템입니다.
즉, "A를 뒷받침하는 판례를 찾아줘"라는 요청에 진짜 데이터가 없으면, 사용자를 만족시키기 위해 '그럴듯한 허구의 판례'를 창작하는 것입니다.

한국 법률 데이터의 특수성

특히 한국은 판례 데이터 접근성이 낮은 편인데요,

미국과 달리 대부분의 판결문은 유료로 열람해야 하고, AI 학습용으로 활용하기 어려운 구조입니다.

이로 인해 범용 AI는 한국 법률 데이터를 정확히 반영하지 못합니다.

AI Hallucination(챗GPT 생성)

---

RAG 기술로 'AI 환각' 줄여,,

최근 주목받는 해결책이 바로 RAG(Retrieval-Augmented Generation) 기술입니다.

이는 AI가 답을 만들기 전, 검증된 외부 데이터베이스(DB)를 검색하도록 하여 '없는 사실을 창조'하지 않게 돕는 구조를 뜻합니다.

RAG에 대해 좀더 자세히 알고 싶으신 분들께서는 아래 글 참고하시기 바랍니다.

[기본기#8] RAG란? 파인튜닝과 비교하며 이해하는 AI학습방식 

법률 전문 AI의 등장

법률 전문 AI 서비스인 앨리비(allibee), 슈퍼로이어, 엘박스(LBox) 등이 이 기술을 적용해 범용 AI보다 훨씬 높은 신뢰도를 보여주고 있습니다.

이들은 실제 판례 데이터베이스와 연결되어 있어서, "없는 판례는 없다"라고 명확히 답변할 수 있습니다.
앞으로는 전문 AI 도구들이 더 중요해질 거라고 보이는데요, 범용 AI는 편리하지만, 도메인 특화 AI만이 전문가의 신뢰를 얻을 수 있기 때문입니다.

---

할루시네이션(환각), 가장 중요한 건 '사용자의 책임감'

전문가들은 "AI 할루시네이션(환각)은 기술보다 사용자 리터러시의 문제"라고 입을 모으는데요,

AI가 만든 결과를 검증 없이 인용하는 순간, 그 피해는 결국 전문가 자신에게 돌아오게 되기 때문입니다.
AI 변호사 오정익 팀장은 
"AI 환각은 데이터만 늘린다고 해결되지 않습니다. 중요한 건 올바른 AI 활용 교육과 검증 과정이에요."

라는 말을 했다고 하네요,,

그럼 AI를 활용하는 우리가 할 수 있는 건 무엇이 있을까요? 

✅ 출처 확인 필수: AI가 제시한 정보는 반드시 원본 자료로 교차 검증
✅ 전문 AI 활용: 범용 AI보다 도메인 특화 AI 우선 사용
✅ 리터러시 교육: AI 작동 원리를 이해하고 한계를 인식
✅ 책임감 유지: 편리함에 끌려 검증 과정을 건너뛰지 않기

---

'AI가 만든 가짜 판례' 사건은 단순한 오류라기 보다는 AI 신뢰의 위기이자 전문가의 리터러시 시험대가 아닐까 합니다.

AI 기술은 빠르게 발전하지만, 판단과 책임은 인간의 몫임을 잊지 말아야겠네요.

AI가 강력한 도구임과 동시에 맹신하는 순간 독이 될 수 있다는 걸 잊지 말아야겠습니다.

추천글

🛡️[기본기#1] 생성형 AI란 무엇인가? 원리와 활용사례 총정리

🛡️할루시네이션 없는 Notebook LM,교육혁신의 바람이 불다