AI가 틀리는 이유와 검증법

AI에게 없는 책의 줄거리를 물으면 실제 책처럼 보이는 제목, 작가, 사건을 만들어 낼 수 있습니다. 문장 모양이 자연스럽고 세부 내용도 많아 더 믿기 쉽습니다. 하지만 세부 내용의 양은 근거의 양이 아닙니다.

생성형 AI는 실제 근거가 없거나 서로 맞지 않는 내용을 자연스럽고 자신 있는 문장으로 만들 수 있습니다. 1National Institute of Standards and TechnologyArtificial Intelligence Risk Management Framework: Generative Artificial Intelligence ProfileSection 2.3, Confabulation

이런 위험을 NIST 자료는 confabulation이라고 부릅니다. 흔히 “환각”이라고도 하지만, 사람의 감각 경험과 같다는 뜻은 아닙니다. 모델이 생성한 내용과 확인 가능한 근거가 맞지 않는 상태에 초점을 둡니다. 답변이 “확실합니다”라고 말하거나 출처처럼 보이는 제목을 붙여도 실제 링크와 원문을 열어야 합니다.

AI는 자료에 자주 나타난 연결을 더 쉽게 배울 수 있습니다. 특정 직업 사진에 한 성별만 많이 있었다면 “간호사”나 “공학자”를 묘사할 때 그 치우침을 되풀이할 수 있습니다. 드물게 기록된 언어와 문화는 설명이 얕거나 잘못될 수 있습니다.

자료와 설계에 치우침이 있으면 생성 결과도 사람이나 집단을 불공정하게 나타낼 수 있습니다. 2National Institute of Standards and TechnologyArtificial Intelligence Risk Management Framework: Generative Artificial Intelligence ProfileSection 2.5, Harmful Bias and Homogenization

질문도 결과를 한쪽으로 몰 수 있습니다. “왜 A팀 학생들은 게으른가?”처럼 이미 나쁜 결론을 넣은 질문은 편향된 전제를 가집니다. “A팀과 B팀의 참여 차이가 실제로 있는가? 있다면 자료 수집 방식과 다른 원인은 무엇인가?”처럼 전제를 확인하는 질문으로 바꿉니다. 어떤 집단을 한 특징으로 단정하는 답은 멈추고 근거와 반례를 찾습니다.

첫째, 원출처를 엽니다. 검색 결과의 요약문이나 AI 답변이 아니라 실제 보고서, 공식 통계, 연구 논문에서 해당 문장을 찾습니다. 둘째, 날짜와 범위를 봅니다. 옛 규칙인지, 어느 나라와 집단에 해당하는지 확인합니다. 셋째, 이해관계가 다른 독립 출처와 비교합니다.

중요한 주장은 실제 원출처, 적용 날짜, 서로 독립적인 다른 출처를 차례로 확인해야 합니다. 3OECD · European UnionEmpowering Learners for the Age of AI: An AI Literacy Framework for Primary and Secondary Educationmanaging AI dimension, evaluating outputs and evidence

모든 문장에 같은 힘을 쓸 필요는 없습니다. 이야기 아이디어는 가볍게 확인할 수 있지만 건강, 안전, 돈, 법, 학교 평가에 영향을 주는 주장은 더 강하게 검증합니다. 이 교재의 출처 번호도 시작점입니다. 번호를 눌러 정확한 위치가 정말 앞 문장을 지지하는지 직접 봅니다.