생성형 AI와 언어 모델

사전학습 단계에서 모델은 많은 토큰 열을 보고 가려진 부분이나 다음 부분을 예측하는 목표를 반복합니다. 예측 오차가 줄도록 수많은 매개변수가 조정되면서 문법, 표현, 함께 나타나는 개념과 일부 세계 지식의 패턴이 형성됩니다.

대규모 언어 모델의 사전학습은 많은 텍스트에서 다음 토큰 예측 같은 목표를 반복해 언어 패턴을 담는 매개변수를 조정하는 과정입니다. 근거 · NeurIPS출처 미리보기NeurIPS · Attention Is All You Need대규모 언어 모델의 사전학습은 많은 텍스트에서 다음 토큰 예측 같은 목표를 반복해 언어 패턴을 담는 매개변수를 조정하는 과정이다.Sections 3 and 5, sequence modeling and training setup

사용자가 질문할 때는 보통 가중치를 다시 학습하지 않고, 이미 조정된 모델에 현재 프롬프트를 넣어 출력을 생성합니다. 이를 추론 단계라고 합니다. 지시 학습, 선호 최적화, 도구 사용 학습 같은 후속 과정은 기본 모델의 응답 방식을 바꿀 수 있지만, 각 과정의 데이터와 목표 역시 사람이 고릅니다. “스스로 배운다”는 표현은 이 설계 연쇄를 가릴 수 있습니다.

Transformer는 토큰을 숫자 벡터로 바꾸고 여러 층에서 문맥 관계를 계산합니다. 자기어텐션에서는 각 위치가 “지금 어떤 정보가 필요한가”에 해당하는 질의, “내가 어떤 정보와 연결되는가”에 해당하는 키, 실제로 합칠 정보에 해당하는 값을 만듭니다. 질의와 키의 관련도를 계산한 뒤 여러 위치의 값을 비중에 따라 합칩니다. 질의·키·값은 사람이 묻고 답한다는 뜻이 아니라 계산 안에서 맡는 역할의 이름입니다.

Transformer의 자기어텐션은 각 위치가 같은 문맥의 다른 위치와 관련된 정도를 계산해 문맥 의존 표현을 만듭니다. 근거 · NeurIPS출처 미리보기NeurIPS · Attention Is All You NeedTransformer의 자기어텐션은 각 위치가 같은 문맥의 다른 위치와 관련된 정도를 계산해 문맥 의존 표현을 만든다.Section 3.2, scaled dot-product and multi-head attention

이 설명을 “모든 단어를 똑같이 자세히 읽는다”로 받아들이면 안 됩니다. 어텐션 가중치는 모델 내부 계산의 한 부분이며 곧바로 인간이 이해할 수 있는 이유가 아닙니다. 긴 문맥의 위치, 방해 정보, 학습 분포에 따라 중요한 근거를 놓칠 수 있습니다. 모델의 구조가 크거나 복잡하다는 사실도 사실 검증을 대신하지는 않습니다.

언어 모델이 단계적인 설명을 내놓으면 추론 과정처럼 보일 수 있습니다. 그러나 출력된 설명도 같은 생성 과정의 결과입니다. 정답과 일치할 때도 있고, 결론을 그럴듯하게 꾸미거나 실제 내부 계산과 어긋날 때도 있습니다. 검증 가능한 중간 계산은 외부 도구와 자료로 다시 확인해야 합니다.

제품 구조와 벤치마크는 개발사의 1차 자료에서 빠르게 확인할 수 있지만 이해관계가 있습니다. 따라서 “제조사 발표”라고 표시하고 독립 검증과 구별해야 합니다. 모델 이름이나 규모는 품질 보증서가 아니며, 생성 능력과 답변의 증거 품질은 따로 평가해야 합니다.