퍼셉트론이 왜 XOR을 못 풀고, 왜 층을 쌓으면 풀리고, 왜 계단 함수 대신 다른 활성화 함수를 쓰는지, 설명이 아니라 그림이 직접 보여주게 만들었다.
게이트 얘기를 잠깐 치우고, 검은 점과 흰 점을 자 하나로 갈라본다. 어떤 배치는 되고, 어떤 배치는 자를 아무리 돌려도 안 된다.
퍼셉트론이 가진 도구는 딱 하나, "직선 하나 긋기"뿐이다. 오른쪽 같은 배치는 그 도구 하나로는 원천적으로 못 푼다. 스팸 메일 거르기, 사진 속 물체 찾기 같은 진짜 문제들이 대개 오른쪽 같은 모양이라서 이게 문제가 된다.
가중치 w1, w2와 임계값 θ 세 숫자가 바로 저 직선의 각도와 위치다. 숫자만 바꿔서 AND/OR/NAND를 만들어보고, XOR을 고르면 왜 안 되는지 방금 본 오른쪽 배치와 똑같은 모양으로 확인한다.
AND는 (1,1) 구석만 잘라내는 직선 하나로 된다.
직선 하나로 안 되면, 직선 두 개를 따로 긋고 그 결과를 겹친다. NAND가 그은 영역과 OR가 그은 영역을 "둘 다 만족하는 곳"만 남기면(AND로 합치면), 그 결과가 정확히 XOR이 1이어야 하는 두 점만 남긴다.
직선 하나로는 못 그리던 "대각선 두 점만 남기기"가, 두 직선의 겹친 부분으로는 그려진다. 뉴런을 층으로 쌓는다는 게 이 "직선 여러 개를 겹쳐서 복잡한 모양을 만드는 것"이다. 층이 많아질수록 겹칠 수 있는 직선이 많아지고, 그만큼 복잡한 모양을 표현할 수 있다.
학습은 "가중치를 살짝 바꾸면 결과가 나아지나"를 계속 확인하며 조금씩 고치는 과정이다. 그러려면 살짝 바꿨을 때 결과가 얼마나 바뀌는지 느껴져야 한다. 곡선 위 다섯 지점에서 그 자리의 기울기(느껴지는 신호)를 표시했다.
좌표와 점 위치는 이해를 돕기 위한 예시다. 전체 흐름은 "가중치에서 LLM까지, 신경망이 텍스트를 배우는 흐름" 글의 1~5절을 참고.