F1 엔지니어는 머신의 상태를 “빠르다”, “느리다” 같은 말로 판단하지 않는다. 속도, 타이어 온도, 연료량, 다운포스, 브레이크 압력을 전부 숫자로 바꿔 데이터로 본다. 드라이버의 감각조차 텔레메트리라는 숫자의 흐름으로 번역된다. 머신은 언어를 모른다. 오직 숫자만 처리한다.
AI도 똑같다. 지난 편에서 AI 밑바닥의 정체가 차원 높은 수학이라고 했다. 이번 편에서는 그 AI 수학 언어의 핵심인 벡터, 행렬, 텐서, 그리고 벡터의 내적을 다룬다. 이 네 가지만 잡으면 AI가 데이터를 어떻게 다루는지 그 골격이 보인다. 결론을 먼저 말하면, AI의 거의 모든 연산은 벡터의 내적이다.
AI 수학 언어란 무엇인가
AI 수학 언어란 AI가 세상의 데이터를 표현하고 계산하는 방식을 말한다. 여기서 먼저 관점 하나를 바꿔야 한다. 수학은 인간이 발명한 것이 아니라 발견한 것이다. 뉴턴, 가우스, 오일러 같은 사람들이 우주의 패턴을 관찰해 표기법으로 옮겼을 뿐이다. 그래서 수학은 우주가 존재하는 한 어디서나 같다.
이 관점이 중요한 이유가 있다. AI가 우리 언어를 이해하는 것처럼 보이지만, 사실은 그렇지 않다. AI는 단어를 숫자로 바꿔 처리하고 있을 뿐이다. 그리고 그 처리의 본질은 학습, 즉 가중치를 설정하는 과정이다. 이 두 문장이 AI 수학 언어 전체를 관통한다.
스칼라·벡터·행렬·텐서, 차원의 사다리
AI 수학 언어는 차원의 사다리로 정리하면 한눈에 들어온다.
| 이름 | 차원 | 의미 |
|---|---|---|
| 스칼라(Scalar) | 0차원 | 숫자 하나 |
| 벡터(Vector) | 1차원 | 데이터 하나의 좌표 표현 |
| 행렬(Matrix) | 2차원 | 벡터를 모아 병렬로 묶은 것 |
| 텐서(Tensor) | 3차원 이상 | 행렬을 더 높은 차원으로 확장한 것 |
스칼라는 그냥 숫자 하나다. 벡터는 데이터 하나를 좌표로 표현한 것이다. 벡터를 여러 개 모아 병렬로 계산할 수 있게 묶은 것이 행렬이다. 그리고 행렬을 3차원, 4차원 이상으로 쌓아 올린 것이 텐서다. 결국 텐서는 행렬의 확장이라고 이해하면 된다.
텐서의 차원이 어떻게 늘어나는지 이미지 처리로 보면 직관적이다. 화면 하나는 가로, 세로에 색상 채널(RGB) 3개가 더해져 3차원 텐서가 된다. 여러 장의 이미지를 묶으면 4차원, 거기에 시간축을 더하면 5차원, 즉 동영상이 된다. 카메라를 여러 대 더하면 6차원이다. 고차원으로 갈수록 큐브가 점점 더 잘게 쪼개진다고 생각하면 된다.
GPU는 왜 AI의 핵심이 되었나
여기서 GPU 이야기가 나온다. GPU는 한마디로 텐서 계산기다. 칩 안에서 벌어지는 계산 자체는 곱하고 더하는 단순한 작업이다. 핵심은 이 단순한 계산기를 수백만, 수천만 개 깔아놓고 고차원 텐서를 동시에 병렬로 처리한다는 데 있다.
그래서 GPU의 진짜 경쟁력은 계산기 자체가 아니다. 고차원 행렬을 얼마나 빠르게 병렬 처리하느냐, 발열을 어떻게 줄이느냐, 회로를 어떻게 효율화하느냐의 노하우다. 여기에 오랫동안 쌓아온 소프트웨어 생태계가 더해져 진입장벽을 만든다. 국내외 AI 칩 스타트업들이 NPU 같은 전용 칩으로 도전하는 것도, 결국 이 텐서 병렬 처리를 더 잘하려는 시도다.
게임을 떠올리면 쉽다. 그래픽 카드가 좋아야 화면이 끊기지 않는 이유는, 매 순간 텐서를 빠르게 처리해야 화면이 자연스럽게 움직이기 때문이다. AI 시대 이전부터 GPU가 그래픽 강자였던 이유와, 지금 AI의 핵심이 된 이유는 같은 뿌리에서 나온다.
벡터의 내적, AI 연산의 전부
이제 이 시리즈에서 가장 중요한 개념이 나온다. 벡터의 내적이다. 두 벡터의 내적은 두 벡터가 얼마나 같은 방향을 보고 있는지를 나타낸다. 이것을 유사도라고 부른다.
수학적으로 내적은 한 벡터를 다른 벡터에 투영(projection)한 것이다. F1 머신에 비유하면 이렇다. 머신이 코너에서 받는 힘이 한 방향으로 작용하는데, 그 힘이 머신의 진행 방향과 정확히 일치하면 가속에 100퍼센트 기여한다. 비스듬하면 일부만 기여하고, 수직이면 전혀 기여하지 못하며, 반대 방향이면 오히려 머신을 멈춰 세운다.
내적의 결과도 정확히 이렇게 움직인다. 두 벡터가 같은 방향이면 값이 최대, 수직이면 0(무관), 반대면 음수다. 여기에 가중치(weight)를 곱하면 의미가 더 분명해진다.
| 가중치 | 효과 |
|---|---|
| 0 | 그 성분 제거 |
| 1 | 그대로 반영 |
| 3 | 3배 증폭 |
| 0.1 | 1/10로 축소 |
| 음수 | 방향 반전 |
이것이 핵심이다. AI의 거의 모든 연산은 벡터(텐서)의 내적이다. 단지 차원이 1만×1만처럼 압도적으로 높을 뿐이다. 이 한 문장을 기억하면 뒤편의 어텐션, QKV가 훨씬 쉽게 풀린다.
필터, 내적이 만드는 마법
벡터의 내적이 실제로 무슨 일을 하는지 필터로 설명하면 직관적이다. 이미지의 색상 채널에 5×5 같은 작은 행렬을 곱하면서 화면 위를 훑어보자. 이 작은 행렬이 바로 필터다.
필터로 무엇을 할 수 있을까. 사람과 배경 사이의 윤곽선(엣지)을 검출하거나, 특정 영역을 강조하거나 제거하거나, 화면을 흐리게 또는 선명하게 만들 수 있다. 즉 정보를 변환하고, 특징을 추출하고, 차원을 확대하거나 축소하는 것이다. 결국 기존 데이터에 또 다른 벡터(필터)를 곱해 새로운 의미를 끄집어내는 작업이다. 이것이 CNN(합성곱 신경망)의 기본 원리이기도 하다.
여기서 한 가지 더. 벡터에는 내적 말고 외적(cross product)도 있다. 내적의 결과가 숫자(스칼라)인 반면, 외적의 결과는 방향성을 가진 벡터다. 회전, 토크, 3D 그래픽 계산에 쓰이지만 3차원, 4차원에 한정되며, 거대 언어 모델에서는 사실상 쓰이지 않는다. AI 연산의 거의 전부는 외적이 아니라 내적이라는 점만 기억하면 된다.
핵심 요약
이번 편의 핵심은 명확하다. 첫째, AI는 언어를 이해하는 게 아니라 데이터를 숫자로 바꿔 처리하며, 학습이란 가중치를 설정하는 과정이다. 둘째, AI 수학 언어는 스칼라, 벡터, 행렬, 텐서의 차원 사다리로 정리되고, GPU는 이 텐서를 병렬 처리하는 계산기다. 셋째, AI 연산의 거의 전부는 벡터의 내적이며, 이는 두 벡터의 유사도를 구하고 정보를 변환하는 작업이다.
다음 편에서는 이 AI 수학 언어가 신경망 안에서 어떻게 학습되는지, 임베딩과 경사 하강법을 다룬다. AI가 단어 하나를 숫자로 기억하는 방식이 펼쳐진다.
함께 읽으면 좋은 글
벡터와 차원 개념을 코드로 직접 다뤄보고 싶다면 이 글이 좋은 연결점이다.
AI 연산이 결국 행렬 재조합이라는 발상이 흥미롭다면 함께 읽어볼 만하다.
벡터와 행렬의 수학적 정의를 더 알아보고 싶다면 위키백과 선형대수학 문서에서 살펴볼 수 있다.
