토큰화(Tokenization)

[k9425mino]

📆 일자: 26년 8월 5일(수)

이번 키워드 스터디 주제는 '토큰화(Tokenizaiton)'와 관련된 것들입니다.

🤔 Questions

1. 토큰(Token)이란 무엇이며, LLM은 왜 텍스트를 단어 단위가 아니라 토큰 단위로 쪼개서 처리하나요?

2. 토큰의 크기를 정하는 기준은 무엇인가요? 그리고 대표적인 토큰화 방식들을 소개해주세요.

3. 토큰 수가 많아지면 실제로 어떤 문제가 발생하며, 특히 한국어는 왜 이 문제에서 더 불리한가요?

[vvineey]

토큰은 무엇이며 LLM은 왜 텍스트를 토큰 단위로 처리하는가?

토큰(Token)이란 무엇이며, LLM은 왜 텍스트를 단어 단위가 아니라 토큰 단위로 쪼개서 처리하나요?

토큰이란?

토큰은 LLM이 텍스트를 읽고 계산할 때 사용하는 기본 처리 단위이다.
사람에게 입력은 문자열로 보이지만, 신경망은 문자열을 직접 계산할 수 없다. 따라서 토크나이저가 텍스트를 여러 토큰으로 나누고, 각 토큰을 어휘 사전에 등록한 정수 ID로 변환한다.

원문 텍스트
-> 정규화와 사전 분리 
-> 토큰화
-> 토큰 ID 변환
-> 임베딩 벡터 변환
-> Transfomer 처리
-> 다음 토큰의 확률 예측

왜 단어 단위가 아니라 토큰 단위로 처리하는가?

제한된 크기의 어휘 사전으로 모든 언어와 새로운 표현을 처리하면서, 입력 스퀸스 길이도 적절하게 유지하기 위해서이다.

밥 먹고 다시 수정할 거임

[k9425mino]

졸업하신 이 누님은 식사를 언제까지 하시나~

[9ga0]

1. 토큰(Token)이란 무엇이며, LLM은 왜 텍스트를 단어 단위가 아니라 토큰 단위로 쪼개서 처리하나요?

토큰(token)은 LLM이 텍스트를 읽고 생성할 때 사용하는 기본 처리 단위입니다. 반드시 단어나 글자 하나로 분리되는 것은 아니며, 공백이나 문장부호도 포함됩니다. 실제 분리 결과는 토크나이저(tokenizer)에 따라 달라집니다.

이처럼 LLM이 단어가 아닌 토큰을 사용했을 때의 장점(이유)을 다음 5가지로 설명할 수 있습니다.

• 어휘 수를 제한할 수 있습니다. 모든 단어, 활용형, 고유명사를 사전에 넣는 것은 불가능합니다.
• 처음 보는 단어도 표현 가능합니다.
• 의미 있는 문자열을 재사용 가능합니다.
• 글자 단위보다 시퀀스가 짧습니다(계산 효율이 좋습니다).
• 공백으로 단어 구분하지 않는 중국어처럼, 단어의 경계가 불명확한 언어도 다룰 수 있습니다.

즉 토큰화는 단어 단위의 거대한 사전과 글자 단위의 긴 입력 사이에서 균형을 잡는 방법입니다.

2. 토큰의 크기를 정하는 기준은 무엇인가요? 그리고 대표적인 토큰화 방식들을 소개해주세요.

토큰 크기에 영향을 주는 주요 요소는 다음과 같습니다.

• 학습 데이터에서 문자열이 등장하는 빈도
• 토크나이저의 전체 어휘 크기
• 학습 데이터의 언어별 비율
• 공백과 대소문자를 처리하는 방식
• Unicode 문자를 정규화하는 방식
• 문자 기반인지 바이트 기반인지 여부
• 압축 효율과 모델 성능 사이의 균형

대표적인 토큰화 방식)

방식	원리	특징
단어 토큰화	공백이나 형태소를 기준으로 단어 분리	이해하기 쉽지만 미등록 단어와 활용형에 취약
문자 토큰화	글자 하나를 토큰 하나로 사용	모든 단어를 표현할 수 있지만 시퀀스가 매우 길어짐
형태소 토큰화	어근과 조사·어미 등을 분석해 분리	한국어에 자연스럽지만 언어별 분석기가 필요
BPE	자주 함께 등장하는 작은 단위를 반복적으로 병합	GPT 계열 등에서 널리 사용되는 서브워드 방식
WordPiece	모델링 관점에서 유용한 문자열을 선택해 병합	BERT 계열에서 대표적으로 사용
Unigram	여러 분할 후보에 확률을 부여하고 적합한 조합 선택	SentencePiece에서 자주 사용
바이트 기반 토큰화	텍스트를 UTF-8 바이트 수준까지 분해 가능	미등록 문자가 사실상 없지만 일부 언어의 토큰 수가 늘 수 있음

3. 토큰 수가 많아지면 실제로 어떤 문제가 발생하며, 특히 한국어는 왜 이 문제에서 더 불리한가요?

토큰 사용량 많아지면 발생하는 문제)

• 컨텍스트 한도를 더 빨리 소모한다. (작업 끊길 가능성도)
• 입력이나 이전 대화가 잘릴 수 있다.
• 사용 비용 증가 (api가 입출력 토큰 수를 기준으로 과금하기 때문)
• 처리 시간 증가 (읽는 시간과 답변을 생성하는 시간이 증가)
• 메모리와 연산량이 증가합니다.
• 같은 컨텍스트 안에 담을 수 있는 정보량이 줄어든다.

토큰이 많으면 무조건 답변 품질이 낮아진다기 보다는 모델이 처리해야 할 시퀀스가 길어지고, 제한된 컨텍스트 안에서 정보 밀도가 낮아진다고 볼 수 있습니다.

만약 영어 중심으로 만들어진 토크나이저를 사용하는 경우 한국어 가 같은 의미를 전달하는 데 더 많은 토큰을 쓰기에 불리하다고 볼 수 있다.

1. 교착어적 특정
2. 영어 중심의 어휘 구성
   토크나이저의 어휘 크기는 제한되어 있고, 학습 데이터에 영어가 많으면 자주 등장하는 영어 문자열이 그 어휘의 큰 비중을 차지하게 되어, 한국어가 나타났을 때 더 잘게 분리되게된다.
3. UTF-8 바이트 수 차이
   ASCII 영어 문자는 보통 UTF-8에서 1바이트이지만, 한글 음절은 보통 3바이트를 차지하기 때문에 바이트 기반 토크나이저가 한 글자를 여러 바이트 조각으로 나누는 문제가 발생할 수 있습니다.
4. 띄어쓰기와 표기 변형
   한국어는 띄어쓰기 변형이 비교적 자주 발생하며, 같은 표현도 조사/어미/존댓말에 따라 형태가 다양합니다. 이러한 변형은 자주 반복되는 긴 토큰을 만들기 어렵게 합니다.

BERT?
BM25(Best Matching 25)?

오소 제출하고 올게요

[eunji719]

토큰(Token)이란 무엇이며, LLM은 왜 텍스트를 단어 단위가 아니라 토큰 단위로 쪼개서 처리하나요?
토큰은 llm이 텍스트를 처리할 때 사용하는 최소 의미 조각이다. 이 세상에는 사전에 없는 단어나 희귀한 단어, 한국어처럼 형태소가 풍부한 언어 등 다양한 단어가 있기 때문에 단어 단위로 함부로 쪼개면 모든 단어를 처리하기 어려워진다. 그래서 나온 게 서브워트 토큰화로 자주 나오는 단어는 통째로 하나의 토큰으로, 드문 단어는 더 작은 조각으로 쪼개서 어휘 크기와 표현력 사이의 균형을 맞춘다.

토큰의 크기를 정하는 기준은 무엇인가요? 그리고 대표적인 토큰화 방식들을 소개해주세요.
토큰화는 결국 어휘를 몇개로 만들 것인가를 정하는 문제인데, 어휘를 크게 만들면 문장 하나를 훨씬 적은 토큰수로 표현 가능하지만 어휘 하나당 벡터 하나씩이 필요하기 때문에 임베딩 테이블이 거대해지고, 희귀 토큰은 등장횟수가 적어서 모델이 제대로 학습을 못한다. 어휘를 작게 만들면, 임베딩 테이블이 작고, 모든 토큰이 자주 등장해서 학습이 잘 되지만, 한 문장이 아주 많은 토큰으로 쪼개지고 토큰 하나하나의 의미가 희박해져 문맥 이해가 어렵다. 그래서 실제로는 이러한 요소를 잘 조절해서 적당한 지점을 찾는다고 한다.
대표적인 토큰화 방식은 크게 4가지가 있다.

1. BPE
   GPT같은데서 가장 널리 쓰이는 방식으로, 문자 단위에서 시작해 가장 자주 붙어 나오는 문자쌍을 반복적으로 병합해 나가며 어휘를 구축한다. 빈도가 높은 패턴은 큰 토큰으로, 드문 패턴은 작은 조각으로 남는다.
2. WordPiece
   BPE와 유사하지만, 병합 기준이 빈도가 아니라 병합했을 때 언어모델의 가능도가 얼마나 증가하는가이다.
3. Unigram Language Model
   큰 어휘에서 시작해 확률적으로 덜 중요한 토큰을 제거해 나가는 방식으로 유연한 확률 기반 분할이 가능해 다국어 처리에 강점이 있다.
4. Byte-level BPE
   문자가 아니라 UTF-8 바이트 단위에서 시작하는 BPE로 사전에 없는 문자가 원천적으로 없다는 장점이 있어 다국어 모델들이 많이 채택한다.

---

토큰 수가 많아지면 실제로 어떤 문제가 발생하며, 특히 한국어는 왜 이 문제에서 더 불리한가요?
토큰수가 많아지면 컨텍스트 윈도우 소모가 빨라지고 비용이 증가하고 속도가 저하되며 품질 저하 가능성이 있다. 대부분의 토크나이저는 영어 중심의 대규모 말뭉치로 학습되기 때문에 한국어가 특히 불리하다.

---

[JM-220]

1. 토큰(Token)이란 무엇이며, LLM은 왜 텍스트를 단어 단위가 아니라 토큰 단위로 쪼개서 처리하나요?

토큰은 llm 이 텍스트를 다룰 때 쓰는 최소 단위이다. 사람 기준으로는 단어가 최소 단위일 것 같은데, 실제로는 단어보다 작을 수도 있고 (unhappiness → un + happi + ness) 자주 쓰이는 단어면 통째로 하나일 수도 있다.

모델은 결국 텍스트를 숫자로 바꿔서 처리해야 하는데, 그러려면 "어떤 문자열 조각에 어떤 id 를 줄 것인가" 를 미리 정해둔 사전이 있어야 한다. 이 사전을 vocabulary 라고 하고, 토큰은 그 사전의 항목이다.

그럼 왜 단어 단위로 안 쪼개는가. 단어 단위로 하면 문제가 두 가지 생긴다.

1. 사전이 너무 커진다. 영어만 해도 활용형까지 다 넣으면 수십만 개가 되는데, 여기에 한국어, 일본어까지 붙이면 감당이 안 된다. 모델의 마지막 출력층이 vocab 크기만큼의 확률분포를 뱉어야 해서, 사전 크기가 그대로 연산량이 된다.
2. OOV(Out Of Vocabulary) 문제. 사전에 없는 단어(신조어, 오타, 고유명사)가 들어오면 처리를 못한다. <UNK> 같은 걸로 뭉개면 정보가 그냥 날아간다.

반대로 글자 단위로 쪼개면 사전은 작아지는데, 시퀀스가 너무 길어지고 토큰 하나가 담는 의미가 거의 없어서 학습이 잘 안 된다고 함.

그래서 그 중간인 subword 단위를 쓴다. 자주 나오는 건 한 토큰으로, 드문 건 조각으로 쪼개는 방식이다. 사전 크기도 적당하고 OOV 도 안 생긴다. 최악의 경우 글자 단위까지 내려가면 되니까.

2. 토큰의 크기를 정하는 기준은 무엇인가요? 그리고 대표적인 토큰화 방식들을 소개해주세요.

토큰 하나의 크기를 직접 정하는 게 아니라, vocab size 를 먼저 정해두고 거기에 맞춰 알고리즘이 알아서 자른다는 게 핵심인 것 같다. 보통 3만 ~ 15만 정도를 쓴다고 함.

vocab 을 키우면 → 문장당 토큰 수가 줄어서 컨텍스트를 아끼고 추론이 빨라지는데, 출력층이 커지고 희귀 토큰은 학습이 덜 된다.
vocab 을 줄이면 → 반대로 모델은 가벼워지는데 시퀀스가 길어진다.

이 트레이드오프 사이에서 적당한 지점을 잡는 것이고, 실제 자르는 기준은 학습 코퍼스에서의 등장 빈도이다. 자주 붙어 다니는 조각일수록 하나로 합쳐진다.

대표적인 방식들:

• BPE (Byte Pair Encoding) : 처음엔 전부 글자 단위로 쪼개놓고, 가장 자주 인접해서 등장하는 쌍을 하나로 합치는 걸 vocab size 에 도달할 때까지 반복한다. GPT 계열이 쓴다. byte 단위로 하는 BBPE 를 쓰면 어떤 유니코드 문자가 와도 표현이 되므로 OOV 가 원천적으로 없어진다.
• WordPiece : BPE 랑 거의 비슷한데 합칠 쌍을 고를 때 단순 빈도가 아니라 우도(likelihood) 가 가장 많이 오르는 쌍을 고른다. BERT 가 쓴다.
• SentencePiece (Unigram) : 위 둘은 공백 기준으로 단어를 먼저 나눠놓고 시작하는데, 한국어나 일본어처럼 띄어쓰기가 애매한 언어에서는 그게 전제가 안 된다. SentencePiece 는 공백까지 그냥 하나의 문자(▁)로 취급해서 raw text 그대로 학습한다. 그래서 다국어 모델에서 많이 쓰인다고 함.

3. 토큰 수가 많아지면 실제로 어떤 문제가 발생하며, 특히 한국어는 왜 이 문제에서 더 불리한가요?

토큰이 많아지면 생기는 문제

• 비용. api 과금이 토큰 단위라서 그냥 돈이다.
• 컨텍스트 윈도우 압박. 모델이 한 번에 볼 수 있는 토큰 수는 정해져 있어서, 같은 문서라도 토큰을 많이 먹으면 넣을 수 있는 양이 줄어든다. rag 할 때 청크를 몇 개 넣을 수 있냐가 여기서 결정된다.
• 속도. 트랜스포머의 attention 은 시퀀스 길이에 대해 O(n²) 라서, 토큰이 2배가 되면 연산은 4배가 된다.
• 품질. 컨텍스트가 길어지면 중간에 있는 정보를 잘 못 쓰는 현상(lost in the middle)이 있다. RAG란 무엇인가? #20 rag 발제 때도 나왔던 얘기다.

한국어가 불리한 이유

• 학습 코퍼스가 영어 위주다. 토크나이저는 빈도 기반으로 merge 를 하는데, 코퍼스에 영어가 압도적으로 많으니 영어 조각들이 먼저 자리를 차지한다. 한국어는 merge 가 덜 된 상태로 남아서 잘게 쪼개진다.
• UTF-8 에서 한글 한 글자가 3바이트다. byte 기반 BPE 를 쓰면 merge 가 안 된 한글은 글자 하나가 토큰 3개가 되어버린다. 영어는 1바이트라 이런 손해가 없다.
• 교착어라서 형태가 많이 갈라진다. "학교" 하나만 해도 학교가/학교를/학교에서/학교로... 로 계속 붙는데, 각각을 다 vocab 에 넣을 수는 없으니 조각으로 쪼개진다. 영어는 어형 변화가 상대적으로 단순하다.

그래서 같은 의미의 문장이라도 한국어가 영어보다 토큰을 2~3배 먹는다. 같은 내용을 물어봐도 한국어로 쓰면 돈을 더 내는 셈. 한국어 특화 모델들이 자체 토크나이저를 따로 학습시키는 이유가 이거인 듯하다.

---

토큰화가 모델 성능 자체에 얼마나 영향을 주는지(숫자 계산 못하는 게 토크나이저 탓이라는 얘기 등)는 더 찾아봐야 할 것 같다.

[dnnals]

기본 질문

1. 토큰(Token)이란 무엇이며, LLM은 왜 텍스트를 단어 단위가 아니라 토큰 단위로 쪼개서 처리하나요?

토큰이란 LLM에서 자연어의 corpus에서 인코딩 후 얻은 바이트 시퀀스에서 반복되는 뭉치를 묶어 토큰 시퀀스로 만들었을 때의 하나의 뭉치를 토큰이라고 합니다. LLM이 텍스트를 토큰 단위로 쪼개서 처리하는 이유는 자연어를 컴퓨터가 이해할 수 있는 언어로 만들어 단어장을 만드는데 만약 단어 단위라고 한다면 단어장의 크기가 비효율적으로 비대해지기 때문에 자주 사용되고 반복되는 뭉치를 하나로 묶어 압축합니다. 또한 LLM은 처리할 수 있는 길이가 즉, 콘텍스트 윈도우가 한정적인데 단어 단위라면 처리 효율이 떨어지기 때문입니다.

2. 토큰의 크기를 정하는 기준은 무엇인가요? 그리고 대표적인 토큰화 방식들을 소개해주세요.

토큰의 크기를 정하는 기준은 메모리 및 연산의 효율성, 압축률, 다국어 커버리지, 회귀 단어 및 OOV(Out of Vocabulary) 방지가 있습니다. 사전의 크기가 커지면 모델의 입출력 과정에서 파라미터가 비례해서 증가하는 문제가 있고, 반대로 작다면 하나의 문장이 너무 많은 토큰으로 쪼개져 문맥 길이 연산의 부담이 생깁니다. 그래서 연산의 효율성을 고려하고 또 최대한 자주 사용하는 조합으로 쪼개야 처리 속도가 올라가기에 압축률을 고려하기도 합니다. 대표적인 토큰화 방식은 가장 자주 등장하는 연속된 문자 쌍을 반복적으로 병합하는 BPE, 단순 반복 조합 병합이 아닌 병합했을 때, 전체 훈련 데이터의 우도를 가장 높이는 조합을 선택하는 WordPiece, 거대한 토큰 후보 집합에서 시작해서 손실을 가장 적게 일으키는 토큰부터 차례로 제거해 나가는 방식의 Unigram Language Model이 있습니다.

3. 토큰 수가 많아지면 실제로 어떤 문제가 발생하며, 특히 한국어는 왜 이 문제에서 더 불리한가요?

토큰 수가 많아지면 API 사용 비용 상승, 응답 속도 지연, 컨텍스트 윈도우 한계 도달, 모델의 주의력 및 추론 정확도 하락의 문제가 발생합니다. 한국어는 이 문제에 더 불리한 이유는 한국어의 언어적 특성, 학습 데이터 비율 불균형, 바이트 표현의 비효율성을 들 수 있습니다. 대부분의 LLM 토큰 사전은 전체 학습 데이터가 8~90%가 영어입니다. 그에 반해 한국어는 학습 데이터가 부족해서 글자나 자음 모음 단위로 얇게 쪼개져 토큰을 이루고 있습니다. 또한 한국어는 어근 뒤 수많은 조사, 어미, 접두사/접미사가 묻어 형태가 다양하게 변하기 때문에 이런 변화를 모두 사전에 담을 수 없기에 결국 음절과 어절의 중간 단위로 쪼개서 토큰 효율이 불리합니다. 또한 영어는 하나의 알파벳당 1바이트를 가지지만 한국어는 한 음절에 3바이트를 가져서 같은 단어, 문장이라도 많은 바이트 수를 가지기 때문에 토큰 효율이 좋지 않습니다.

[paiwhy]

1. 토큰(Token)이란 무엇이며, LLM은 왜 텍스트를 단어 단위가 아니라 토큰 단위로 쪼개서 처리하나요?

토큰화는 입력텍스트를 언어 모델이 실제로 다루는 최소단위를 의미합니다.
말을 할때 단어, 음절을 사용 하는것과 같이 토큰을 쪼갭니다.
LLM은 거대 언어 모델은 단어를 그대로 보는게 아닌 토큰으로 바꿔 이해합니다 토큰은 단어가 설명될수도 있고 단어의 일부분이 될수 있습니다.
토큰으로 쪼개는 이유는 인간의 언어를 AI가 구조적으로 이해해야합니다. 명확하고 통일되게 최소 단위로 바꾸어 주기위해 토큰 단위로 쪼개서 처리합니다.

2. 토큰의 크기를 정하는 기준은 무엇인가요? 그리고 대표적인 토큰화 방식들을 소개해주세요.

토큰을 쪼개는 기준은 BPE(Byte Pair Encoding)이라는 방법으로 자주 나오는 단어들을 재활용하는 압축법입니다. 바이트 단위에서 사용되며 자주 함께 나타나는 문자 덩어리들을 하나의 새로운 토큰으로 합쳐나가는 방법입니다.
또한 워드피스(WordPiece)방식으로 주어진 텍스트를 하위 단어로 쪼개는 방식입니다. 하나의 단어 접두사, 접미사가 붙어서 여러 형태로 변화 할수있게 됩니다

3. 토큰 수가 많아지면 실제로 어떤 문제가 발생하며, 특히 한국어는 왜 이 문제에서 더 불리한가요?

토큰 수가 많아지면 AI도 이전에 주고받은 내용을 기억하고 대화를 이어나가는데 AI가 한번에 기억하고 처리할 수 있는 정보의 양의 한계가 있습니다

컨텍스트 윈도(Context Window)
AI가 한번에 기억하고 처리할 수 있는 토큰의 최대 개수

컨텍스트 윈도를 넘어가면 AI가 대화를 기억하지 못하고 잘라버리거나, 핵심 정보가 짤리거나, 답변이 모순되고 맥락이 유지되지 않을 수 있습니다