토큰화

—

AI는 말을 토막(토큰)으로 나눠 읽어요. 자주 쓰는 말은 통째로, 낯선 말은 잘게 나눠요.

내가 만든 토막

AI가 나눈 토막

—

글자가 길다고 토막이 많은 건 아니에요. 얼마나 자주 쓰는 말인지가 정해요.

—

낱말 고르기

먼저 생각해 보고 눌러요. 자주 쓰는 말일수록 토막이 적어요.

—

토막 수 고르기