هوش مصنوعی متن را کلمه‌به‌کلمه نمی‌خواند. پس چطور می‌خواند؟

با «توکن»: تکه‌هایی که می‌تواند یک کلمه کامل، بخشی از کلمه یا حتی یک نویسه باشد. مدل فقط عدد این توکن‌ها را می‌بیند، و سقف طول ورودی و هزینه API هم با توکن حساب می‌شود. نکته جالب: متن فارسی معمولاً به توکن‌های بیشتری از همان متن انگلیسی شکسته می‌شود؛ یعنی کمی گران‌تر و جاگیرتر است.