اعتبارتان را خریده‌اید، دو هفته با آن کار کرده‌اید و حالا موجودی نصف شده است — بدون اینکه بدانید کدام کار بیشترین سهم را برداشته. تقریباً همهٔ ابزارهای هوش مصنوعی صورت‌حساب را بر پایهٔ «توکن» می‌بندند، اما کمتر جایی به زبان ساده می‌گوید توکن دقیقاً چیست و چه چیزی آن را بالا می‌برد.
در این راهنما سه چیز روشن می‌شود: توکن در هوش مصنوعی چیست، چرا متن فارسی معمولاً توکن بیشتری از انگلیسی می‌گیرد، و کدام تغییرهای ساده در روش کارتان مصرف را پایین می‌آورد — بدون اینکه کیفیت خروجی قربانی شود.
توکن در هوش مصنوعی چیست؟
توکن کوچک‌ترین واحدی است که مدل زبانی، متن را با آن می‌شمارد و پردازش می‌کند. توکن نه دقیقاً «کلمه» است و نه «حرف»؛ جایی میان این دو می‌ایستد. یک واژهٔ پرکاربرد ممکن است تمام‌وکمال یک توکن باشد، یک واژهٔ بلند یا غیرمعمول به چند تکه شکسته شود، و فاصله و علامت نگارشی هم سهم خودشان را داشته باشند.
نکته‌ای که معمولاً از قلم می‌افتد این است: هم آنچه شما می‌فرستید شمرده می‌شود (توکن ورودی) و هم آنچه مدل تولید می‌کند (توکن خروجی). پس یک پرامپت طولانی حتی اگر پاسخ کوتاهی بگیرد، هزینهٔ خودش را دارد — و برعکس، درخواست «مفصل بنویس» می‌تواند سمت خروجی را چند برابر کند.
به این تقسیم‌بندی «توکنایز کردن» می‌گویند و قاعده‌اش برای هر مدل فرق دارد. به همین دلیل یک متن ثابت، در دو مدل مختلف لزوماً عدد یکسانی نمی‌دهد. اگر می‌خواهید بدانید مدل زبانی با ایجنت چه فرقی دارد و چرا این تفاوت روی مصرف اثر می‌گذارد، تفاوت مدل زبانی و ایجنت را ببینید.
چرا متن فارسی توکن بیشتری از انگلیسی مصرف می‌کند؟
توکنایزر مدل‌ها روی حجم عظیمی از متن ساخته می‌شود که سهم انگلیسی در آن به‌مراتب بیشتر از فارسی است. نتیجه‌اش قابل‌پیش‌بینی است: واژه‌های رایج انگلیسی اغلب یک توکن کامل می‌گیرند، در حالی که معادل فارسی‌شان به چند تکهٔ کوچک‌تر شکسته می‌شود.
چند عامل این فاصله را بیشتر می‌کند:
- خط و رمزگذاری: حروف فارسی در یونیکد بایت‌های بیشتری نسبت به حروف لاتین می‌گیرند.
- نیم‌فاصله و پیوستگی حروف: مرزهایی می‌سازند که توکنایزر لزوماً برایشان آماده نیست.
- ساختار وندی زبان: واژه‌هایی مثل «می‌رفتند» یا «کتاب‌هایشان» به چند جزء تبدیل می‌شوند.
- نام‌ها و اصطلاح‌های فنی: واژه‌های تخصصی فارسی کمتر در دادهٔ آموزشی دیده شده‌اند و ریزتر شکسته می‌شوند.
نسبت دقیق، عدد ثابتی نیست و به مدل و توکنایزر بستگی دارد؛ به هر رقمی که جایی به‌عنوان «ضریب قطعی فارسی» معرفی شده با احتیاط نگاه کنید. آنچه در عمل اهمیت دارد جهت ماجراست: یک کار مشخص، به فارسی معمولاً گران‌تر از انگلیسی تمام می‌شود.
این دلیل خوبی برای مهاجرت به انگلیسی نیست. اگر خروجی نهایی باید فارسی و قابل‌استفاده باشد، ترجمهٔ رفت‌وبرگشتی هم توکن مصرف می‌کند و هم کیفیت و لحن را پایین می‌آورد. راه درست، کوتاه و دقیق نوشتن است — نه عوض‌کردن زبان.
تفاوت توکن و اعتبار چیست؟
اینجا همان نقطه‌ای است که بیشتر کاربران گیج می‌شوند. توکن واحد فنی خود مدل است؛ «اعتبار» واحدی است که پلتفرم می‌سازد تا شما مجبور نباشید با عددهای شش‌رقمی سروکار داشته باشید و بتوانید هزینهٔ یک کار را پیش از اجرا تخمین بزنید.
| وجه مقایسه | توکن | اعتبار |
|---|---|---|
| چه چیزی است؟ | واحد فنی شمارش متن در خود مدل | واحد صورت‌حساب که پلتفرم تعریف می‌کند |
| چه کسی تعیینش می‌کند؟ | توکنایزر مدل | پلتفرم سرویس‌دهنده |
| آیا مستقیم می‌بینیدش؟ | معمولاً نه، مگر در سطح API | بله، در موجودی حساب |
| به چه دردتان می‌خورد؟ | فهمیدن اینکه چرا مصرف بالا رفت | تخمین هزینه و بودجه‌بندی کار |
| با زبان فارسی چه می‌شود؟ | مستقیماً بیشتر می‌شود | غیرمستقیم، از راه توکن اثر می‌گیرد |
در وکر هم منطق همین است: مصرف هر اجرا پس از پایان کار محاسبه و از موجودی کم می‌شود، و طبق صفحهٔ تعرفه، اگر کاری با خطا متوقف شود اعتباری کم نمی‌شود. اعتبار خریداری‌شده هم تاریخ انقضا ندارد و اشتراک ماهانهٔ اجباری در کار نیست.
برای اینکه عدد ملموس‌تر شود، صفحهٔ تعرفهٔ وکر جدولی با عنوان «هر کار چند اعتبار می‌برد» دارد: یک پرسش کوتاه با پاسخ متنی حدود ۳ اعتبار، یک فاکتور یا سند وُرد رسمی حدود ۲۵ اعتبار، یک اسلاید حرفه‌ای حدود ۱۲۰ اعتبار و یک پژوهش بازار با جست‌وجوی وب حدود ۲۰۰ اعتبار. اینها میانگین مصرف واقعی‌اند، نه قیمت ثابت — کار سنگین‌تر، مصرف بیشتر.
اگر هنوز میان مدل اعتباری و اشتراک ماهانه مردد هستید، مقایسهٔ اشتراک ماهانه و اعتباری همین موضوع را از زاویهٔ هزینهٔ کل بررسی کرده است.
چه چیزی مصرف توکن را بالا می‌برد؟
پنج عامل، بیشترین سهم را در مصرف غیرمنتظره دارند:
- گفت‌وگوی طولانی: مدل حافظهٔ مستقل ندارد؛ در هر پیام تازه، تاریخچهٔ گفت‌وگو دوباره به‌عنوان ورودی فرستاده می‌شود. پیام بیستم شما گران‌تر از پیام دوم تمام می‌شود، حتی اگر هر دو یک جمله باشند.
- فایل پیوست بزرگ: وقتی یک فایل صد صفحه‌ای می‌دهید و فقط دربارهٔ صفحهٔ هفت می‌پرسید، آن صد صفحه هم شمرده می‌شود.
- خروجی بی‌حدومرز: «یک گزارش کامل بنویس» بدون تعیین طول، می‌تواند چند برابر چیزی که لازم داشتید تولید کند.
- چرخهٔ ابزار در ایجنت: ایجنت برخلاف چت‌بات ساده، چند مرحله اجرا می‌کند و نتیجهٔ هر ابزار دوباره وارد زمینه می‌شود. قدرت بیشتر، مصرف بیشتر.
- بازبینی‌های پی‌درپی: ده بار «این را کمی تغییر بده» معمولاً گران‌تر از یک‌بار توضیح دقیقِ خواسته از ابتداست.
چطور مصرف توکن را کم کنیم؟
هیچ‌کدام از این کارها به دانش فنی نیاز ندارد و همه‌شان روی کیفیت خروجی اثر مثبت دارند، نه منفی:
- برای هر کار، یک گفت‌وگوی تازه باز کنید. ساده‌ترین و مؤثرترین کار. وقتی موضوع عوض می‌شود، تاریخچهٔ قبلی دیگر کمکی نمی‌کند و فقط هزینه دارد.
- خواسته‌تان را کامل در پیام اول بگویید. مخاطب، قالب، طول و لحن را از ابتدا مشخص کنید. راهنمای پرامپت‌نویسی فارسی الگوهای آماده‌ای برای همین دارد.
- فقط بخش مرتبط فایل را بدهید. به‌جای کل دفترچه، همان سه صفحهٔ لازم. به‌جای کل اکسل، همان شیت مربوطه.
- طول و قالب خروجی را تعیین کنید. «در حداکثر ۳۰۰ کلمه و در قالب جدول» هم ارزان‌تر است و هم معمولاً قابل‌استفاده‌تر.
- به‌جای چسباندن کل سند، دانش را وصل کنید. وقتی قرار است مرتب به یک منبع ثابت ارجاع دهید، اتصال دانش سازمانی به‌صرفه‌تر از پیوست‌کردن دوبارهٔ اسناد است؛ RAG چیست همین سازوکار را توضیح می‌دهد.
- اول یک نمونهٔ کوچک بگیرید. پیش از اجرای روی ۵۰۰ ردیف، روی ۵ ردیف امتحان کنید. اگر قالب درست نبود، ارزان فهمیده‌اید.
- کار درست‌شده را از صفر نخواهید. برای اصلاح جزئی، همان بخش را بدهید و اصلاح بخواهید؛ نه اینکه کل سند را دوباره تولید کنید.
قاعدهٔ طلایی: هر چیزی که در گفت‌وگو باقی می‌ماند، در هر پیام تازه دوباره هزینه دارد. کوتاه نگه‌داشتن زمینه، تقریباً همیشه بیشتر از عوض‌کردن مدل در مصرف شما اثر می‌گذارد.
اشتباه‌های رایج در مدیریت مصرف
- فکر کردن اینکه فقط پاسخ هزینه دارد. ورودی هم شمرده می‌شود؛ پرامپت سه‌صفحه‌ای رایگان نیست.
- یک گفت‌وگوی چندهفته‌ای برای همه‌چیز. رایج‌ترین دلیل مصرف بی‌دلیل بالا، همین یک عادت است.
- پیوست‌کردن کل آرشیو «برای اطمینان». زمینهٔ اضافه فقط هزینه نمی‌سازد؛ دقت مدل را هم پایین می‌آورد.
- صرفه‌جویی بیش‌ازحد. پرامپت مبهمِ کوتاه که سه بار بازنویسی لازم دارد، از یک پرامپت دقیقِ کمی بلندتر گران‌تر تمام می‌شود.
- نادیده‌گرفتن پلن رایگان برای آزمایش. برای سنجیدن اینکه یک کار چطور جواب می‌دهد، لازم نیست از اعتبار خریداری‌شده خرج کنید.
پرسش‌های پرتکرار
یک کلمهٔ فارسی چند توکن است؟
عدد ثابتی ندارد. بسته به خود واژه، مدل و توکنایزر فرق می‌کند؛ واژه‌های کوتاه و پرکاربرد کم‌تکه‌تر و واژه‌های بلند یا تخصصی پرتکه‌تر می‌شوند. آنچه می‌توان با اطمینان گفت این است که متن فارسی معمولاً به توکن بیشتری نسبت به متن انگلیسیِ هم‌معنا نیاز دارد.
آیا توکن ورودی و خروجی یکسان حساب می‌شوند؟
در سطح API معمولاً نرخشان متفاوت است و خروجی گران‌تر حساب می‌شود. اما در پلتفرم‌هایی که با «اعتبار» کار می‌کنند، این تفاوت داخل محاسبهٔ اعتبار لحاظ شده و شما با یک عدد واحد سروکار دارید.
آیا اعتبار وکر منقضی می‌شود؟
خیر. اعتبار خریداری‌شده تاریخ انقضا ندارد و اشتراک ماهانهٔ اجباری هم برای استفاده از آن لازم نیست؛ پرداخت به‌صورت ریالی و از طریق درگاه پرداخت ایرانی انجام می‌شود.
پلن رایگان وکر چقدر مصرف می‌دهد؟
پلن رایگان ۱٬۰۰۰ توکن در هر ساعت در اختیارتان می‌گذارد و برای شروع، کارت بانکی لازم نیست. برای سنجیدن اینکه یک کار مشخص چطور جواب می‌دهد، معمولاً همین کافی است.
اگر کاری با خطا متوقف شود، اعتبارم کم می‌شود؟
طبق صفحهٔ تعرفهٔ وکر، مصرف هر اجرا پس از پایان کار محاسبه می‌شود و اگر کاری با خطا متوقف شود اعتباری کم نمی‌شود.
جمع‌بندی
توکن واحد شمارش متن در مدل‌های زبانی است و هم ورودی و هم خروجی را در بر می‌گیرد. متن فارسی به دلیل ساختار خط و زبان، معمولاً توکن بیشتری از انگلیسی می‌گیرد — اما راه‌حل، عوض‌کردن زبان نیست؛ کوتاه و دقیق نوشتن است. بیشترین صرفه‌جویی هم نه از انتخاب مدل ارزان‌تر، که از یک عادت ساده می‌آید: برای هر کار، گفت‌وگوی تازه.
اگر می‌خواهید پیش از خرید ببینید هر کار چند اعتبار می‌برد و بسته‌ها چه تفاوتی دارند، صفحهٔ تعرفهٔ وکر جدول مصرف تقریبی هر نوع کار را کنار قیمت بسته‌ها آورده است. برای آزمایش هم می‌توانید بدون کارت بانکی با پلن رایگان شروع کنید.