پرامپت طولانی و ثابتی را هزاران بار میفرستی. چطور هزینهاش را چند برابر کم کنی؟
دیدن پاسخ ↺با «کش پرامپت» (Prompt Caching). بخش ثابت پرامپت (دستورالعملها، اسناد، مثالها) یک بار پردازش و برای درخواستهای بعدی نگه داشته میشود؛ خواندن از کش خیلی ارزانتر و سریعتر است. نکته مهم: بخش ثابت را اول پرامپت بگذارید و بخش متغیر (سؤال کاربر) را آخر؛ کش فقط روی ابتدای مشترک کار میکند.
صفحه این کارت ←