مردم از مدل‌های زبانی بزرگ برای مجموعه‌ای از وظایف، از ترجمه مقاله گرفته تا شناسایی کلاهبرداری مالی، استفاده می‌کنند. با این حال، با وجود قابلیت های باورنکردنی و تطبیق پذیری این مدل ها، گاهی اوقات پاسخ های نادرستی ایجاد می کنند.

علاوه بر این مشکل، مدل‌ها می‌توانند نسبت به پاسخ‌های اشتباه بیش از حد یا در مورد پاسخ‌های صحیح اعتماد به‌نفس نداشته باشند. که تشخیص اینکه چه زمانی می‌توان به یک مدل اعتماد کرد برای کاربر دشوار می‌کند.

محققان معمولاً یک مدل یادگیری ماشینی را کالیبره می‌کنند. و اطمینان حاصل کنند که سطح اطمینان آن با دقت آن همخوانی دارد. یک مدل به خوبی کالیبره شده باید در مورد یک پیش بینی نادرست اعتماد کمتری داشته باشد و بالعکس. اما از آنجایی که مدل‌های زبان بزرگ (LLM) را می‌توان برای مجموعه‌ای به ظاهر بی‌پایان از وظایف متنوع اعمال کرد، روش‌های کالیبراسیون سنتی بی‌اثر هستند.

اکنون، محققان MIT و آزمایشگاه هوش مصنوعی MIT-IBM Watson یک روش کالیبراسیون متناسب با مدل‌های زبانی بزرگ معرفی کرده‌اند. روش آنها که دماسنج نام دارد. و شامل ساختن یک مدل کوچکتر و کمکی است که روی یک مدل زبان بزرگ اجرا می شود تا آن را کالیبره کند.

دماسنج نسبت به روش‌های دیگر کارآمدتر است – به محاسبات کم‌تر نیاز دارد – در حالی که دقت مدل را حفظ می‌کند و آن را قادر می‌سازد تا پاسخ‌های کالیبره‌شده‌تری را در کارهایی که قبلاً ندیده است تولید کند.

با فعال کردن کالیبراسیون کارآمد یک LLM برای کارهای مختلف، دماسنج می‌تواند به کاربران کمک کند موقعیت‌هایی را که در آن مدل نسبت به پیش‌بینی‌های نادرست بیش از حد مطمئن است. مشخص کنند، و در نهایت از به کارگیری آن مدل در موقعیتی که ممکن است شکست بخورد، جلوگیری می‌کند.