هدف اساسی آزمون مهارت این است که به شرکت کنندگان در مورد کیفیت عملکردشان اطمینان خاطر داده شود و آنها را قادر سازد تا هر گونه روند یا خطا در نتایج گزارش شده خود را، که احتمالاً بر تصمیمات تأثیر می گذارد، شناسایی کرده و سپس علل خطاهای شناسایی شده را حذف کنند. با این حال، ما باید در نظر بگیریم که تمام نتایج اندازه‌گیری‌ها شامل خطا هستند. فقط یک سوال این است که آیا این خطاها، اندازه قابل قبولی دارند یا خیر – در واقع، آیا نتایج برای هدف مناسب هستند یا خیر. بنابراین تناسب برای هدف[۱] به عنوان ویژگی کلیدی آزمون مهارت ظاهر می شود.
اکثر طرح‌های آزمون مهارت در اندازه‌گیری شیمیایی، نتیجه x شرکت‌کننده را به یک z-score (یا یک روش معادل) تبدیل میکنند:
که در آن مقدار تخصیص یافته 
بهترین تخمین برگزار کننده طرح از مقدار واقعی است، در حالی که 
انحراف استاندارد برای آزمون مهارت (SDPT) است. هدف از امتیازدهی، نرمال کردن (قیاس پذیر کردن) نتایج برای آنالیت‌ها، ماتریس‌ها و در واقع طرح‌های مختلف است، به گونه‌ای که به طور مداوم به شرکت‌کننده نشان دهد که در صورت لزوم، چه اقدامی، پاسخ مناسبی به نتیجه به‌دست‌آمده است.
به عنوان مثال، زمانیکه نمره عملکرد z بین ۲ و ۲- قرار می گیرد معمولاً نشان میدهد که هیچ دلیلی برای مشکوک شدن وجود ندارد و روش آزمون شرکت کننده مستلزم تجدید نظر نیست. از سوی دیگر، برای مثال نمره عملکرد ۵.۹ مستلزم بررسی سیستم آنالیز و در صورت لزوم، حذف منابع خطا است. اما به عنوان یک راهنمای عملی، نمرات عملکرد z تنها در صورتی معتبر خواهند بود که SDPT (انحراف استاندارد آزمون مهارت) یک عدم قطعیت متناسب برای هدف مورد نظر در کاربردی خاص باشد.
انتخاب یک انحراف استاندارد برای آزمون مهارت
پروتکل هماهنگ اولیه ISO/IUPAC/AOAC (برای آزمون مهارت آزمایشگاه‌های تجزیه، و راهنماها و استانداردهای بعدی ISO)، راه‌های متعددی را برای برگزارکننده آزمون مهارت به منظور تعیین انحراف استاندارد آزمون مهارت (SDPT) ذکر میکند. این راه‌ها (به عنوان مثال ISO 13528 را ببینید)، اگرچه تا حدودی با یکدیگر همپوشانی دارند، اما به دو دسته اصلی تقسیم می‌شوند. آن‌هایی که بر اساس عملکرد واقعی شرکت‌کنندگان است و آن‌هایی که بر اساس عملکرد مورد انتظار آنها است، اگر قرار باشد شرکت کنندگان نیازهای مشتریان خود را به بهترین نحو براورده کنند. پروتکل هماهنگ شده ( تجدید نظر شده) به شدت به نفع دسته دوم است، یعنی مقادیر انحراف استاندارد آزمون مهارت (SDPT) که بر اساس مناسبت برای هدف تعیین می‌شوند.
چه تفاوتی ایجاد میشود؟
آزمون های مهارت مبتنی بر نحوه عملکرد واقعی شرکت‌کنندگان، معمولاً SDPT (انحراف استاندارد آزمون مهارت) را با انحراف استاندارد استوار نتایج (از طریق اجماع) در آن دوره از آزمون برابر می‌دانند. با این حال، این آماره تنها پراکندگی اکثر نتایج را توصیف می کند و چیز جدیدی به بحث اضافه نمی‌کند. در این حالت اکثریت شرکت‌کنندگان نمره عملکرد z بین ۲ و ۲- دریافت میکنند (حدود ۹۵ درصد از آنها، یا تا حدودی کمتر در مواردی که (تقریباً همیشه) پراکندگی نتایج دارای چولگی یا شامل موارد پرت هستند). این استراتژی مطمئناً امکان شناسایی شرکت‌کنندگان متفاوت را فراهم میکند، اما معایب متعددی دارد که ممکن است سبب گمراهی شرکت کنندگان شود.
- در این حالت نمره عملکرد اکثر آزمایشگاهها موجه به نظر میرسد، صرف نظر از اینکه آیا عدم قطعیت آنها به اندازه کافی برای برآورده کردن نیازهای مشتریانشان کم است یا خیر. این باعث نمی‌شود که شرکت‌کنندگان به سمت تناسب برای هدف حرکت کنند.
- با توجه به این که انحراف معیار مشاهده شده در هر دوره متفاوت است، بنابراین، اجازه نمی‌دهد که شرکت‌کننده بتواند عملکرد خود را در طول زمان پیگیری و در نتیجه روندها را شناسایی و موفق بودن تغییرات اصلاحی در تجهیزات یا روش‌ها را تعیین کند.
- به طور کلی، نمرات تحت تأثیر عملکرد سایر شرکت‌کنندگان قرار می‌گیرند، و یک آزمایشگاه که در بیش از یک برنامه شرکت میکند، احتمالاً نمرات عملکرد مختلفی دریافت خواهد کرد که صرفا وابسته به نتایج خودش نبوده و متاثر از سایر شرکت کنندگان نیز می باشد.
در این حالت، ارائه‌دهنده قادر به ارزیابی کلیت سودمندی طرح نبوده و شرکت‌کنندگان نیز نمی توانند به درستی تعیین کنند که طرح در بهبود یا حفظ عملکرد خوب به آنها کمک میکند.
بهبود جزئی در این نوع معیار می‌تواند با خلاصه‌سازی الگوی پراکندگی در بسیاری از دورههای یک آزمون حاصل شود، زیرا معیار حاصله، اگر به خوبی استخراج شده باشد، امکان مقایسه معتبرتر و پایدارتر از یک دوره به دوره دیگر را فراهم میکند. با این حال، این مسئله تناسب برای هدف را پوشش نمی‌دهد. مهمتر آنکه، برای تعیین یک معیار مفید، نیاز به جمع‌آوری آمار از یک توالی طولانی از دورهها است. این به این دلیل است که (الف) در یک نوع ثابت از نمونه آزمون، پراکندگی مشاهده‌شده به غلظت آنالیت بستگی دارد، و (ب) برای نمونه های آزمون مختلف، حتی آن‌هایی که در بافت و غلظت آنالیت مشابه هستند، پراکندگی نتایج می‌تواند به طور چشمگیری متفاوت باشد.
معیار تناسب برای هدف
این مشکلات زمانی از بین می‌روند که یک عدم قطعیت مناسب برای هدف به عنوان انحراف معیار آزمون مهارت (SDPT) استفاده شود. این معیار می‌تواند قبل از شروع برنامه، به عنوان یک مقدار ثابت یا یک تابع ثابت از غلظت تعیین شود. در این صورت، نمرات عملکرد z برای یک شرکت‌کننده خاص می‌تواند به طور معناداری بین دورههای مختلف، بین آنالیت‌ها و نمونه های آزمون مقایسه شود. برگزارکننده طرح می‌تواند عملکرد کلی را به عنوان تابعی از زمان پایش کند.
در بهترین حالت، زمانی که امتیازهای z بر اساس توزیع نرمال استاندارد تفسیر شود، این معیار مستقیماً به محدوده اقدام [۳] معنی‌دار منتهی خواهد شد. بدست آوردن یک امتیاز با استفاده از یک معیار مناسب برای هدف، ارزش افزوده ی بالاتری به نتیجه میدهد.
معنای دقیق “تناسب برای هدف” سال‌ها از چشم تحلیل‌گران دور مانده بود، اما مطالعه نیازهای بخش‌های کاربردی متعدد پاسخ را فراهم کرد. اگر عدم قطعیت در نتیجه، بیش از حد زیاد باشد، مشتری تصمیمات نادرست زیادی خواهد گرفت. این می‌تواند از نظر مالی بسیار پرهزینه باشد . گاهی اوقات به شدت پرهزینه ، یا به عموم مردم آسیب برساند. اگر عدم قطعیت بیش از حد کم باشد، مشتری برای نتیجه تحلیلی هزینه گزافی پرداخت میکند. عدم قطعیت بهینه (تناسب برای هدف) هزینه کل متوسط مشتری را برای هر نتیجه به حداقل می‌رساند.
با این حال، محاسبه ی مفهموم تناسب برای هدف معمولاً بسیار دشوار است ، بنابراین در بیشتر موارد، تحلیل‌گران و مشتریان آنها، از طریق یک فرآیند تکاملی به عدم قطعیت مناسب برای هدف می‌رسند که البته در هر زمینه، متفاوت است. ارائه‌دهندگان آزمون‌های مهارت باید به خوبی از این فرآیند آگاه باشند و بتوانند الگوی مناسب برای بخش خود را دنبال کنند.
نتیجه‌گیری‌ها
معیارهای مبتنی بر تناسب برای هدف به خوبی برای محاسبه نمرات z طراحی شده‌اند که حداکثر استفاده را برای شرکت‌کنندگان در یک طرح آزمون مهارت دارند. چنین معیارهایی باید صرفاً بر اساس نیازهای مشتریان در کاربردی خاص تعیین شوند. این انتخاب باید توسط هیئتی از کارشناسان در این زمینه یا با کمک مشاوران طرح انجام شود.
مقاله فوق ترجمه یکی از مقالات سایت Royal Society of Chemistry می باشد که مجموعه ویرا اقدام به ترجمه فارسی آن کرده است و شما می توانید فایل اصلی را در قالب pdf از لینک زیر دانلود فرمایید.
دانلود مقاله اصلی
مترجم : سرکار خانم مهندس دوستی
[۱] Fitness for purpose
[۲] Standard Deviation for Proficiency Test
[۳] Action limits
