چگونه یک برگزارکننده آزمون مهارت را ارزیابی کنیم؟

نظر به الزامات استاندارد ISO/IEC 17025، آزمایشگاه برای تضمین کیفیت نتایج (در ارزیابی عملکرد خارجی)، بایستی به طور منظم و متناسب با دامنه کاری خود، در الگوهای آزمون مهارت یا مقایسات بین آزمایشگاهی شرکت کند. از طرف دیگر، آزمایشگاه باید اطمینان حاصل کند که فقط از محصولات و خدمات فراهم شده برون سازمانی مناسب که بر فعالیت های آزمایشگاه تاثیر دارند، استفاده کند. بنابراین آزمایشگاه باید برگزارکنندگان آزمون مهارت/مقایسات بین آزمایشگاهی را که در الگوهای آنها شرکت کرده یا قصد دارد در آینده شرکت کند، مورد ارزیابی قرار دهد.

در این مقاله منظور از برگزارکننده آزمون مهارت و برگزارکننده مقایسه بین آزمایشگاهی به این شرح است:

• برگزارکننده آزمون مهارت (Proficiency Testing Provider/PTP) نهادی مستقل است که مسئولیت سازماندهی و برگزاری آزمون مهارت را بر عهده می گیرد.

• برگزارکننده مقایسه بین آزمایشگاهی: آزمایشگاهی که مسئولیت برگزاری مقایسه بین آزمایشگاهی چند آزمایشگاه شامل مجموعه خود را برعهده می گیرد.

چنانچه قرار است از نتایج و ارزیابی عملکرد آزمایشگاه در یک مقایسه بین آزمایشگاهی به عنوان ابزاری برای نشان دادن کیفیت نتایج اندازه گیری استفاده شود، برگزارکننده آزمون مهارت (PTP) یا برگزارکننده مقایسه بین آزمایشگاهی، باید الزامات ISO/IEC 17043 «ارزیابی انطباق – الزامات عمومی برای آزمون مهارت» را پیاده سازی کند. اگر PTP صرفا برای بخشی از دامنه خود اعتبارنامه داشته باشد، می توان برای سایر الگوها (خارج از دامنه) اقدام به ارزیابی برگزارکننده آزمون مهارت نمود. در مورد برگزارکنندگان مقایسات بین آزمایشگاهی نیز می توان به طریق مشابه ارزیابی را انجام داد.

 حداقل الزامات فنی ISO/IEC 17043:2010 که بر اعتبار یک آزمون مهارت یا مقایسه بین آزمایشگاهی تاثیر می گذارد شامل موارد زیر است:

• کارکنان:

سوابق و شایستگی فنی پرسنل درگیر در سازماندهی آزمون مهارت / مقایسات بین آزمایشگاهی باید ارزیابی شود.

• تجهیزات و محیط:

در صورتی که تجهیزات و محیط در تهیه اقلام تاثیرگذار هستند، باید بر اساس ISO/IEC 17025 ارزیابی شوند.

• طرحریزی الگو:

این مورد نقطه تمرکز اصلی ارزیابی است. حداقل نکات زیر باید در طرح گنجانده یا به تفصیل بیان شود:

• مخاطب اصلی الگو مشخص باشد.

• اقلام آزمون مورد استفاده تا جایی که برای انتخاب روش آزمون مهم است، شرح داده شود.

• فهرست شرکت کنندگان مشخص شود (در صورتی که مقایسه بین آزمایشگاهی باشد. در مورد برگزارکننده آزمون مهارت، به دلیل حفظ محرمانگی الزامی به انجام این مورد نیست).

• کمیت اندازه گیری یا مشخصه مورد اندازه گیری تعیین شود.

• الزامات تولید، همگنی و پایداری مربوط به قلم آزمون شرح داده شود.

• بازه زمانی اجرای الگو مشخص شود.

• اطلاعات در مورد روش(های) مجاز/توصیه شده مورد استفاده ذکر شود.

• روش ارزیابی مقایسه پذیری نتایج، تجزیه و تحلیل آماری، و معیارهای مورد استفاده برای ارزیابی عملکرد تشریح شود.

• همگنی و پایداری اقلام آزمون:

اگر برگزارکننده، خود قلم آزمون را آماده کند، باید همگنی و پایداری نمونه ارزیابی شود. در غیر این صورت، تمام اطلاعات مربوط به قلم آزمون مانند گواهی آنالیز نمونه باید بررسی شوند.

• انتخاب مقدار تخصیص یافته:

در ارزیابی باید اطمینان حاصل شود که یک مقدار تخصیص یافته مناسب و عدم قطعیت اندازه گیری مرتبط با آن در نظر گرفته شده است که البته تا زمان انتشار گزارش پایانی، مقدار تخصیص یافته «محرمانه» تلقی می شود.

• انتخاب انحراف استاندارد مناسب برای الگو (SDPA= Standard Deviation of Proficiency Assessment):

در ارزیابی باید اطمینان حاصل شود که انحراف استاندارد مناسب برای ارزیابی عملکرد شرکت کنندگان در نظر گرفته شده است.

• نحوه اجرای الگو:

•به منظور اطلاع رسانی در خصوص نحوه برگزاری، باید راهنما یا دستورالعمل مربوط به شرکت کنندگان در دسترس آنها قرار گیرد و همچنین مناسب بودن آن نیز باید ارزیابی شود.

•بسته بندی، برچسب زدن و شرایط حمل و نقل اقلام آزمون باید ارزیابی شود.

•مناسب بودن روش های استفاده شده برای تجزیه و تحلیل داده ها باید ارزیابی شود.

• گزارش دهی:

برگزارکننده آزمون مهارت/مقایسه بین آزمایشگاهی موظف است گزارشی ارائه دهد که حداقل نکات زیر در آن گنجانده شده باشد:

• عنوان و تاریخ انتشار گزارش

• افراد یا آزمایشگاه های شرکت کننده (در صورتی که مقایسه بین آزمایشگاهی باشد)

• شرح دقیق قلم آزمون

• نتایج شرکت کنندگان

• تشریح روش ارزیابی مقایسه پذیری نتایج، شامل مقدار تخصیص یافته و عدم قطعیت اندازه گیری مرتبط با آن، انتخاب SDPA و محدوده نتایج

• مقایسه پذیری نتایج شرکت کنندگان و/یا عملکرد شرکت کنندگان (جدول و نمایش های گرافیکی در صورت لزوم)

• حفظ رازداری و محرمانه بودن اطلاعات شرکت کنندگان (این مورد مربوط به برگزارکنندگان آزمون مهارت می باشد):

برگزارکننده در گزارشات یا در مستندات باید نشان دهد که به حفظ محرمانگی متعهد است. آزمایشگاه نیز می تواند با استفاده از فرم تفاهم نامه عدم افشای اطلاعات (محرمانگی) از برگزارکننده بخواهد که به رازداری متعهد باشد.

از آنجا که انتخاب یک برگزار کننده آزمون مهارت (PTP) برای آزمایشگاه یک تصمیم مهم تلقی می شود، چند عامل مهم دیگر علاوه بر موارد ذکر شده در ISO/IEC 17043 وجود دارد که باید هنگام انتخاب PTP در نظر گرفت:

• انتخاب قلم آزمون:

با توجه به اینکه روش های متنوعی برای تهیه اقلام آزمون مورد استفاده در هر الگوی آزمون مهارت/مقایسه بین آزمایشگاهی وجود دارد، توجه به منشا نمونه ها ضرورت دارد. بافت نمونه و پیچیدگی آن در برنامه های آزمون مهارت (PT) ملاحظات مهمی هستند که به طور قابل توجهی بر تناسب و اثربخشی تجربه آزمون مهارت تأثیر می گذارد. شبیه بودن و متناسب بودن بافت نمونه ها با نمونه معمول آزمایشگاه و وجود طیف متنوعی از بافت ها و پیچیدگی آنها منجر به شناسایی نقاط ضعف، ارزیابی دقیق عملکرد، آمادگی برای چالش های پیش بینی نشده و پیشرفت مداوم آزمایشگاه می شود.

بافت های نمونه ارائه شده توسط برگزارکننده PT باید با تخصص آزمایشگاه همراستا باشد تا از ارزیابی متمرکز و مرتبط اطمینان حاصل شود. این موضوع به خصوص در مورد آنالیز آلاینده ها اهمیت بالایی دارد و استفاده از نمونه های طبیعی بهتر از استفاده از روش فرمولاسیون و اسپایک است.

• تناوب برگزاری آزمون ها:

خوب است آزمایشگاه، تناوب برگزاری آزمون مهارت توسط برگزارکننده را ارزیابی کند. شرکت منظم در آزمون های مهارت و ارزیابی مستمر، آزمایشگاه ها را قادر می سازد تا مسائل را به سرعت شناسایی و رسیدگی کنند و این بازخورد سریع، امکان انجام اقدامات اصلاحی به موقع را فراهم می کند. در صورتی که در آزمایشگاه ها روش ها، تجهیزات یا پرسنل تغییر کنند، آزمون مهارت مکرر تضمین می کند که عملکرد آزمایشگاه به طور مستمر ارزیابی می شود و با تغییرات مختلف ایجاد شده سازگار است. آزمون مهارت منظم به کاهش خطر خطاهای سیستماتیک یا مشکلات در فرآیندهای آزمون آزمایشگاه کمک می کند.

• آزمون کور و ناشناس بودن:

خوب است بررسی شود که آزمون مهارت به صورت کور انجام شده باشد، به این معنی که آزمایشگاه ها از مقدار تخصیص یافته نمونه ها آگاه نباشند. ناشناس بودن، ریسک تبانی را در گزارش دهی نتایج به حداقل می رساند. نتایج به دست آمده در شرایط کور، هم توسط آزمایشگاه تحت ارزیابی و هم توسط نهادهای خارجی مانند نهادهای اعتباربخشی، سازمان های نظارتی و مشتریان، قابل اعتمادتر خواهد بود. در مقایسات بین آزمایشگاهی باید ریسک حفظ اطلاعات مربوط به نمونه ها را در نظر گرفت. بهترین روش، استفاده از نمونه های چندگانه یا نمونه های متنوع در یک دوره از مقایسات بین آزمایشگاهی است.

• پشتیبانی فنی حین و پس از برگزاری:

سطح پشتیبانی فنی و منابع ارائه شده توسط برگزارکننده ارزیابی شود. یعنی در صورت وجود چالش ها یا سوالات مربوط به فرآیند آزمون، برگزارکننده در این خصوص پشتیبانی نماید. پشتیبانی فنی در مواقع بروز مشکلات عملکرد یا انحراف از نتایج مورد انتظار و در مورد تفسیر نتایج آزمون به منظور پیاده سازی راه حل های مؤثر و بهبود فرایندهای آزمون بسیار حائز اهمیت است. پشتیبانی فنی می تواند شامل دسترسی به موارد آموزشی، وبینارها یا کارگاه ها باشد، که می تواند دانش و مهارت آزمایشگاه را افزایش دهد و به یادگیری و توسعه مستمر کارکنان آزمایشگاه کمک کند.

•  هزینه و ارزش:

هزینه کلی مشارکت مرتبط با برنامه آزمون مهارت و ارزش ارائه شده از نظر کیفیت و پشتیبانی، ارزیابی شود. ارزیابی هزینه و فایده، به آزمایشگاه کمک می کند تا مشخص کند که شرکت در آزمون مهارت مقرون به صرفه است یا خیر. این ارزیابی شامل کیفیت خدمات، پشتیبانی و منافع نسبت به هزینه مشارکت است.

• خوشنامی در صنعت:

در مورد خوشنامی برگزارکننده آزمون مهارت در صنعت مرتبط با کار آزمایشگاه تحقیق شود. انتقادات، رضایت و بازخورد سایر آزمایشگاه هایی که از خدمات PTP استفاده کرده اند، بررسی شود. یک برگزارکننده خوشنام به احتمال زیاد به استانداردهای بین المللی، الزامات نظارتی و بهترین شیوه ها پایبند است. این پایبندی تضمین می کند که برنامه های آزمون مهارت با اصول تضمین کیفیت شناخته شده همسو هستند. برگزارکنندگان خوشنام معمولاً متعهد به بهبود مستمر نیز هستند. آنها برای تقویت و بهبود برنامه های خود، به روزرسانی متدولوژی ها و همگام ماندن با پیشرفت های این حوزه، سرمایه گذاری می کنند تا آزمون مهارت با بالاترین کیفیت را برگزار نمایند.

• دسترسی جهانی:

اگر آزمایشگاه در سطح بین المللی کار می کند، در نظر گرفته شود که آیا برگزارکننده آزمون مهارت دسترسی جهانی دارد؟ و می تواند نیازهای خاص آزمایشگاه را براورده کند؟ بهترین شیوه برگزاری PT به صورت بین المللی است که در آن آزمایشگاه ها از نقاط مختلف جهان در آن شرکت کنند. در صورتی که این امر میسر نباشد، می توان از نمونه های مرجع برای برگزاری آزمون مهارت یا مقایسات بین آزمایشگاهی استفاده کرد. ریسک محدودیت جغرافیایی و وجود خطای سیستماتیک در نتایج کلیه شرکت کنندگان باید همواره در نظر گرفته شود.

برای کمک به آزمایشگاهیان عزیز، ما یک نمونه چک لیست برای ارزیابی تامین کنندگان آزمون مهارت نیز تهیه کرده ایم که می توانید آنرا دانلود و پس از ایجاد تغییرات مورد نیاز خود، استفاده نمایید.