نقش تضمین کیفیت زبان پس از آزمایش میدانی

ویرایش شده توسط آندره فراری ، بنیانگذار cApStAn ، از ارائه شده در CSDI واشنگتن 2012 توسط استیو دپت ، آندره فراری و ژولیت مندلوویتز

طراحی عمده مطالعات مقایسه ای بین المللی مانند OECD PISA (برنامه ارزیابی دانشجویان بین المللی) یا TIMSS IEA (روند مطالعات بین المللی ریاضیات و علوم) شامل یک مرحله مطالعه میدانی (FT) است که در مقیاس کوچکتر قبل از مرحله اصلی مطالعه (MS) انجام شده است ، به عنوان مثال مجموعه واقعی داده ها در مورد نمونه های کامل از جمعیت تخمینی.

در مورد توسعه ابزارهای ارزیابی ، مجموعه داده های FT با تجزیه و تحلیل نتایج به دست می آید ، که در مورد انتخاب و بررسی ابزارهای مورد استفاده در کشورهای عضو اطلاع رسانی می کند. (توجه: فاز FT اهداف دیگری را نیز پوشش می دهد که در اینجا پوشش داده نشده است.)

برای ترجمه / سازگاری این ابزارها ، دیگر یک گزینه برای انجام یک مطالعه در مقیاس بزرگ بدون برخی از پیچیدگی ها در طراحی بومی سازی وجود ندارد. بنابراین ، فرایندهای زبانی برای تضمین کیفیت (LQA) و کنترل (LQC) در هر دو مرحله FT و MS انجام می شود ، تا حداکثر مقایسه داده های جمع آوری شده.

جالب است که تمرکز روی فرآیندهای اجرا شده پس از مرحله FT که ممکن است کمتر شناخته شده باشند تمرکز کند.

بررسی فرآیندهای LQA و LQC در مرحله FT

قبل از اینکه به فرآیندهای انجام شده در مرحله MS مراجعه کنیم ، در اینجا یک مرور مختصر از فرآیندهای LQA و LQC معمولی اعمال شده در مرحله مقدماتی FT ، با استفاده از مثال OECD / PISA است:

• ساخت دقیق زبان از منابع اصلی برای شناسایی و به حداقل رساندن مشکلات ترجمه.
• تهیه احزاب شرکت کننده[1] نسخه (های) اصلی ، رهنمودهای ترجمه / سازگاری عمومی و خاص ، کارگاه آموزشی ترجمه / سازگاری ، کتابچه های راهنما و میز راهنما.
• کنترل کیفیت متمرکز زبانی به شرح زیر است. بازرسان استخدام شده و آموزش دیده هم انطباق نسخه مورد نظر با نسخه منبع و هم تسلط / صحت در نسخه هدف را بررسی می کنند و تلاش می کنند تا تعادل بهینه بین این دو هدف حاصل شود. بازرسان همچنین بررسی می کنند که دستورالعمل های خاص یک مورد را دنبال می کنند. تأیید کنندگان ویرایش های پیشنهادی را به صورت قابل ردیابی انجام می دهند و آنها را مستند می کنند (توضیح دهید و توجیه کنید). در مرحله بعدی ، مراکز ملی نسخه های بررسی شده را بررسی می کنند و ممکن است تغییرات بیشتری ایجاد کنند. سپس این نسخه ها برای تأیید نهایی ارسال می شوند.

شرح مختصر تجزیه و تحلیل آماری نتایج FT

هدف از تجزیه و تحلیل آماری بین المللی داده های FT ارزیابی کیفیت اشیا field میدانی و مدل سازی مقیاس ها و خرده مقیاس هایی است که بررسی اصلی در آنها گزارش می شود.

در تجزیه و تحلیل ، چندین مقاله در مورد مقالات و مقیاس ها در نظر گرفته شده است. در سطح مورد ، itanals کلاسیک تولید می شود. این تجزیه و تحلیل ها امکان بررسی تبعیض ، مناسب بودن ، ترتیب توانایی های هر عنصر و در مورد عناصر چند گزینه ای ، همبستگی نقطه مروارید را فراهم می کند.

• آمار تبعیض نشان می دهد که آیا موضوع فردی دانش آموزان را به روشی مشابه سایر عناصر در ارزیابی مورد تبعیض قرار می دهد.
• آمار مناسب، همچنین نشان دهد که آیا عنصری به طور مناسب در انتشار ارزیابی توانایی دانش آموزان در مقیاس کمک می کند.
• آمار متوسط ​​توانایی برای دانش آموزان در هر گروه از امتیازات ، میانگین توانایی آنها برای کل کلاس را محاسبه می کند. این نشان می دهد که آیا دانش آموزان همانطور که انتظار می رود به این عنصر پاسخ می دهند یا خیر.
• برای موارد با گزینه های متعدد همبستگی نقطه مروارید رابطه بین مقوله پاسخ و نتیجه کلی ارزیابی است. پاسخ های صحیح باید با نتیجه کلی همبستگی مثبت داشته باشند و پاسخ های نادرست - منفی.

یک مجموعه اضافی از آمار کلیدی در فرآیند انتخاب مورد توسط ایجاد می شود تجزیه و تحلیل موقعیت دیفرانسیل (DIF) ، که عملکرد زیر گروه های مورد علاقه برای هر موقعیت را مقایسه می کند. تجزیه و تحلیل DIF نشان می دهد چه مواردی برای گروه خاصی دشوارتر از حد انتظار یا آسانتر از حد انتظار است (با توجه به عملکرد کلی آنها). PIFA تجزیه و تحلیل DIF از داده های FT را براساس جنسیت ، کشور و زبان انجام می دهد.

چگونه تجزیه و تحلیل نتایج FT به انتخاب و بررسی ابزارهای کشورهای عضو اطلاع می دهد

داده های FT برای بررسی اثر بخشی عناصر برای بهینه سازی استخر MS ، با در نظر گرفتن محدودیت های گاه رقابتی استفاده می شود. توسعه دهندگان آزمون علاوه بر آمار برای موارد منفرد ، فاکتورهایی را در سطح آزمون در نظر می گیرند ، از جمله مناسب بودن عنصر تنظیم شده در چارچوب برای برآوردن درصد هدف در چندین دسته و دامنه سختی عناصر.

علاوه بر این ، ممکن است در مورد چگونگی ارائه اقلام در کشورشان اطلاعاتی به مراکز ملی ارائه شود. عناصری که طبق هر یک از معیارهای ذکر شده در بالا رفتار غیرطبیعی داشته باشند ، به عنوان موارد "کلاهبرداری" علامت گذاری می شوند و از طرفین دعوت می شود تا داده ها را بررسی کرده و در صورت امکان ، دلیل وقوع چنین نتایج را توضیح دهند. برخی ناهنجاری ها ، مانند تبعیض بد ، می تواند در چندین کشور با یک زبان مشترک رخ دهد ، که نشان دهنده یک مشکل فرهنگی یا زبانی پیش بینی نشده است.

روند به روزرسانی نسخه های ملی

پس از نهایی شدن نسخه های نهایی کشورهای عضو ، نسخه های ملی ابزار ارزیابی باید به روز شوند و روند قوی باید شامل LQA و LQC باشد. به عنوان مثال ، در یک مدل غیرمتمرکز:

• به مراکز ملی دستورالعمل هایی برای به روزرسانی نسخه های FT خود ارائه شده است: آنها باید تغییراتی را که در نسخه اصلی اعمال شده است تکرار کنند (مگر اینکه قابل اجرا باشد) ، و با توجه به نتایج FT می توانند تغییرات ملی دیگری را ایجاد کنند ، اما توصیه نمی کنند "لوازم آرایشی" ایجاد شود یا تغییرات "ترجیحی" (طبق توصیه کلاسیک "اگر شکسته نشود ، آن را برطرف نکنید").
• مراکز ملی نسخه های خود را از FT به روز می کنند و نسخه های پیش نویس MS را ایجاد می کنند که برای تأیید ارسال می شوند. (یا حتی با اطمینان بیشتر ، آنها درخواست به روزرسانی نسخه های FT خود را دارند.)
• تأیید کنندگان با گزارش های منحرف در مورد عناصر و بازخورد مربوط به ترجمه یا اقتباس از مراکز ملی ارائه می شوند. از آنها خواسته می شود بررسی کنند که آیا راه حلهای پیشنهادی ایالتها مشکلات شناسایی شده را برطرف می کنند. اگر چنین است ، آیا تصمیمات به طور مداوم و صحیح اعمال می شوند؟ اگر اینگونه نباشد ، اقدامات اصلاحی جایگزین باید پیشنهاد شود. همچنین از آنها خواسته می شود سایر مشکلات احتمالی را گزارش دهند: منبع مشکل ، عنصری فریبنده ، ممکن است در انگیزه ای پنهان باشد که ممکن است نسبتاً با عنصر واقعی فاصله داشته باشد.

ویژگی های فنی و سازمانی که فرآیند کارآمد MS LQA و LQC را امکان پذیر می کند

• ابزارهای CAT به شما امکان می دهد بخشهایی را که نسخه منبع برای آنها بدون تغییر است از FT قفل کنید. مراکز ملی و بازرسان نمی توانند این بخشها را به طور تصادفی تغییر دهند: آنها وقتی تصمیم می گیرند عموماً تغییر ایجاد کنند باید قفل هر کدام را باز کنند.
• مراکز و بازرسان ملی از تجزیه و تحلیل SF مطلع می شوند: از گزارش های تقلب برای تصمیم گیری آگاهانه در مورد اعمال تغییرات ملی در SF برای کشورهای عضو استفاده می شود.
• با شناسایی و علامت گذاری خودکار تغییرات پرونده ها که از طریق یک گردش کار انجام می شوند ، رابطین باید هیچگونه تغییر بدون سند انجام شده توسط کشورهای شرکت کننده را بررسی نکنند. این اجازه می دهد تا یک بررسی MS "متمرکز" مقرون به صرفه: به بازرسان دستور داده می شود که همه مواد را مجدداً بررسی نکنند بلکه بر روی موارد زیر تمرکز کنند:

- تغییرات ایجاد شده در نسخه اصلی (اصولاً باید در همه نسخه های ملی تکرار شوند) ؛

- تغییرات ملی (اصولاً باید با توجه به گزارش "عناصر متقلب" برای هر نسخه ملی توجیه شود) ؛

- معابر انتخاب شده ، به عنوان مثال در صورت "ترفند" کامل در گروهی از کشورها که یک زبان مشترک دارند.

- مسائل سازگاری که ممکن است در نتیجه تغییرات فوق در سایر قسمتهای ابزار به وجود آمده باشد.

• به لطف همین جنبه (شناسایی و علامت گذاری خودکار تغییرات) ، طرفین از حفظ كنترل نسخه های خود اطمینان دارند ، زیرا می توانند همه تغییرات ایجاد شده توسط رابطین را مشاهده كنند.

نتیجه گیری و چالش های باز

• بر خلاف سالهای اولیه کاغذ و مداد PISA ، محیط فناوری موفقیت واقعی را از نظر بهینه سازی فرآیندهای LQA و LQC در مرحله اصلی مطالعه ممکن ساخته است.
• یک چالش باز استفاده بهتر و بهتر از تجزیه و تحلیل آماری نتایج FT (و از این لحاظ همچنین نتایج کشورهای عضو) از نظر انتخاب ، آموزش و نظارت بر بازرسان است: گزارش های DIF و تجزیه و تحلیل تقلب از عناصر ، انبوهی از داده ها با اشاره به نقاط ضعف یا زمینه های بهبود در عمل راستی آزمایی.

---

[1] بسیاری از مطالعات بین المللی اعمال می شود مدل غیرمتمرکز برای ترجمه / سازگاری: نهادهای شرکت کننده (کشورها یا مناطق) ابزارهای خود را تولید یا سازگار می کنند ، در حالی که راهنمایی و تضمین کیفیت (قبل ، حین و بعد از آن) به عهده پیمانکاران مجری طرح است.

cApStAn چگونه می تواند کمک کند

cApStAn به عنوان یک آژانس کنترل کیفیت زبانی مستقل ، می تواند در بسیاری از مراحل پروژه های چند زبانه شما مداخله کند: از بهینه سازی منبع تا تیم های آموزش ترجمه ، از مستند سازی مناسب تا اعتبار سنجی آزمون ها و پرسشنامه ها ، از تجزیه و تحلیل تعصب زبان گرفته تا تعصب نسبت به مدیریت حافظه ترجمه شده در داخل چرخه های مطالعه

برای بحث در مورد نیازهای خود با ما در اینجا تماس بگیرید