چت جی‌پ‌تی(ChatGPT) و امتحانات حقوق[۱]
Joseph Weiler
مترجم: دکتر نرگس انصاری[۲]
دانش‌آموخته دکتری حقوق بین‌الملل دانشگاه شهید بهشتی
ویراستار علمی: دکتر پوریا عسکری
دانشیار دانشکده حقوق و علوم سیاسی دانشگاه علامه طباطبایی
در حال حاضر تصور این موضوع که هوش مصنوعی جهان ما را به روش‌های مختلفی متحول میکند، امری پیش پا افتاده است. بیان این نکته که به احتمال زیاد هوش مصنوعی بیشتر از انقلاب‌های فناورانه قبلی شرایط انسانی را به چالش می‌کشد، اگر نگوییم امری پیش پا افتاده است، حداقل موضوع مذاکرات و مباحثات گسترده عمومی است. بدیهی است در این رابطه راه حل آسان و متفق‌القولی به چشم نمی‌خورد. بیایید به یک مثال بحث برانگیز بپردازیم! صرف نظر از موضوعاتی چون فریفتن و اغفال، تصور کنید مثلا هوش مصنوعی یک قطعه موسیقی یا یک نقاشی یا شعر تولید کند؛ شفاف و واضح. با اذعان به این امر که هر اثر به ترتیب در سبک موتزارت، تیسین و شیمبورسکا به منصه ظهور رسیده است. فرض کنید “ماشین” کارش را به خوبی انجام داده است. آیا لذتی که از آن اثر هنری می‌برید، متفاوت از زمانی است که آن اثر توسط انسان یا به عبارتی گوشت و خون تولید شده باشد؟ کارهای ادبی موضوعی محل تردید است! به نحوی که من نیز نمی‌توانم واکنش خود را نسبت به این موضوع تفکیک و مشخص نمایم. همان‌طور که اشاره شد، نمونه‌های بالا تنها مثالی کوچک بودند. موضوع محل بحث، یک فرایند کوتاه یا آسان جهت تنظیم امور در یک قالب مدنی یا حقوقی نیست.
به هر حال ظهور هوش مصنوعی در معنای عام و یکی از در دسترس‌ترین ابزارهای آن، ChatGPT، در معنای خاص، چالش‌های دلهره‌‌آوری را در دنیای آموزش عالی ایجاد میکند؛ به ویژه در مورد برگزاری امتحانات. در این حوزه دیگر نمی‌توان از فریبکاری صرف نظر کرد. آن هنگام که دانشجویی در پاسخ به یک امتحان یا نوشتن یک مقاله یا پایان‌نامه کارشناسی ارشد و غیره، از ChatGPT استفاده میکند؛ بدون این که چنین چیزی را اظهار کند، به سادگی دست به تقلب و فریبکاری می‌زند – فریبکاری نسبت به معلمان و موسسه، دانشجویان و به معنای عمیق‌تر، خودشان.
زنگ خطر به صدا درآمده است: هنگامی که امتحانات کتبی را برنامه‌ریزی می‌نماییم، به ویژه زمانی که امتحانات به صورت “منبع باز” است و یا فراتر از آن، هنگامی که دانشجویان مجاز به بردن سوالات به خانه هستند(روشی که در ایالات متحده رایج است و در دیگر نظام‌های حقوقی کمتر دیده میشود)، چه باید کرد؟
این مورد دیگر معضلی برای آینده فرضی نیست. همکاران از سراسر جهان، استفاده فزاینده یا سوءظن استفاده از ChatGPT توسط دانشجویان را گزارش می‌دهند و از آن جایی که اغلب اوقات جوانان در استفاده از فناوری پیشرو هستند، به احتمال زیاد این معضل به طور تصاعدی گسترش پیدا خواهد کرد(به علاوه باید به این نکته اشاره کنم که در مجلات خودمان، مقالاتی را دریافت کرده‌ایم که با اطمینان می‌توان گفت توسط GPT نوشته شده‌اند و چگونه می‌توان فهمید که آیا موارد دیگری بوده‌اند که از چشمان ما مغفول مانده‌اند یا خیر. در این خصوص در سرمقاله بعدی اطلاعاتی بیشتری ارائه خواهد شد).
در سمینار علمی اخیری که در دانشکده حقوق دانشگاه نیویورک برگزار شد، مصادیقی از توانمندی‌های نسخه فعلی (۳.۵) ChatGPT را نشانمان دادند که حتی پیچیده‌ترین سوالات امتحانی را پاسخ می‌داد. نتایج در برخی موارد چشمگیر بود. حتی زمانی که پاسخ هوش مصنوعی بی‌نقص نبود که بتوان گفت شایسته گرفتن نمره الف است؛ در موارد متعددی شایستگی کسب نمره قبولی و حتی بالاتر از نمره ب را داشت. در حال حاضر نسخه ۴ ChatGPT در دسترس است و گفته میشود قابلیت‌های بیشتری دارد که همین امر، ما را با چالش حادتری روبه‌رو میکند. به شما (و دانشکده شما) توصیه میشود که این نسخه را با تعدادی از سوالات امتحانی واقعی که در سال‌های قبل طراحی شده است، امتحان کنید. به احتمال بسیار زیاد شگفت‌زده و حتی شاید شوکه خواهید شد.
همان‌طور که پیشتر ذکر شد، مباحث فعلی در مجامع مختلف، معضل امتحانات را به وضوح به مسئله تقلب و انصاف تعریف می‌کنند. در نهایت هدف از امتحان، سنجش توانایی‌های دانشجو است و برخورداری از ChatGPT تفاوت چندانی با درخواست از شخص با تجربه‌تر دیگر برای نوشتن پاسخ‌ها ندارد. گرچه از ChatGPT می‌توان به عنوان یک موتور جست‌وجو نیز استفاده کرد- البته نه بهترین موتور جست‌وجو-؛ با این حال از آن جایی که در مرحله فعلی مرزها بسیار نامشخص است، باید از استفاده پنهانی از ChatGPT در پاسخ به امتحانات اجتناب شود و یا احتمالا به طور کلی منع شود.
آن هنگام که نوبت به امتحان و نمره دادن به عملکرد دانشجو می‌رسد، چالش ChatGPT در رابطه با امتحانات (چه امتحانات در کلاس و چه در خانه) و مقالات سمینار، خود را به صورت‌های متفاوتی نشان می‌دهد. راسا اعلام می‌کنم که وضعیت مقالات سمینارها بسیار هولناک‌تر است؛ چرا که وقتی از ChatGPT خواسته میشود تا مقاله یا نوع خاصی از مقاله را بنویسد و یا به سوالاتی بدون جواب مشخص پاسخ دهد، در بهترین حالت خود، قادر به انجام چنین کاری است. پرداختن به چالش مقاله سمینار را به زمان دیگری موکول می‌نمایم. همان‌طور که اشاره شد، چالش هوش مصنوعی در این بخش با توجه به نقاط قوت و ضعف نرم‌افزار رعب‌آورتر است. در نوشتار حاضر تاملات خود را به طور خاص محدود به چالش مربوط به امتحانات می‌کنم.
ما در ابتدای مسیر هوش مصنوعی و آموزش عالی هستیم و نهادهای دانشگاهی نیازمند زمان برای سازگاری با این موضوع هستند. با این وجود در حال حاضر معضل امتحانات با ما است و موارد زیر ممکن است چیزی بیشتر از راه حل‌های موقت احتمالی در طول دوران سازگاری طولانی‌مدت نباشند.
متداول‌ترین راه حل‌های مورد بحث، راه حل‌هایی هستند که استفاده از ChatGPT را در امتحانات ممنوع و راه‌هایی برای ضمانت اجرای آن پیدا می‌کنند.
در سرمقاله قبلی، «توصیه به دانش‌پژوهان جوان بخش هفتم: جدی گرفتن امتحانات»(جلد ۳۳: ۱)[۳]، تردید خود را نسبت به امتحانات شفاهی ۲۰ تا ۳۰ دقیقه‌ای به عنوان یک روش ارزیابی که در بسیاری از نظام‌های حقوقی مورد استفاده قرار می‌گیرد، ابراز کردم. حداقل در مورد این موضوع(ChatGPT)، همکارانم که از نقد من نسبت به امتحانات شفاهی ناراضی بودند باید خوشحال باشند. اما خوب یا بد با توجه به انتقادی که از امتحانات شفاهی دارم، نمی‌توانم این روش را به عنوان «راه حل» برای مشکل فعلی ارائه دهم. به نظر من این روش یک نفر را بیش از حد قربانی خواهد کرد. همان‌طور که در آن سرمقاله بیان شد، احتمالا ترکیبی از آزمون کتبی و شفاهی (همان‌طور که در مورد رساله‌های دکتری انجام میشود) ایده‌آل خواهد بود اما در بسیاری از موقعیت‌ها و موسسات عملی نیست.
بنابراین بله! من فکر می‌کنم که در مورد سایر اشکال امتحانات باید استفاده از ChatGPT را ممنوع کرد. با این حال اجرای این امر به سهولتی که به نظر می‌رسد نیست. در اکثر دانشگاه‌هایی که با آن‌ها آشنایی دارم، در امتحانات کلاسی دانشجویان مجاز به استفاده از رایانه خود هستند. این موضوع حتی بدون استفاده از ChatGPT، اساتید یا موسساتی که هنوز به آزمون‌های «کتاب بسته» اعتقاد دارند(من اعتقاد ندارم) را به چالش می‌کشد. با این حال ما با فناوری‌هایی روبه‌رو هستیم که هدفشان جلوگیری از دسترسی دانشجویان به منابع اینترنتی و حتی دانلود منابع در رایانه‌هایشان است. همچنین می‌دانیم که برای بسیاری از «فناوری‌های مسدودکننده»، به سرعت یک «فناوری ضد مسدودکننده » به وجود می‌آید و هرگز مشخص نیست که چه کسی در این بازی جلوتر است.
برای آموزش آنلاین که به طور فزاینده‌ای (حتی پس از دوران کووید) متداول شده است، چالش ChatGPT بیشتر هم هست. دوره‌ها و امتحانات آنلاین به این معنی است که امتحان «در خانه» برگزار میشود. مهم نیست که نرم‌افزار آزمون آنلاین ما چقدر پیچیده باشد؛ اگر رویکرد ممنوعیت استفاده از هوش مصنوعی را در پیش بگیریم، چگونه می‌توانیم اطمینان حاصل کنیم که دانشجو سرخوشانه از یک دستگاه ثانویه که روی آن ChatGPT نصب شده است، استفاده نمی‌کند و سپس نتایج حاصل از آن را به کامپیوتر اصلی خود منتقل نمی‌کند؟
یک راه حل جادویی که مورد بحث قرار گرفته، آن است که پلتفرم هایی که تولیدکننده برنامه‌های ChatGPT هستند، قانونا ملزم به داشتن واترمارک خودکار روی محصولات خود شوند. این تنها یک خیال واهی است! چه چیزی می‌تواند مانع دانشجویان متقلب شود تا متن تولید شده توسط ChatGPT (با واترمارک) را به صورت دستی کپی نکرده و وارد برگه امتحان نکنند؟(منطقا کپی و پیست مستقیم به علت باقی ماندن واترمارک امکان‌پذیر نیست.)
من اخیرا معضل دوره آنلاین را شخصا تجربه کرده‌ام. در حال حاضر به عنوان دانشجو در مقطع کارشناسی ارشد آنلاین ثبت نام کرده‌ام. در امتحانات باید پاسخ را با دست بنویسیم(!) و دو دستگاه(تلفن، آیپد و غیره) با دوربین روشن داشته باشیم تا مراقبان بتوانند از عدم استفاده از منابع متفرقه اطمینان حاصل کنند. آدم نمی‌داند بخندد یا گریه کند… به علاوه اگر مراقب، انسان نباشد احتمالا مجموعه دیگری از مسائل پدیدار خواهد شد؛ از نقص‌های مختلف تشخیص چهره گرفته تا موارد مشابه دیگر.
با این حال همه این‌ها تا حدودی مرا به یاد فریادهای ترسناک “وا اسفا” در دهه ۱۹۷۰ می‌اندازد که ماشین حساب‌های الکترونیکی دستی ارزان‌قیمت معرفی شدند و دانش‌آموزان شروع به آوردن آن‌ها به مدرسه کردند. واکنش اولیه این بود؛ آن‌ها را ممنوع کنید! آن‌ها را ناپدید کنید! آن‌ها را غدقن کنید! با این وجود، این یک نبرد از قبل شکست خورده بود. امروزه فرض بر این است که دانش‌آموزان حتی در مقطع ابتدایی از ماشین حساب‌های دستی (که در هر تلفن هوشمندی موجود است) استفاده خواهند کرد و ما به سادگی روش تدریس و بررسی علم حساب و ریاضیات را با آن تطبیق داده‌ایم.
هر چه باشد، این فرصتی برای یادآوری امانت‌داری به دانشجویانمان است. در این‌جا فرمولی وجود دارد که من با آن انس گرفته‌ام:
اگر در این کلاس تقلب کنید، بهترین سناریو آن است که گیر نیفتید و معدلتان کمی بالاتر برود… پس از شروع اولین کارتان، دیگر هیچ کس از شما جویای معدلتان نخواهد شد. برای به دست آوردن آن مزیت‌های موقتی، باید با وجدان خود بی‌رحمانه برخورد کنید و بدین ترتیب در گام بعد، صدای آرام وجدانتان را آسان‌تر از قبل نادیده خواهید گرفت.[۴]
آیا این فرمول مشکل را حل خواهد کرد؟ ممکن است با بدبینی لبخند بزنید یا کج‌خلقی کنید اما این بدان معنا نیست که این نوع پیام ها نباید در کلاس شنیده شوند. بالاخره و در نهایت همه ما استاد هستیم.
قصد دارم به طور آزمایشی، رویکردی کاملا متفاوت را برای مسئله ChatGPT در امتحانات پیشنهاد کنم. مانند پزشکی که در آن هوش مصنوعی به طور فزاینده‌ای در روش‌های تشخیصی مورد استفاده قرار می‌گیرد، به احتمال زیاد هوش مصنوعی به طریقی، بخشی از فعالیت‌های حقوقی خواهد شد؛ در واقع در حال حاضر نیز درگیر فعالیت‌های حقوقی شده است. در صورتی که این گونه باشد، اگر در طراحی دروس (و به تبع آن امتحانات) سرمان را همچون کبک در برف فرو و وانمود کنیم که هوش مصنوعی وجود ندارد، غفلت کرده‌ایم. منظورم این نیست که صرفا دوره‌‌هایی داشته باشیم که به هوش مصنوعی و قانون می‌پردازند و مسائلی مانند مسئولیت را مطرح می‌کنند، مثلا زمانی که هوش مصنوعی نقص پیدا میکند و موجب خسارت میشود. در عوض، منظور من ادغام هوش مصنوعی از جمله ChatGPT در دوره‌های منظم آموزشی همه موضوعات حقوقی است.
در ابتدا یک خبر خوب! حداقل در وضعیت فعلیِ هوش مصنوعی از جمله ChatGPT، هوش مصنوعی قادر نیست پیش‌نیازهای آموزش حقوقی و حتی شاید به طرز شگفت‌آوری، روش‌های سنتی حقوقی که در حال حاضر مورد استفاده قرار می‌گیرند را مرتفع نماید. به بیان ساده‌تر با مثالی وام گرفته از تجربیات پزشکی، باید حقوق را بلد باشیم تا بفهمیم چگونه به شکل موثری از ChatGPT استفاده کنیم: چه سوالاتی بپرسیم(چیزی که به شما کمک میکند، زبان ویژه صنف حقوقی است)، چه وظایفی را به هوش مصنوعی اختصاص دهیم و چگونه می‌توان خروجی آن را هوشمندانه و مسئولانه برداشت نمود. بنابراین خیر! شما مجبور نیستید شیوه تدریس خود را به طور اساسی تغییر دهید. حداقل در حال حاضر ما معلمان بیکار نخواهیم شد!
با این حال این بدان معنا نیست که می‌توانیم دقیقا به همین شیوه کنونی به تدریس ادامه دهیم؛ خواه شما پیرو گروه خطابه و سخنرانی باشید یا به دسته تعاملی و به اصطلاح سقراطی تعلق داشته باشید. پیرو هر روشی که هستید، باید به دانشجویان خود در مورد حسن استفاده و سوء‌استفاده از هوش مصنوعی و ChatGPT و برنامه‌های مشابهی که بدون شک در آینده ظهور خواهند یافت، آموزش و تمرین دهید. این قضیه تفاوت چندانی با روشی که ما به دانشجویان خود می‌آموزیم که چگونه از LexisNexis، Westlaw و سایر منابع آنلاین «قیاسی» برای تحقیقات حقوقی استفاده کنند، ندارد.
بگذارید ابتدا با یک مثال موضوع را شفاف نمایم و سپس به موضوع امتحانات بپردازم. فرض کنید تدریس بخشی از حوزه حقوق اثباتی- به عنوان مثال مبحث مسئولیت دولت (در حقوق بین‌الملل) با مواد بی¬شمار طرح پیش‌نویس مسئولیت بین‌المللی دولت‌ها- را به پایان رسانده‌اید. یک استاد توانا به دنبال این رضایت درونی است که نه تنها دانشجویانش مواد متعدد پیش‌نویس را فهمیده باشند، بلکه توانایی تجزیه و تحلیل موضوعات پیچیده مسئولیت دولت، شناسایی مسائل طرح شده و انتخاب مرتبط‌ترین ماده و در نهایت اِعمال آن مواد بر روی چنان مسائل پیچیده¬ای را داشته باشند. بنابراین در هر صورت لازمه یک شیوه تعلیمی شایسته، وجود دوره کارآموزی است که از طیف آموزشی ما پیروی نماید. به عنوان مثال می¬توان به صورت فرضی یا تجزیه و تحلیل یک پرونده پیچیده در کلاس و یا تکلیف خانه اشاره کرد. این کار، نه ثقیل است و نه افراطی!
وارد ChatGPT شوید! به عنوان مثال ممکن است موردی فرضی و یا پرونده‌ای را بررسی نماییم و از دانشجویان بخواهیم که چگونه سوالات ChatGPT را برای دستیابی به موثرترین پاسخ‌ها ساختاربندی می‌کنند. ممکن است خودمان مشکل یا مسائل را با GPT ایجاد و در اختیار دانشجویان قرار دهیم؛ سپس تجزیه و تحلیل نماییم که کجا مفید بوده و کجا گمراه‌کننده است. بنابراین دانشجویان مزایا و معایب استفاده از ChatGPT را تجربه خواهند کرد. تصور می‌کنم خوانندگان این متن متوجه ایده من شده‌اند. اضافه می‌کنم که این نوع تمرین همچنین توانایی استاد را برای طراحی امتحانات پیچیده، بدون نگرانی ناشی از GPT تقویت میکند.
بنابراین مشخص است که در حال حاضر تصوراتی در مورد چگونگی رویکرد طراحی امتحانات در دوره GPT وجود دارد. نمی‌خواهم وانمود کنم که ناممکن را ممکن و شاه‌کلید را پیدا کرده‌ام! اما اگر کسی این دیدگاه را بپذیرد که هوش مصنوعی در هر صورت ماندگار است و به عنوان بخشی از آموزش عالی حقوقی، به طریقی بخشی از کارهای حقوقی خواهد بود، لازم است مباحثه‌ای جدی در این موضوع آغاز شود. پیشنهادهای من به دنبال برانگیختن چنین بحثی، درخواست نقد و ایجاد رویکردهای متنوع‌تر و شاید پیچیده‌تر است.
اکنون سه راه حل خاص و انحصاری برای مقابله با مسئله استفاده از GPT در امتحانات حقوقی را پیشنهاد می‌کنم:
۱- مجموعه‌ای از سوالات با موضوعات مختلف(به سرمقاله من در مورد امتحانات مراجعه کنید)[۵] که در امتحانات قبلی طرح کرده‌اید را انتخاب نمایید. ابتدا خودتان آن‌ها را وارد GPT کنید. به سرعت متوجه خواهید شد که هوش مصنوعی به چه سوالاتی به خوبی یا حداقل قابل قبول پاسخ می‌دهد و در کدام سوالات ضعیف عمل میکند. بنابراین مدل سوالی که می‌توانید بدون نگرانی از GPT طراحی کنید را شناسایی خواهید نمود. همگام با توسعه نرم‌افزار، لازم است هر از چند گاهی این کار را تکرار کنید. هنگامی که در امتحان خود سوالی را طرح می‌کنید که در این دسته قرار می‌گیرد، باید ابتدا خودتان با استفاده از GPT به طور واقعی و در عمل آن را بررسی کنید. به احتمال زیاد، همان‌طور که از استاد حقوق و فناوری خودمان، توماس استرینز، آموختم متوجه خواهید شد که ChatGPT به هنگام مواجهه با سوالات امتحانیِ مقاله‌گونه و بدون پاسخ مشخص، بسیار عالی و در برابر مسائل واقعی پیچیده بسیار ضعیف عمل میکند.
۲- ممکن است متوجه دسته‌ای از سوالات شوید که GPT در حد قابل پذیرشی به آن‌ها پاسخ می‌دهد. شاید در حد الف نباشد اما مثلا ب یا ب منفی بگیرد. در این حالت، می‌توان راه حل دیگری را پیش گرفت. سوالات را طراحی و سپس وارد GPT نمایید. در نهایت، سوالات و پاسخ GPT را در برگه امتحانی در مقابل دانشجویان بگذارید و از آنان بخواهید ابتدا به پاسخ GPT نمره دهند و سپس نقاط ضعف و اشتباهات پاسخ مذکور را شناسایی کنند. این روش به طریق دیگر که در توییتی بسیار متفکرانه توسط دیو هافمن پیشنهاد شده است، این گونه است که از دانشجویان بخواهیم که پاسخ ارائه شده توسط ChatGPT را ارزیابی نمایند و آن را ارتقا دهند. یکی از مزایای این رویکرد این است که می‌تواند نوع استفاده از GPT را در شرکت‌های حقوقی شبیه‌سازی کند. این روش برای هر دو مدل از سوالات دکترینال و غیر دکترینال کارآمد است.
۳- در فرضی که GPT را در دوره‌های آموزشی ادغام نموده‌اید و قصد دارید مهارت دانشجویان خود را شناسایی کنید، می‌توان راه حل دیگری را پیشنهاد داد. سوال را طراحی کنید(مجددا تاکید میشود که از نوع سوالات مقالات‌گونه نباشد، مانند این سوال که “حقوق بین‌الملل تا چه اندازه از مشروعیت دموکراتیک برخوردار است؟”). وظیفه دانشجویان آن است که سوال را به اجزای آن تقسیم کرده و موثرترین دستورالعمل‌های GPT را به شکل قاعده درآورند. این کار، نوعی یادآوری به دانشجویان (و البته خود ما) است که بدون مطالعه دقیق حقوق به روش سنتی، استفاده از GPT اگر نگوییم بی فایده، حداقل ابزاری معیوب خواهد بود.
تصور می‌کنم بسیاری از اشخاص نمی‌خواهند تا بدین حد در این مسیر پیش بروند. اما باید در نظر داشته باشیم که احتمالا استفاده از هوش مصنوعی در فعالیت حقوقی افزایش می‌یابد و برخی از دانشجویان ما صرف نظر از موعظه‌ها و سخنرانی‌های ما از آن استفاده خواهند کرد. به هر طریق، راه گریزی از چالش GPT قابل تصور نیست.[۶]
[۱] https://www.ejiltalk.org/chatgpt-and-law-exams/
[2] Joseph Weiler سردبیر مجله اروپایی حقوق بین‌الملل است. وی به عنوان رییس «ژان مونه» اتحادیه اروپا در دانشکده حقوق دانشگاه نیویورک و عضو ارشد مرکز مطالعات اروپایی Minda de Gunzburg در هاروارد مشغول به کار است. متن زیر با زبانی کمتر رسمی و غالبا محاوره‌ای نگارش شده است. لذا تلاش مترجم به هنگام ترجمه، آن بوده است که ضمن وفاداری به متن اصلی، منظور نویسنده را با الفاظ مناسب به مخاطب منتقل نماید./توضیح مترجم
[۳] On My Way Out – Advice to Young Scholars VII: Taking Exams Seriously (Part 1); Vital Statistics; In This Issue; In This Issue – Reviews, European Journal of International Law, Volume 33, Issue 1, February 2022, Pages 3–۱۰,
[۴] L. L. Sargeant, ‘Cheating with ChatGPT’, First Things, 6 April, 2023.
[5] On My Way Out, op. cit
[6] ویراستار ادبی: صادق بشیره(گروه پژوهشی آکادمی بیگدلی)