Algoritma ve Hiç Tanışmadığı Bir Profesör Tarafından Hile Yapmakla Suçlandı

Bir topluluk kolejinde biyoloji dersi alan Floridalı bir genç bu yıl üzücü bir not aldı. Honorlock adlı bir start-up, Şubat ayındaki bir sınav sırasında onun şüpheli davrandığını belirtmişti. The New York Times’a gönderdiği bir e-postada, “bir algoritma tarafından haksız yere akademik sahtekârlıkla suçlanan” bir Siyah kadın olduğunu söyledi.

Bununla birlikte, olanlar basit bir algoritmik hatadan daha karmaşıktı. Birkaç insanı, akademik bürokrasiyi ve Amazon’dan Rekognition adlı otomatik bir yüz algılama aracını içeriyordu. 17 yaşındaki kızın ve sınava girerken ekranının kaydı da dahil olmak üzere kapsamlı veri toplanmasına rağmen, kopya çekmekle suçlamak nihayetinde bir insan yargısıydı: Ekrandan uzağa bakmak kopya çektiği anlamına mı geliyordu?

Pandemi, büyük bir grubu bir odada toplamak bir halk sağlığı tehlikesi haline geldiğinden, sınava girenleri uzaktan izleyen şirketler için bir patlama zamanıydı. Aniden milyonlarca insan evde tek başına dizüstü bilgisayarlarıyla bar sınavlarına, sınavlara ve quizlere girmeye zorlandı. Hile yapma cazibesini önlemek ve yapanları yakalamak için uzaktan gözetleme şirketleri, tuş vuruşlarını ve imleç hareketlerini algılayan, bilgisayarın mikrofonundan ses toplayan ve bir bilgisayarın kamerasından ekranı ve akışı kaydeden web tarayıcı uzantıları sunarak kullanılan gözetim yöntemlerini getirdi. kolluk kuvvetleri, işverenler ve ev içi istismarcılar tarafından akademik bir ortama dönüştürülür.

Boca Raton, Fla. merkezli Honorlock, oyun testleri olduğuna inandıkları sınıf arkadaşları tarafından hüsrana uğrayan birkaç işletme okulu mezunu tarafından kuruldu. Başlangıç, 2021’de dokuz milyon sınav yönetti ve kurstaki tüm testleri kapsamak için test başına yaklaşık 5 ABD Doları veya öğrenci başına 10 ABD Doları ücret aldı. Honorlock, büyük çoğunluğu pandemi başladığından beri yatırımcılardan 40 milyon dolar topladı.

Sınav katılımcılarını dürüst tutmak milyonlarca dolarlık bir endüstri haline geldi, ancak Honorlock ve ExamSoft, ProctorU ve Proctorio dahil rakipleri yol boyunca büyük bir geri tepme ile karşı karşıya kaldı. : yaygın aktivizm, teknolojinin sorunları hakkında medya raporları ve hatta bir Senato soruşturması. Gözetim altındaki bazı sınav katılımcıları, yazılımın istilası, aksaklıkları, sahte hile iddiaları ve her türden insan için eşit derecede iyi çalışmaması nedeniyle hüsrana uğradı.

Floridalı genç, kendisine karşı kanıtları alan dolandırıcılıkla suçlanan nadir bir örnek: bir saatlik Honorlock kaydından 50 saniyelik bir klip. Akademik sahtekârlıkla ilgili damgalama nedeniyle adının kullanılmamasını istedi.

İşaretli

Genç, hem lise diplomasını hem de önlisans derecesini kazanmak için özel bir programın son yılındaydı. Yaklaşık 40 öğrenci daha gencin biyoloji sınıfındaydı ama hiç tanışmadılar. Broward College’daki sınıf tamamen uzak ve eşzamansızdı.

Asenkron çevrimiçi eğitim, pandemiden önce bile büyüyordu. Öğrencilere daha esnek bir program sunar, ancak dezavantajları vardır. Geçen yıl, kayıtlı bir dersle ilgili sorusu olan bir sanat tarihi öğrencisi, profesörüne e-posta göndermeye çalıştı ve adamın yaklaşık iki yıl önce öldüğünü keşfetti.

Floridalı gencin biyoloji profesörü Jonelle Orridge yaşıyordu, ancak öğrencilerle etkileşimleri e-posta yoluyla, okumalar ve YouTube videoları atayarak gerçekleşti. Geçtiğimiz Şubat ayındaki sınav, gencin sınıfta girdiği ikinci sınavdı. Dizüstü bilgisayarını North Lauderdale’deki oturma odasına, sınıf müfredatında ve Honorlock açılır menüsünde belirtilen uzun bir kurallar listesine uyduğundan emin olarak kurdu: Yemek yemeyin veya içmeyin, telefon kullanmayın, başkalarını sınıfta bulundurmayın. oda, notları okumak için ekran dışına bakma vb.

Öğrencinin bir fotoğraf için dizüstü bilgisayarının kamerasının önünde poz vermesi, öğrenci kimliğini göstermesi ve ardından dizüstü bilgisayarını alıp kamerasını kullanarak Elinde kaçak malzeme olmadığını kanıtlamak için odanın 360 derecelik bir taraması. Bunların hiçbirine aldırış etmediğini söyledi, çünkü önlemlerin başkalarının hile yapmasını engelleyeceğini umduğunu söyledi.

Testin iyi geçtiğini düşündü, ancak birkaç gün sonra Dr. Orridge’den bir e-posta aldı.

“Honorlock tarafından işaretlendiniz,” diye yazdı Dr. Orridge. “Videonuzu inceledikten sonra, soruları yanıtlamadan önce sık sık aşağı ve ekrandan uzağa baktığınız gözlemlendi.”

Sınavdan sıfır alıyordu ve konu öğrenci işleri dekanlığına havale ediliyordu. Dr. Orridge, “Akademik sahtekârlıktan sorumlu bulunursanız, sıfır notu kalacaktır” diye yazdı.

“Bu bir hata olmalı” diye yanıtladı öğrenci bir e-postada. “Akademik olarak sahtekârlık yapmıyordum. Aşağıya bakmak akademik sahtekârlık anlamına gelmez.”

‘Tanrı’nın Sözü’

The New York Times videoyu inceledi. Gençlerin videosu oynatılmadan önce, ekran görüntüsünde diğer birkaç öğrencinin onur kilidi kayıtları kısa bir süreliğine görülebilir.

Öğrenci ve ekranı, testine sadece bir dakika kala, son derece şüpheli davranışı belirtmek için tasarlanmış en az bir kırmızı bayrak da dahil olmak üzere kısmi bir zaman damgası günlüğü gibi görünür. Öğrenci sınava sabah 8:29’da başlarken, dört soruyu gözden geçirir ve her birini 10 saniye boyunca bir kez okuduktan sonra aşağıya bakar gibi görünür. Hafifçe değişiyor. 50 saniyelik klipte hiçbir soruya cevap vermiyor.

Videoda neler olduğunu kesin olarak söylemek mümkün değil. Yapay zeka teknolojisinin doğru yaptığı şey, aşağı bakmasıydı. Ama ne yapmak için? Masaya, akıllı telefona veya notlara bakıyor olabilir. Video belirsiz.

Öğrenci, dekan ve Dr. Orridge ile görüntülü olarak bir araya geldiğinde, onlara düşünmek için aşağıya baktığını ve hafızasını canlandırmak için elleriyle oynadığını söyledi. Onlar sallanmadılar. Öğrenci, “yönergelere uymamaktan” “sorumlu” bulundu ve bunun sonucunda sınavda sıfır, sicilinde uyarı oluştu.

“Sınava girdikleri süre boyunca kim bir sınava bakar? Saçma. Dijital haklar kuruluşu Electronic Frontier Foundation’da teknoloji uzmanı olan Cooper Quintin, “İnsanlar böyle çalışmıyor” dedi. “Normal davranışlar bu yazılım tarafından cezalandırılır.”

Dartmouth Koleji’ndeki tıp öğrencilerinin yanlışlıkla işaretlediklerini iddia ettikleri çevrimiçi gözetleme yazılımını inceledikten sonra Bay Quintin, okulların dış uzmanların kopya kanıtlarını incelemesini önerdi. Bu sistemlerdeki en ciddi kusur insan hatası olabilir: Yapay zekaya sahip yazılımlar alarm verdiğinde aşırı tepki veren eğitimciler.

“Okullar ona Tanrı’nın sözü gibi davranıyor gibi görünüyor,” dedi Bay Quintin. “Bilgisayar hile yaptığınızı söylüyorsa, hile yapıyor olmalısınız.”

Honorlock’un sözcüsü Tess Mitchell, ürünleri tarafından işaretlenen davranışlarla nasıl başa çıkılacağı konusunda okullara tavsiye vermenin şirketin görevi olmadığını söyledi.

“Hiçbir durumda ‘hile yapanları’ kesin olarak tanımlamıyoruz – nihai karar ve hareket tarzı, tıpkı bir sınıf ortamında olacağı gibi, eğitmene ve okula bağlıdır,” dedi Bayan Mitchell. “Bir öğrencinin eylemlerini yorumlamak zor olabilir. Bu yüzden yapmıyoruz.”

Dr. Orridge, bu makale için yapılan yorum taleplerine yanıt vermedi. Broward Koleji’nden bir sözcü, öğrenci mahremiyet yasaları nedeniyle davayı tartışamayacağını söyledi. Bir e-postada, fakültenin Honorlock raporlarında gördükleri hakkında “ellerinden gelenin en iyisini yaptığını” söyledi. Sahtekarlık için ilk uyarının bir öğrencinin kaydında görüneceğini, ancak öğrencinin mezun olmasını engellemek veya başka bir kuruma kredi aktarmak gibi daha ciddi sonuçları olmayacağını söyledi.

Kararı kim verir

Honorlock daha önce yapay zekasının tam olarak nasıl çalıştığını açıklamamıştı, ancak bir şirket sözcüsü şirketin bir görüntü analizi olan Rekognition kullanarak yüz algılama gerçekleştirdiğini açıkladı. Amazon’un 2016’da satmaya başladığı araç. Rekognition yazılımı yüzdeki önemli noktaları (burun, gözler, kaşlar, ağız) arar ve ekranda görünenin bir yüz olduğuna dair bir güven puanı verir. Ayrıca yüzün duygusal durumunu, cinsiyetini ve açısını da çıkarabilir.

Honorlock, odada birden fazla yüz algılarsa veya sınava giren kişinin yüzü kaybolursa, bu, insanlar hayal kırıklığı içinde elleriyle yüzlerini kapattıklarında gerçekleşebilecek bir test katılımcısını şüpheli olarak işaretleyecektir, dedi Honorlock’tan Brandon Smith. başkan ve baş işletme görevlisi.

Honorlock, sınava girenleri izlemek için bazen insan çalışanlarını kullanır; Bir sınavda çok sayıda bayrak varsa, neler olup bittiğini öğrenmek için “canlı gözetmenler” sohbet yoluyla açılır. Son zamanlarda, bu gözetmenler, Rekognition’ın fotoğraflardaki veya posterlerdeki yüzleri, odadaki ek kişiler olarak yanlışlıkla kaydettiğini keşfetti.

Böyle bir şey olduğunda, Honorlock Amazon’un mühendislerine haber verir. Bay Smith, “Gerçek verilerimizi alıyorlar ve yapay zekalarını geliştirmek için kullanıyorlar” dedi.

Tanıma, Honorlock’un kullandığından bir adım önde olmalıydı. Bay Smith, Google’ın daha önceki bir yüz algılama aracının, çeşitli cilt tonlarına sahip kişilerin yüzlerini algılamada daha kötü olduğunu söyledi.

Ancak Rekognition ayrıca önyargıyla da suçlandı. Bir dizi çalışmada, bilgisayar araştırmacısı ve Algorithmic Justice League’in yönetici direktörü Joy Buolamwini, Rekognition da dahil olmak üzere cinsiyet sınıflandırma yazılımının daha koyu tenli kadınlarda en az işe yaradığını buldu.

Bir kişinin cinsiyetini belirlemek, bir yüzü tespit etmekten veya tanımaktan farklıdır, ancak Dr. Buolamwini bulgularını bir kömür madenindeki kanarya olarak değerlendirdi. 2019’da “İnsan yüzlerinde önyargı olduğu gösterilen bir sistem satarsanız, diğer yüz tabanlı ürünlerinizin de tamamen önyargısız olduğu şüphelidir” diye yazdı. Amazon Rekognition ile öğrencinin Honorlock videosu. Yüzde 99,9’luk bir yüz olduğundan ve üzgün olduğundan emindi ve öğrencinin erkek olduğundan yüzde 59 emindi.

Dr. Buolamwini, Floridalı öğrencinin ten renginin ve cinsiyetinin, algoritmanın performansını etkileyip etkilemediğine bakılmaksızın adını temize çıkarma girişimlerinde göz önünde bulundurulması gerektiğini söyledi.

Dr. Buolamwini bir e-postada “Teknik olarak ırk veya cinsiyetle bağlantılı olsun, renkli öğrencilere uygulanan damgalama ve varsayım, bir makine etiketi onay yanlılığı ile beslendiğinde daha da kötüleşebilir” diye yazdı.

İnsan unsuru

Pandemi yavaşladıkça ve sınava girenler tekrar yüz yüze toplanabildiklerinden, uzaktan gözetleme endüstrisi yakında daha az talep görebilir ve çok daha azıyla karşılaşabilir inceleme. Bununla birlikte, pandemi sırasında teknoloji etrafındaki yoğun aktivizm, en az bir şirketin ürününde büyük bir değişiklik yapmasına neden oldu.

Bir Honorlock rakibi olan ProctorU, artık profesörlerin incelemesi için videoları işaretleyen yalnızca yapay zeka ürünü bir ürün sunmuyor.

ProctorU’nun kurucusu Jarrod Morgan, “Fakültenin bunu yapmak veya düzgün bir şekilde yapmak için zamanı, eğitimi veya yeteneği yoktu” dedi. ProctorU’nun dahili verilerinin bir incelemesi, işaretlenmiş davranış videolarının zamanın yalnızca yüzde 11’inde açıldığını buldu.

Şüpheli tüm davranışlar şimdi, çoğu yurtdışında daha ucuz işgücü piyasalarında bulunan şirketin yaklaşık 1.300 gözetmeninden biri tarafından inceleniyor. Bay Morgan, bu müteahhitlerin sıkı bir eğitimden geçtiklerini ve yalnızca bir test katılımcısının yardım aldığına dair sağlam kanıtlar olması durumunda “bir ihlali teyit edeceklerini” söyledi. ProctorU geçen yıl dört milyon sınav yaptı; Bu testlerin üç milyonunu analiz ederken, şirkete göre 200.000’den fazlasının veya yaklaşık yüzde 7’sinin bir tür akademik suistimal içerdiğini buldu.

Genç, bu ay Broward Koleji’nden mezun oldu. Bir dolandırıcı olarak etiketlenmekten endişe duymaya devam ediyor ve bunun tekrar olabileceğinden korkuyor.

“Şimdi testler sırasında manken gibi olmaya çalışıyorum” dedi.