Catatan editor: Kisah ini mengawali buletin Future of Learning minggu ini, yang dikirim gratis ke kotak masuk pelanggan setiap hari Rabu dengan tren dan berita utama tentang inovasi pendidikan. Berlangganan hari ini!
Dalam beberapa bulan terakhir, teknologi bertenaga AI seperti ChatGPT dan BingAI telah menerima banyak perhatian karena potensinya untuk mengubah banyak aspek kehidupan kita. Sejauh mana itu akan direalisasikan masih harus dilihat.
Tapi apa yang tampaknya hilang dari percakapan adalah bagaimana teknologi — terutama yang didukung oleh AI dan pembelajaran mesin — dapat memperburuk ketidaksetaraan rasial, jika kita tidak berhati-hati.
Dalam pendidikan, siswa kulit hitam dan Hispanik menghadapi ketidaksetaraan di sekolah setiap hari, baik melalui tindakan disipliner, penempatan kursus, atau konten yang tidak relevan secara budaya. Perluasan alat teknologi yang sembrono ke dalam kelas dapat memperburuk diskriminasi yang sudah dihadapi oleh siswa kulit hitam dan Hispanik, para ahli memperingatkan.
Di bidang lain, risiko alat teknologi yang bias rasial menjadi relatif terkenal. Ambil teknologi pengenalan wajah. Penelitian telah menunjukkan bahwa algoritme dan kumpulan data analisis wajah berkinerja buruk saat memeriksa wajah wanita, orang kulit hitam dan coklat, lansia, dan anak-anak. Saat digunakan oleh polisi untuk tujuan pengawasan, teknologi tersebut dapat menyebabkan penangkapan yang salah atau bahkan kekerasan yang mematikan. Dalam industri perumahan, pemberi pinjaman hipotek memeriksa peminjam dengan mengandalkan algoritme yang terkadang secara tidak adil membebankan suku bunga yang lebih tinggi kepada pelamar Kulit Hitam dan Latin.
Para ahli mengatakan teknologi ini dapat menjadi bias rasial sebagian karena mencerminkan bias dan kerentanan desainer mereka. Bahkan ketika pengembang tidak menginginkan hal itu terjadi, bias bawaan mereka dapat dikodekan ke dalam produk, baik melalui algoritme yang cacat, kumpulan data yang bias secara historis, atau bias dari pengembang itu sendiri.
Pada tahun 2020, Nidhi Hebbar, mantan pimpinan pendidikan di Apple yang kemudian mempelajari bias rasial dalam teknologi pendidikan di Aspen Tech Policy Hub, ikut mendirikan Proyek Ekuitas Ed Tech. Tujuannya adalah untuk tidak hanya memberikan sekolah sumber daya yang mereka butuhkan untuk memilih produk teknologi pendidikan yang adil, tetapi juga meminta pertanggungjawaban perusahaan teknologi pendidikan atas alat yang dapat berdampak negatif terhadap siswa yang secara historis kurang terwakili.
“Seringkali perusahaan teknologi tampaknya tidak benar-benar memahami pengalaman siswa Kulit Hitam dan Coklat di kelas,” kata Hebbar. Ketika perusahaan teknologi membangun produk untuk sekolah, mereka bermitra dengan sekolah yang berada di daerah pinggiran kota kulit putih yang makmur atau bersandar pada pengalaman pendidikan karyawan mereka, katanya.
Terburu-buru untuk mengadopsi teknologi selama pandemi, kata Hebbar, bermasalah karena petugas pengadaan sekolah tidak selalu punya waktu untuk memeriksa alat teknologi dengan benar atau melakukan percakapan yang ketat dengan perusahaan teknologi.
Hebbar mengatakan dia melihat bias rasial di beberapa perangkat lunak pembelajaran yang dipersonalisasi yang tersedia untuk sekolah. Produk yang menggunakan teknologi asisten suara untuk mengukur pemahaman bahasa dan keterampilan kreasi siswa adalah salah satu contohnya.
“Seringkali perusahaan teknologi tampaknya tidak benar-benar memahami pengalaman siswa kulit hitam dan cokelat di kelas.”
Nidhi Hebbar, salah satu pendiri, Proyek Ekuitas Ed Tech.
“Jika tidak dilatih pada siswa dengan aksen, misalnya, atau [those who] berbicara di rumah dengan dialek yang berbeda, dapat dengan mudah mengetahui bahwa siswa tertentu salah dan siswa lain benar, dan itu dapat mematahkan semangat siswa, ”kata Hebbar. “Ini dapat menempatkan siswa pada jalur pembelajaran yang lebih lambat karena cara mereka mengekspresikan diri.”
Masalah seperti ini biasa terjadi ketika perusahaan teknologi pendidikan hanya mengandalkan data yang disediakan oleh sekumpulan sekolah tertentu yang ikut serta dalam studi, menurut Hebbar. Perusahaan teknologi sering tidak mengumpulkan data tentang ras karena masalah privasi siswa, katanya, juga tidak cenderung melihat cara kerja suatu produk untuk siswa dari latar belakang ras atau bahasa yang berbeda.
Hebbar mengatakan klaim perusahaan teknologi bahwa mereka tidak melacak ras karena masalah privasi data adalah penolakan. “Jika mereka tidak yakin bahwa mereka dapat melacak data dengan cara yang sensitif dan hati-hati,” katanya, “maka mereka seharusnya tidak melacak data siswa sama sekali.”
Terkait: ‘Jangan terburu-buru menghabiskan uang untuk teknologi pendidikan’
Proyek Ekuitas Ed Tech Hebbar, bekerja sama dengan Digital Promise, meluncurkan program sertifikasi produk pada tahun 2021 untuk mengakui perusahaan teknologi pendidikan yang berbagi rencana untuk memasukkan ekuitas rasial dalam desain mereka. Grupnya juga telah membuat AI dalam Education Toolkit for Racial Equity untuk membantu perusahaan selama proses desain mereka.
Perangkat itulah yang digunakan Amelia Kelly, chief technology officer dari SoapBox Labs, untuk memeriksa pekerjaan perusahaannya. Perusahaan yang pada tahun 2022 menjadi perusahaan pertama yang menerima sertifikasi tersebut, mengembangkan teknologi pengenalan ucapan yang dibuat khusus untuk mengenali ucapan anak dalam aksen dan dialek alami mereka.* Perusahaan juga menyediakan produknya ke perusahaan dan platform ed tech lainnya, seperti Ilmiah.
Kelly mengatakan bahwa saat karyawan membangun teknologi, mereka mencoba memperoleh “kumpulan data paling beragam yang kami bisa” sehingga teknologi tersebut akan bekerja “tidak hanya untuk sebagian kecil anak-anak di daerah yang makmur, tetapi untuk semua anak.” Kelly mengatakan tim SoapBox Lab telah memperkenalkan “peninjauan asumsi” bulanan, di mana mereka menantang asumsi mereka tentang segala hal mulai dari desain produk hingga pengujian.
Dia mendesak perusahaan teknologi lain untuk memastikan produk mereka tidak akan membahayakan siswa: “Sangat mudah untuk mengelabui diri sendiri dengan berpikir bahwa sistem Anda berfungsi padahal sebenarnya tidak jika Anda tidak membuat tes yang cukup representatif.”
Hebbar mengatakan dia juga khawatir bahwa teknologi yang dirancang untuk membantu administrator sekolah, khususnya dalam keputusan disipliner, merugikan siswa kulit hitam dan coklat. Karena lebih banyak sekolah menggunakan teknologi pengenalan wajah untuk melindungi dari kekerasan dan perilaku buruk di sekolah, dia khawatir perangkat lunak tersebut mungkin keliru memilih siswa kulit hitam atau coklat untuk disiplin karena kemungkinan dilatih berdasarkan data historis di mana siswa tersebut didisiplinkan pada tingkat yang lebih tinggi daripada kulit putih. atau siswa Asia.
Tetapi Hebbar dan pakar lainnya mengatakan kekhawatiran seperti itu seharusnya tidak menghentikan sekolah dan pendidik menggunakan teknologi atau melarang AI. Kuncinya, menurut Jeremy Roschelle, direktur eksekutif tim peneliti ilmu pembelajaran dengan organisasi nirlaba Digital Promise, adalah agar pendidik meminta dokumentasi bahwa perusahaan teknologi menangani masalah ini dengan serius, dan bahwa mereka memiliki rencana untuk mengatasi bias.
Dia mendorong pimpinan sekolah untuk melihat ke grup seperti Institute for Ethical AI in Education, AI4K12 dan EdSAFE AI Alliance, yang telah mengembangkan kerangka kerja dan pedoman etis untuk digunakan sekolah saat memilih teknologi baru untuk ruang kelas. AI Alliance mencakup sekitar 200 organisasi anggota, termasuk organisasi nirlaba dan edtech, yang berkumpul untuk mengidentifikasi langkah-langkah yang dapat diambil perusahaan untuk menilai bias dalam algoritme dan mendukung pendidik menggunakan AI, kata Jim Larimore, salah satu pendiri dan ketua.
“Sangat mudah untuk mengelabui diri sendiri dengan berpikir bahwa sistem Anda berfungsi padahal sebenarnya tidak jika Anda tidak membuat pengujian yang cukup representatif.”
Amelia Kelly, kepala petugas teknologi dari SoapBox Labs
Roschelle menyarankan pendidik untuk melihat area di sekolah mereka di mana teknologi digunakan, dan jika itu digunakan untuk mengotomatisasi proses yang dapat memiliki bias bawaan. Sistem yang digunakan untuk, katakanlah, mendeteksi kecurangan selama ujian yang diawasi, atau untuk memprediksi perilaku siswa dan merekomendasikan anak-anak untuk disiplin, mungkin bias – dan itu memiliki konsekuensi nyata bagi anak-anak, katanya.
Hikmahnya, kata Roschelle, adalah semakin banyak perusahaan yang mulai menangani masalah ini dengan serius dan berupaya memperbaikinya. Dia mengatakan ini, sebagian, karena karya advokat AI etis seperti Proyek Ekuitas Ed Tech Hebbar dan Renée Cummings, seorang profesor Universitas Virginia.
Hebbar mengatakan sekolah juga dapat secara proaktif memberi siswa dan pendidik alat untuk memahami cara kerja AI dan risiko yang terkait dengannya. “Literasi AI akan menjadi bagian yang sangat penting dari literasi informasi,” katanya. “Siswa benar-benar harus mengetahui cara berinteraksi dan memahami cara kerja alat ini.”
Generasi yang lebih muda perlu terpapar dengan alat-alat ini dan memahami cara kerjanya, katanya, sehingga mereka pada akhirnya dapat “masuk ke bidang ini dan membangun teknologi yang sesuai untuk mereka”.
*Koreksi: Kalimat ini telah diperbarui untuk mengklarifikasi bahwa SoapBox tidak berfokus secara eksklusif pada teknologi pendidikan.
Kisah tentang bias rasial dalam edtech ini diproduksi oleh The Hechinger Report, sebuah organisasi berita independen nirlaba yang berfokus pada ketidaksetaraan dan inovasi dalam pendidikan. Mendaftar untuk buletin Hechinger
Artikel terkait
Laporan Hechinger memberikan laporan pendidikan yang mendalam, berdasarkan fakta, dan tidak memihak, gratis untuk semua pembaca. Tapi itu tidak berarti bebas untuk diproduksi. Pekerjaan kami membuat pendidik dan publik mendapat informasi tentang masalah mendesak di sekolah dan kampus di seluruh negeri. Kami menceritakan keseluruhan cerita, bahkan ketika detailnya tidak nyaman. Bantu kami terus melakukannya.
Bergabunglah dengan kami hari ini.