Analisis Fairnes Klasifikasi Sentimen Terhadap Isu Revisi Uutni Menggunakan Indobert Berdasarkan Demographic Parity Pada Kelompok Gender

Abstract

Media sosial  menjadi sarana utama masyrakat dalam menyalurkan aspirasi pikiran terhadap kritik kebijakan pemerintah. Tagar #TolakRevisiUUTNI merupakan sebuah ungkapan kekecewaan masyarakat terhadap revisi yang menuai kontroversi. penelitian ini bertujuan untuk mengklasifikasi sentimen dan mengkaji hubungan gender dan kebijakan tersebut berdasarkan perbandingan beberapa model dan melakukan evaluasi fairness serta menerapkan mitigasi terhadap bias yang muncul. IndoBERT (indobenchmark/indobert-base-p1) yang akan di terapkan dalam penelitian ini, dengan parameter pelatihan 3 epoch, 16 batch size dan learning rate 2e-5. dataset yang sudah di labeli manual oleh dua annotator dan melakukan evaluasi terhadap hasil pelatihan  pada model model dan juga mitigasi terhadap bias dengan salah satu teknik mitigasi fairness   yaitu Demographic Parity. Hasil penelitian menunjukkan bahwa Model 3, dengan hasil terbaik dalam hal performa dan juga trade off. Dari segi keadilan, Model 3 memiliki nilai Demographic Parity Difference (DPD) sebesar 0.000 dan Demographic Parity Ratio (DPR) sebesar 1.000, yang menunjukkan tingkat keadilan yang baik tanpa perbedaan signifikan antar kelompok gender. Studi ini menunjukkan bahwa distribusi data yang seimbang dan penggunaan metode mitigasi fairness sangat penting untuk mencegah bias dalam sistem analisis sentimen berbasis pembelajaran mesin. Hasil ini membantu mengembangkan model AI yang tidak hanya akurat, tetapi juga adil dan inklusif.