Chatbot dengan RAG untuk Sistem FAQ Pondok Pesantren menggunakan Model Retriever dan Generator

Abstrak

Pesatnya perkembangan teknologi informasi mendorong lembaga pendidikan, termasuk pondok pesantren, untuk menyediakan akses informasi yang lebih efisien. Saat ini, penyampaian informasi di pondok pesantren masih dilakukan secara manual, sehingga memakan waktu dan tenaga karena harus menjawab pertanyaan yang berulang dari wali santri. Penelitian ini mengembangkan chatbot FAQ berbahasa Indonesia menggunakan pendekatan Retrieval-Augmented Generation (RAG) yang menggabungkan model retriever dan generator untuk menghasilkan jawaban yang relevan dan alami. Model retriever yang digunakan meliputi SBERT, DPR, dan E5, sedangkan model generator terdiri dari IndoBART, IDT5, dan IndoGPT. Data dikumpulkan melalui observasi, wawancara, dan studi literatur. Sistem dirancang menggunakan pencocokan semantik berbasis vektor dan decoding autoregresif untuk menghasilkan jawaban. Evaluasi performa dilakukan dengan metrik Hit@1, BLEU, dan BERTScore. Berdasarkan Hasil penelitian menunjukkan bahwa kombinasi SBERT + IndoBART mencapai akurasi tertinggi sebesar 96%, diikuti SBERT + IdT5 sebesar 95%. Model E5 mencatat skor CSAT tertinggi sebesar 70% dan respon tercepat 0.066 detik, sementara RoBERTa memperoleh skor CSAT terendah 39%, sehingga kombinasi SBERT + IndoBART cocok diterapkan dalam chatbot FAQ PPS. Imam Syafi’i.