Brain2Qwerty hadir sebagai sebuah sistem Brain-Computer Interface (BCI) atau Antarmuka Otak-Komputer non-invasif yang dirancang khusus untuk menerjemahkan teks langsung dari aktivitas otak manusia. Sistem inovatif ini membuka kemungkinan baru dalam komunikasi dan interaksi antara manusia dan komputer, hanya dengan menggunakan pikiran.
Sistem ini memanfaatkan teknik deep learning (pembelajaran mendalam) yang canggih untuk mengolah sinyal electroencephalography (EEG) atau elektroensefalografi dan magnetoencephalography (MEG) atau magnetoensefalografi. Sinyal-sinyal otak ini kemudian diterjemahkan menjadi kalimat-kalimat yang diketik, seolah-olah peserta sedang mengetik pada keyboard (papan ketik) QWERTY standar. Proses ini dilakukan saat partisipan mencoba untuk mengetik menggunakan pikiran mereka.
Meskipun menjanjikan, sistem Brain2Qwerty saat ini belum beroperasi secara real-time (waktu nyata). Untuk saat ini, sistem masih memerlukan segmen-segmen MEG untuk diselaraskan dengan ketukan tombol (keystrokes). Artinya, analisis dan penerjemahan sinyal otak dilakukan setelah data perekaman aktivitas otak terkumpul.
Penelitian di masa depan akan difokuskan pada beberapa aspek penting, termasuk adaptasi tugas untuk eksperimen MEG agar lebih efisien, pengembangan arsitektur sistem yang dapat bekerja secara real-time, serta perancangan sistem AI yang memiliki kemampuan generalisasi yang kuat dan dapat bekerja secara robust pada berbagai partisipan dengan karakteristik otak yang berbeda.
Perbandingan Performa: MEG vs. EEG
Dalam pengujian sistem Brain2Qwerty, performa magnetoencephalography (MEG) dan electroencephalography (EEG) menunjukkan perbedaan yang signifikan. Hasil pengujian menunjukkan bahwa MEG mencapai tingkat kesalahan karakter (Character Error Rate) atau CER sebesar 32%. Angka ini jauh lebih rendah dibandingkan dengan EEG yang mencatatkan CER hingga 67%. Perbedaan yang cukup besar ini mengindikasikan keunggulan MEG dalam menerjemahkan aktivitas otak menjadi teks.
Hasil perbandingan performa ini memberikan gambaran yang jelas mengenai potensi MEG yang lebih besar untuk aplikasi BCI (Brain-Computer Interface) di masa depan. Akurasi yang lebih tinggi dalam menerjemahkan sinyal otak menjadikan MEG sebagai teknologi yang sangat menjanjikan untuk pengembangan sistem komunikasi berbasis pikiran yang lebih efektif dan andal.
Komponen Teknis dan Teknik NLP
Model Brain2Qwerty dibangun menggunakan beberapa komponen teknis utama yang bekerja secara sinergis untuk menerjemahkan sinyal otak menjadi teks yang bermakna. Model ini memanfaatkan modul convolutional (konvolusional), transformer (transformator), dan model bahasa. Penggunaan teknik Natural Language Processing (NLP) atau Pemrosesan Bahasa Alami juga memberikan kontribusi signifikan terhadap kinerja sistem secara keseluruhan.
Salah satu komponen penting dalam Brain2Qwerty adalah model bahasa character-level (tingkat karakter) 9-gram. Model bahasa ini dilatih menggunakan korpus Spanish Wikipedia, sebuah koleksi besar teks berbahasa Spanyol dari Wikipedia. Fungsi utama model bahasa ini adalah untuk memprediksi karakter selanjutnya yang paling mungkin muncul dalam sebuah kalimat. Dengan kemampuan prediksi ini, akurasi penerjemahan sinyal otak yang seringkali mengandung noise (gangguan) dapat ditingkatkan secara signifikan. Model bahasa membantu menyaring dan memperbaiki hasil terjemahan awal yang mungkin kurang sempurna.
Selain model bahasa, Brain2Qwerty juga mengintegrasikan teknik NLP lainnya untuk meningkatkan kemampuannya. Modul transformer digunakan untuk memberikan kontekstualisasi pada tingkat kalimat. Artinya, sistem tidak hanya menerjemahkan karakter atau kata secara terpisah, tetapi juga mempertimbangkan konteks kalimat secara keseluruhan untuk menghasilkan terjemahan yang lebih koheren dan bermakna. Selanjutnya, sistem ini juga memanfaatkan SequenceMatcher dari pustaka difflib untuk melakukan text preprocessing (pra-pemrosesan teks). SequenceMatcher membantu dalam mempersiapkan dan membersihkan data teks sebelum diproses lebih lanjut oleh model, sehingga meningkatkan efisiensi dan akurasi penerjemahan.
Detail Studi dan Analisis Kesalahan
Untuk menguji dan mengembangkan sistem Brain2Qwerty, data dikumpulkan dari 35 partisipan yang dipantau aktivitas otaknya menggunakan EEG dan MEG. Selama proses pengumpulan data, para partisipan diminta untuk mengetik kalimat-kalimat yang telah mereka hafal sebelumnya. Metode ini dipilih untuk memastikan adanya pola aktivitas otak yang konsisten dan terukur selama proses pengetikan.
Model Brain2Qwerty dirancang secara khusus untuk menerjemahkan produksi teks dari rekaman aktivitas otak non-invasif yang diperoleh melalui EEG dan MEG. Pendekatan non-invasif ini sangat penting karena memungkinkan pengumpulan data yang aman dan nyaman bagi partisipan, tanpa memerlukan prosedur medis yang rumit atau pembedahan.
Analisis kesalahan yang dilakukan terhadap hasil penerjemahan teks mengungkapkan temuan menarik. Ternyata, proses penerjemahan teks dari aktivitas otak tidak hanya bergantung pada keterampilan motorik yang terlibat dalam pengetikan. Faktor-faktor kognitif tingkat tinggi, seperti pemahaman tata letak keyboard (papan ketik) QWERTY dan kesalahan ketik yang umum dilakukan manusia, juga memainkan peran penting dalam akurasi penerjemahan. Temuan ini menggarisbawahi kompleksitas proses kognitif yang terlibat dalam pengetikan dan pentingnya mempertimbangkan faktor-faktor ini dalam pengembangan sistem BCI yang lebih canggih di masa depan.