Implementasi Mouse Virtual Berbasis Pengenalan Gerakan Tangan Menggunakan MediaPipe dan OpenCV

Main Article Content

Endang Ratnawati Djuwitaningrum
Dimas Rizqi Pangestu

Abstract

Seiring berkembangnya teknologi interaksi manusia dan komputer, manusia bisa berinteraksi dengan komputer tanpa harus menggunakan alat fisik seperti mouse. Salah satu caranya adalah dengan menggerakkan jari tangan di depan kamera (webcam), dan gerakan itu bisa dikenali untuk mengontrol komputer. Penelitian ini membuat sistem mouse virtual yang bisa mendeteksi gerakan jari secara waktu nyata (real-time) dan mengubahnya menjadi perintah untuk menggerakkan kursor, gerakan klik kanan, klik kiri, menggulir halaman (scroll), dan mengatur volume suara. Untuk mendeteksi 21 titik di tangan yang membantu sistem mengenali gerakan tangan, digunakan MediaPipe Hand Tracking. Dan untuk pengolahan gambar guna mengaktifkan fungsi mouse virtual seperti klik dan gerakan kursor, digunakan OpenCV (Open Computer Vision). Pengujian dilakukan pada jarak 30 cm dan 50 cm dari webcam, dengan pencahayaan dari bohlam LED sebesar 5 watt. Hasilnya, sistem bekerja sangat baik pada jarak 30 cm dengan tingkat keberhasilan 100%. Sedangkan pada jarak 50 cm, kinerja sistem sedikit menurun, terutama untuk klik kiri (70%) dan gerak kursor (80%). Secara keseluruhan, sistem ini berhasil menjalankan fungsi dengan baik, dengan tingkat keberhasilan rata-rata 95,8%. Sistem ini bisa dikembangkan lagi agar lebih maksimal untuk berbagai kebutuhan.

Article Details

Section
Articles

References

Lailia Rahmawati, Iqbhal Rizky Efendi, Izzatul Umami. “Prototyping Virtual Mouse Menggunakan Gestur Tangan Berbasis Machine Learning”. Jurnal Sains Komputer & Informatika (J-SAKTI) Volume 6 Nomor 2, September 2022, pp. 1002-1010. 2022

Aldy Andreansyah Himawan, Suci Aulia, Muhammad Iqbal . “Rancang Bangun Ai Virtual Mouse Berbasis Pengolahan Citra”. e-Proceeding of Applied Science : Vol.9, No.1 Februari 2023.

Rizualdi Fadli , Hadi Syaputra , A. Haidar Mirza, Nia Oktaviani. “Perancangan Artificial Intelegence Hand Tracking menggunakan Algoritma Pyramidal Lucas-Kanade Optical Flow”. Jurnal Pendidikan dan Konseling Volume 4 Nomor 4 Tahun 2022 E-ISSN: 2685-936X dan P-ISSN: 2685-9351.

Munir Oudah, Ali Al-Naji, and Javaan Chahl. “Hand Gesture Recognition Based on Computer Vision: A Review of Techniques”. Journal of Imaging J. Imaging 2020, 6, 73; doi:10.3390/jimaging6080073.

Muhammad Karunia Rahmadhika, Ahmad Muhammad Thantawi. “Rancang Bangun Aplikasi Face Recognition Pada Pendekatan CRM Menggunakan Opencv Dan Algoritma Haarcascade”. urnal IKRA-ITH Informatika Vol 5 No 1 Maret 2021.

Julius Sembiring, Vara Susilowati, Vinsensius Reinard, Meirista Wulandari. “Evaluasi Jarak Deteksi Antara Gestur Tangan Dan Kamera Webcam Dengan Metode Mediapipe”. Jurnal INTRO (Informatika dan Teknik Elektro), Vol. 2, No. 2, Desember 2023 e-ISSN 3025-602X.

Dody Khairianto, Rahmad Firdaus. “Penerapan Hand Gesture Recognition sebagai Media Kontrol Presentasi Aplikasi

Powerpoint”. JATI (Jurnal Mahasiswa Teknik Informatika), Vol. 8 No. 2, April 2024.

Imam Suyudi, Sudadio Sudadio , Suherman Suherman. “Pengenalan Bahasa Isyarat Indonesia menggunakan Mediapipe dengan Model Random Forest dan Multinomial Logistic Regression”. Jurnal Ilmu Siber dan Teknologi Digital (JISTED) Vol 1, No 1, 65-80, 2022.

Muhammad Karunia Rahmadhika, Ahmad Muhammad Thantawi. “Rancang Bangun Aplikasi Face Recognition Pada Pendekatan CRM Menggunakan Opencv Dan Algoritma Haarcascade”. Jurnal IKRA-ITH Informatika Vol 5 No 1 Maret 2021.

Muhammad Hermansyah, Nurul Fadillah. “Virtual Mouse Berdasarkan Warna RGB Menggunakan Metode Optical Flow Secara Real-Time”. Volume XXI No. 2 September 2019 P-ISSN 1410-5063, E-ISSN: 2579-3500 Akreditasi Ristekdikti, No: 21/E/KPT/2018.