Google tengah mengembangkan kemampuan agen cerdas Gemini agar dapat melakukan tindakan langsung dalam aplikasi di ponsel Android pengguna. Fitur ini memungkinkan Gemini menjalankan perintah seperti memesan secara online dan memesan layanan transportasi tanpa perlu interaksi manual pengguna pada perangkat. Dengan demikian, proses tugas sehari-hari bisa berjalan lebih efisien dan otomatis.
Penemuan fitur ini berasal dari analisis kode versi beta aplikasi Google 17.4 yang memperlihatkan fitur bernama "Get tasks done with Gemini" atau "Selesaikan tugas dengan Gemini." Fitur ini menggunakan teknologi yang disebut "screen automation" yang memungkinkan Gemini mengendalikan aplikasi pihak ketiga secara langsung. Pengguna dapat mengaktifkan kemampuan ini untuk aplikasi tertentu di perangkat Android 16 QPR3 ke atas.
Kemampuan Gemini dalam Mengontrol Aplikasi
Fitur screen automation memungkinkan Gemini bekerja layaknya asisten yang dapat mengakses dan menavigasi antarmuka aplikasi, sehingga bisa memproses pemesanan atau pemesanan layanan dari nama pengguna. Contohnya adalah memesan makanan secara daring atau memesan perjalanan taksi tanpa pengguna harus mengetik atau memilih menu satu per satu. Hal ini menjadi lompatan besar dari kemampuan layanan AI sebelumnya yang hanya memberikan saran atau bantuan suara.
Menurut dokumen yang ditemukan dalam kode, Google memberi nama fitur ini sebagai "bonobo" secara internal. Pengguna yang mengaktifkan fitur tersebut juga akan diberi peringatan bahwa “Gemini dapat membuat kesalahan,” sehingga tanggung jawab atas tindakan yang dijalankan tetap berada pada pengguna. Pengguna juga bisa menghentikan perintah agen kapan pun dan mengambil alih kendali secara manual.
Perhatian Khusus pada Privasi dan Keamanan
Google juga menekankan aspek privasi dalam penggunaan fitur ini. Karena Gemini akan menggunakan screenshot yang diambil selama proses otomatisasi, tangkapan layar tersebut dapat diperiksa oleh reviewer terlatih dan digunakan untuk meningkatkan layanan Google. Pengguna diingatkan untuk tidak memasukkan data pembayaran langsung melalui percakapan dengan Gemini serta menghindari penggunaan fitur ini untuk situasi darurat atau pekerjaan yang memerlukan informasi sensitif.
Dengan adanya fitur ini, Google tampaknya ingin menggabungkan kemudahan pengelolaan berbagai aplikasi dalam satu platform asisten AI. Gemini yang sebelumnya telah diperluas kemampuannya dalam membantu navigasi di Google Maps kini akan mampu turut menyelesaikan lebih banyak fungsi harian tanpa hambatan.
Langkah-Langkah Memanfaatkan Gemini untuk Kontrol Aplikasi
Berikut adalah tahapan yang mungkin diperlukan pengguna untuk menggunakan fitur screen automation Gemini:
- Memastikan perangkat menggunakan sistem operasi Android 16 QPR3 atau versi lebih tinggi.
- Mengunduh dan mengaktifkan versi beta aplikasi Google yang mendukung fitur ini.
- Mengaktifkan fitur "Get tasks done with Gemini" dari pengaturan Labs Google.
- Memberikan izin akses yang diperlukan oleh Gemini agar dapat mengontrol aplikasi tertentu.
- Memulai perintah yang akan dilaksanakan secara otomatis menggunakan asisten Gemini.
- Memantau dan menghentikan tugas otomatis kapan pun diperlukan untuk menghindari kesalahan.
Dengan pengembangan ini, Gemini berpotensi menjadi asisten AI yang lebih mandiri dalam membantu mengatur aktivitas sehari-hari pengguna Android. Fitur screen automation tidak hanya meningkatkan produktivitas tapi juga memperkenalkan cara baru menggunakan teknologi AI secara praktis dan interaktif.
Google masih mengembangkan dan menguji kemampuan ini untuk memperluas jangkauan aplikasi yang didukung. Pengguna disarankan untuk selalu memperbarui aplikasi Google dan sistem operasi agar bisa mendapatkan fitur terbaru saat resmi dirilis. Kemampuan Gemini dalam mengontrol langsung aplikasi pada ponsel Android ini menunjukkan tren kecerdasan buatan yang semakin terintegrasi dalam kehidupan digital sehari-hari.
