Mengukur Nada Percakapan Publik Tanpa Membaca Semua Unggahan

Kolom komentar atas kebijakan baru dapat dipenuhi keluhan, dukungan, gurauan, dan unggahan berulang dari akun yang sama. Tulisan yang paling keras mudah membentuk kesan kita tentang suasana percakapan.

Untuk mengetahui komposisinya, kita perlu menghitung kumpulan teks yang jelas batasnya. Membaca beberapa komentar yang kebetulan lewat belum cukup.

Masalahnya, jumlah tulisan dapat jauh melampaui waktu yang tersedia untuk membacanya. Daniel J. Hopkins dan Gary King menawarkan jawaban dalam artikel yang terbit di American Journal of Political Science pada 2010. Mereka mengembangkan metode untuk memperkirakan proporsi kategori teks dengan bantuan sebagian dokumen yang dibaca manusia.

Ada dua pekerjaan berbeda: memberi label tiap tulisan dan menghitung berapa bagian tulisan yang mendukung atau menolak. Program yang cukup tepat memberi label belum tentu tepat menggambarkan komposisi seluruh percakapan.

Delapan puluh jawaban benar bisa memberi gambaran yang keliru

Bayangkan ada 100 tulisan. Setelah dibaca dengan teliti, 40 termasuk negatif dan 60 positif. Sebuah program berhasil memberi label yang benar pada 80 tulisan. Sekilas, ketepatan 80 persen terdengar cukup meyakinkan.

Tetapi arah kesalahan menentukan hasil hitungnya. Jika 20 tulisan negatif keliru disebut positif, program akan melaporkan hanya 20 persen tulisan negatif. Jika kesalahan berjalan ke arah sebaliknya, angka negatif menjadi 60 persen. Ketepatan program tetap 80 persen, sementara gambaran percakapannya berubah jauh.

Contoh buatan ini menunjukkan mengapa akurasi label saja belum menjawab pertanyaan tentang proporsi. Arah kesalahan ikut menentukan gambaran akhirnya.

Pekerjaan manusia dimulai sebelum komputer menghitung

Manusia lebih dahulu menetapkan kategori dan memberi label pada sebagian teks. Contoh-contoh itulah yang membantu komputer mengenali pola bahasa setiap kategori.

Kategori harus sesuai pertanyaan. Pengumuman jadwal layanan, misalnya, belum tentu menunjukkan dukungan terhadap layanan. Kata yang terdengar positif pun dapat dipakai untuk menyindir.

Latihan berikut memakai kalimat rekaan untuk membedakan penilaian netral, informasi tanpa pendapat, dan tulisan di luar topik.

Dalam contoh blog pada artikel aslinya, penulis menggunakan tujuh kategori. Lima menunjukkan rentang dari sangat negatif sampai sangat positif. Dua lainnya menampung tulisan tanpa pendapat dan materi yang ternyata bukan blog. Pemisahan ini membantu agar semua dokumen memiliki tempat tanpa memaksa semuanya menjadi positif atau negatif.

Jika dua pembaca sering berbeda label, aturan kategorinya perlu diperjelas. Komputer yang lebih canggih tidak otomatis menyelesaikan ketidakjelasan makna tersebut.

Mencari campuran pola bahasa dalam banyak tulisan

Komputer mengubah teks menjadi data, misalnya tanda apakah kata tertentu muncul. Pola pada contoh yang sudah dibaca manusia lalu dibandingkan dengan pola seluruh kumpulan tulisan.

Sasarannya mencari campuran kategori yang paling sesuai dengan pola bahasa itu. Program menaksir bagian tulisan negatif, positif, dan kategori lain, tanpa harus menetapkan satu label pasti bagi setiap tulisan. Artikel menyebutnya pendekatan nonparametrik.

Simulator berikut menyederhanakan cara itu menjadi tiga kategori dan tiga pola. Ubah komposisinya untuk melihat perubahan pola gabungan.

Syarat pentingnya: bahasa dalam tiap kategori harus cukup sesuai antara contoh dan teks yang dianalisis. Jika cara orang mengeluh berubah jauh, contoh lama bisa menyesatkan meski jumlah keluhan yang dicari tetap dapat berubah.

Ukuran yang berbeda memilih pemenang yang berbeda

Penulis menguji metode pada beberapa jenis teks. Salah satu pengujiannya memakai 4.303 tulisan blog tentang George W. Bush. Data mula-mula dibagi menjadi bagian pelatihan dan pengujian. Agar tantangannya lebih berat, sebagian tulisan sangat negatif kemudian dikeluarkan dari bagian pengujian sehingga komposisinya berubah. Sebagai pembanding, mereka menguji empat varian SVM, algoritma komputer yang dilatih untuk memberi label pada dokumen.

Tabel 1 menunjukkan galat rata-rata proporsi sebesar 1,2 poin persentase untuk pendekatan nonparametrik mereka. Empat model pembanding menghasilkan galat 7,7, 7,7, 5,3, dan 23,2 poin persentase. Galat ini merangkum jarak antara proporsi yang diperkirakan dan proporsi yang diketahui dalam data uji.

Model linear paling tepat memberi label pada data baru di antara pembanding, sedangkan model polynomial lebih baik menghitung proporsi. Jadi, model terbaik bergantung pada pekerjaan yang hendak dilakukan, bukan pada satu angka akurasi saja.

Tidak perlu membaca semuanya, tetapi contoh yang dibaca tetap menentukan

Salah satu ilustrasi dalam artikel mengikuti percakapan blog tentang John Kerry di sekitar kontroversi ucapannya pada 2006. Analisis mencakup 10.000 tulisan, sementara 442 tulisan dari lima hari pada awal November dibaca dan diberi label manusia. Grafiknya memperlihatkan kenaikan bagian tulisan sangat negatif setelah peristiwa tersebut.

Sebanyak 442 dari 10.000 tulisan berarti sekitar 4,42 persen dibaca manusia. Ini bukan patokan bahwa membaca 4,42 persen selalu cukup. Kategori langka dan bahasa yang beragam dapat membutuhkan contoh lebih banyak.

Penulis membahas langkah awal sekitar 200 dokumen berlabel, lalu penambahan contoh jika hasil masih terlalu tidak pasti. Pada pengujian mereka, manfaat tambahan mulai mengecil di sekitar 500 dokumen. Jumlah yang dibutuhkan pada data lain tetap perlu diperiksa.

Untuk teks Indonesia, uji aturan label pada sindiran, singkatan, istilah daerah, dan bahasa yang benar-benar digunakan. Perubahan cara berbicara tentang isu dapat memerlukan contoh baru.

Enam puluh persen unggahan bukan enam puluh persen warga

Satu akun dapat menulis puluhan kali, sedangkan banyak warga tidak menulis sama sekali. Jika satuan hitungnya dokumen, setiap unggahan menambah pengamatan tanpa menunjukkan adanya orang baru.

Simulator ini memakai 100 akun rekaan: sepuluh menulis keluhan dan 90 menulis dukungan. Jika sepuluh akun tadi makin sering mengunggah, keluhan dapat mendominasi tulisan meski jumlah akunnya tetap.

Proporsi unggahan, akun, dan seluruh warga memiliki pembagi berbeda. Kata kunci, platform, periode, serta keputusan memasukkan unggahan ulang juga menentukan apa yang terhitung.

Membaca grafik sentimen dengan pertanyaan yang lebih tepat

Saat membaca grafik sentimen, cari dahulu satuan hitungnya: tulisan, akun, atau responden survei. Periksa pula topik, platform, dan periodenya. Label percakapan publik dapat merujuk pada kumpulan data yang sebenarnya sempit.

Baca definisi kategorinya. Keluhan tentang pelaksanaan belum tentu penolakan atas tujuan kebijakan. Informasi tanpa pendapat juga berbeda dari sikap netral.

Terakhir, periksa pengujian pada teks yang belum dipakai melatih program. Jika yang dicari proporsi, mintalah bukti ketepatan proporsi, bukan hanya ketepatan label tiap dokumen.

Pemantauan semacam ini dapat menunjukkan kapan keluhan meningkat dan percakapan mana yang perlu dibaca lebih dekat. Angka memberi arah; isi keluhan dan pengalaman penulisnya tetap perlu diperiksa.

Kita dapat mengurangi jumlah bacaan manusia tanpa menyerahkan seluruh penilaian kepada komputer. Caranya ialah menjaga mutu kategori, contoh, dan batas data, lalu menyebut hasil sesuai dengan apa yang benar-benar dihitung.