Hai semuanya, apa kabar? Kali ini aku mau nulis beberapa “teori” yang aku perlu pelajari untuk pengembangan skripsiku. Yaitu ukuran statistik (metrik evaluasi) yang digunakan untuk mengukur seberapa akurat prediksi yang dilakukan oleh sistem.
MAE – Mean Absolute Error
MAE mengukur rata-rata besaran kesalahan antara nilai asli dan prediksi tanpa memedulikan arahnya (seperti positif atau negatif). Singkatnya, MAE merupakan ukuran untuk mengukur seberapa besar prediksi meleset.
MAE Menggunakan nilai absolut/mutlak karena bisa saja model melakukan over/underpredict. Misalnya:
- Prediksi 1: Asli 100, Prediksi 90 → Error = +10 (underpredict)
- Prediksi 2: Asli 100, Prediksi 110 → Error = -10 (overpredict)
Kalau kita jumlahkan: 10 + (-10) = 0. Seolah-olah model sempurna, padahal dua-duanya meleset. Maka dari itu kita gunakan nilai absolut/mutlak agar nilai error-nya bernilai positif (dari contoh di atas berarti nilai error dari kedua prediksi adalah 10).
Bukan berarti error negatif itu salah. Justru tanda positif/negatif bisa memberikan informasi arah kesalahan.
MAE kemudian menghilangkan arah tersebut dengan nilai absolut:
∣100−90∣=10
dan
∣100−110∣=10
Sehingga keduanya dihitung sebagai kesalahan sebesar 10.
Kita coba lagi. Misalnya ada data penjualan selama lima hari:
| Hari | Nilai Asli | Prediksi Model | Error | Error (Nilai Mutlak) |
|---|---|---|---|---|
| 1 | 100 | 95 | 5 | 5 |
| 2 | 200 | 190 | 10 | 10 |
| 3 | 150 | 160 | -10 | 10 |
| 4 | 300 | 280 | 20 | 20 |
| 5 | 250 | 245 | 5 | 5 |
Cara kerjanya adalah menghitung selisih mutlak dari setiap data, jumlahkan seluruh error, kemudian bagi dengan total jumlah data.
Jumlah semua error absolut: 5 + 10 + 10 + 20 + 5 = 50.
Dibagi dengan jumlah data: 50 / 5 = 10.
MAE = 10. Artinya rata-rata prediksi model meleset sekitar 10 unit dari nilai sebenarnya.
MAE: smaller is better
Nilai MAE juga mengikuti satuan yang diprediksi. Kalau targetnya penjualan dalam rupiah, MAE-nya rupiah. Kalau targetnya traffic dalam Mbps, MAE-nya Mbps.
RMSE – Root Mean Squared Error
RMSE akan memberikan “hukuman” lebih besar terhadap kesalahan yang besar. RMSE dapat digunakan (penting malah) apabila kita punya dua model dengan nilai MAE yang sama, namun ada perilaku yang berbeda (anomali(?)).
RMSE juga digunakan untuk mengukur besar kesalahan prediksi. Namun, RMSE akan memberikan pengaruh yang lebih besar terhadap error yang besar.
Sebelum dihitung rata-ratanya, nilai error akan dikuadratkan terlebih dahulu.
alur:
Error -> Kuadratkan -> Rata-rata -> Akar
Contohnya, kita memiliki dua model. Yaitu Model A dan Model B.
- Model A:
Error: 10, 10, 10, 10, 10 - Model B:
Error: 0, 0, 0, 0, 50
Model A memiliki error yang lebih konsisten. Sedangkan Model B memiliki kesalahan yang “drastis”. RMSE akan melihatnya dengan cara mengkuadratkan nilai error-nya:
10 ^ 2 = 10050 ^ 2 = 2500
Kesalahan/error pada Model B akan “lebih terlihat”. RMSE akan memberikan pengaruh/bobot yang lebih besar terhadap kesalahan tersebut dibandingkan MAE.
Analogi ringkas:
- MAE: Seberapa jauh prediksi meleset dari data asli?
- RMSE: Apakah ada kesalahan besar yang perlu diwaspadai?
RMSE: smaller is better
MAPE – Mean Absolute Percentage Error
ilustrasi dengan pembulatan
MAPE akan mengukur rata-rata kesalahan prediksi dalam bentuk persentase. Misalnya:
- Nilai asli = 100
- Prediksi = 90
- Error = 10
- Persentase = 10 / 100 * 100% = 10 %
Karena nilainya dalam bentuk persentase, nilai error bisa lebih mudah dibaca. Nilai 10 % di atas bisa dibaca sebagai rata-rata kesalahan prediksi sekitar 10% dari nilai asli.
MAPE: smaller is better
Tapi, MAPE dapat bermasalah ketika nilai aslinya adalah nol atau yang sangat mendekati dengan nol. Karena nilai pembagian dengan nol atau mendekati nol malah dapat menghasilkan persentase error yang besar.
Penutup
MAE, RMSE, dan MAPE merupakan metrik yang dapat digunakan untuk melihat seberapa baik model dalam melakukan prediksi. Masing-masing memiliki cara pandang yang berbeda terhadap error: MAE melihat rata-rata besar kesalahan, RMSE memberikan perhatian lebih terhadap kesalahan yang besar, sedangkan MAPE menunjukkan kesalahan dalam bentuk persentase.
Tulisan kali ini sampai di sini dulu ya. Sampai jumpa. Bye.