P10 - Supervise Learning (Prediksi) dan Contoh Algoritma Yang Ada Didalamnya

Dalam supervised learning, regresi adalah metode di mana model dilatih untuk memprediksi nilai numerik kontinu berdasarkan input yang diberikan. Misalnya, dalam kasus prediksi harga rumah, input bisa berupa luas bangunan, jumlah kamar, dan lokasi, sedangkan outputnya adalah harga rumah tersebut. Tujuan utama dari regresi adalah untuk menemukan fungsi yang dapat memetakan input ke output kontinu sedemikian rupa sehingga model dapat membuat prediksi yang akurat pada data baru. Proses ini melibatkan penyesuaian parameter model agar fungsi yang dihasilkan meminimalkan kesalahan antara nilai yang diprediksi dan nilai yang sebenarnya dalam data pelatihan.

Proses pelatihan model regresi dimulai dengan pengumpulan data yang relevan dan representatif. Data yang dikumpulkan biasanya terdiri dari berbagai fitur atau atribut yang dianggap memiliki pengaruh terhadap nilai yang ingin diprediksi. Setelah data dikumpulkan, langkah berikutnya adalah pra-pemrosesan data. Ini melibatkan pembersihan data untuk mengatasi nilai yang hilang atau anomali, serta transformasi data seperti normalisasi atau standardisasi agar fitur berada pada skala yang sama. Selain itu, fitur kategorikal perlu diubah menjadi format numerik melalui teknik seperti one-hot encoding agar dapat diproses oleh algoritma machine learning.

Setelah data siap, dataset biasanya dibagi menjadi dua subset: data latih dan data uji. Data latih digunakan untuk melatih model, sementara data uji digunakan untuk mengevaluasi kinerja model. Pemilihan algoritma yang tepat sangat penting dalam tahap ini. Ada berbagai algoritma regresi yang dapat digunakan, masing-masing dengan kekuatan dan kelemahan tersendiri. Misalnya, regresi linear sederhana sangat mudah diinterpretasikan namun mungkin tidak cukup fleksibel untuk menangkap hubungan yang kompleks dalam data. Sebaliknya, algoritma yang lebih kompleks seperti Gradient Boosting atau Neural Networks dapat menangkap hubungan yang lebih rumit namun membutuhkan lebih banyak data dan komputasi. Selama pelatihan, model dioptimalkan untuk meminimalkan kesalahan prediksi pada data latih melalui metode seperti gradient descent. Setelah model dilatih, kinerjanya dievaluasi menggunakan data uji dengan metrik seperti Mean Absolute Error (MAE), Mean Squared Error (MSE), dan R-squared (R²) untuk memastikan model generalisasi dengan baik ke data baru.

Algoritma dalam Supervised Learning (Prediksi/Regresi)

Berikut adalah beberapa algoritma yang umum digunakan dalam tugas prediksi atau regresi:

1. Linear Regression: Algoritma dasar yang memodelkan hubungan linier antara input dan output.
2. Polynomial Regression: Ekstensi dari linear regression yang memungkinkan hubungan polinomial antara input dan output.
3. Ridge Regression: Linear regression dengan regularisasi L2 untuk mengurangi overfitting.
4. Lasso Regression: Linear regression dengan regularisasi L1 yang dapat melakukan seleksi fitur otomatis.
5. Elastic Net Regression: Kombinasi dari L1 dan L2 regularisasi.
6. Support Vector Regression (SVR): Ekstensi dari Support Vector Machines (SVM) untuk masalah regresi.
7. Decision Tree Regression: Model berbasis pohon yang memprediksi nilai target dengan mempartisi ruang input.
8. Random Forest Regression: Algoritma ensemble yang menggabungkan beberapa pohon keputusan untuk meningkatkan akurasi prediksi.
9. Gradient Boosting Regression: Algoritma boosting yang menggabungkan banyak model regresi lemah untuk membentuk model kuat.
10. XGBoost Regression: Implementasi yang sangat efisien dari gradient boosting.
11. LightGBM Regression: Algoritma boosting yang efisien dalam memori dan kecepatan.
12. CatBoost Regression: Algoritma boosting yang dirancang khusus untuk menangani fitur kategorikal.
13. K-Nearest Neighbors Regression (KNN Regression): Algoritma non-parametrik yang memprediksi nilai berdasarkan kedekatan dengan tetangga terdekat.
14. Bayesian Ridge Regression: Varian dari ridge regression yang menggunakan pendekatan Bayesian.
15. Huber Regression: Algoritma yang tahan terhadap outlier dengan menggabungkan sifat-sifat linear dan robust regression.
16. Quantile Regression: Memodelkan kuantil tertentu dari distribusi target.
17. Principal Component Regression (PCR): Menggabungkan Principal Component Analysis (PCA) dengan regresi linier.
18. Partial Least Squares Regression (PLSR): Algoritma regresi yang menggabungkan fitur-fitur yang paling relevan dengan output.
19. Multilayer Perceptron Regression (MLP Regression): Jaringan saraf yang digunakan untuk tugas regresi.
20. Neural Network Regression: Algoritma berbasis jaringan saraf untuk memprediksi nilai kontinu.
21. Gaussian Process Regression (GPR): Algoritma probabilistik yang menggunakan proses Gaussian untuk memodelkan data.
22. AdaBoost Regression: Algoritma boosting yang menggabungkan beberapa model lemah untuk tugas regresi.
23. Bagging Regressor: Teknik ensemble yang menggabungkan prediksi dari beberapa model untuk meningkatkan akurasi.
24. Extra Trees Regression: Algoritma ensemble yang mirip dengan random forest tetapi lebih acak dalam pembentukan pohon.
25. Decision Stump Regression: Pohon keputusan dengan kedalaman satu, digunakan sebagai dasar dalam algoritma boosting.
26. Orthogonal Matching Pursuit (OMP): Algoritma regresi yang melakukan seleksi fitur dengan cara greedy.
27. RANSAC Regression (Random Sample Consensus): Algoritma yang tahan terhadap outlier dengan menggunakan subset acak dari data untuk pelatihan.
28. Theil-Sen Estimator: Estimator robust untuk regresi linier yang tidak sensitif terhadap outlier.
29. Poisson Regression: Digunakan untuk memodelkan hitungan data yang didistribusikan secara Poisson.
30. Elastic Net CV: Implementasi dari elastic net dengan validasi silang otomatis untuk memilih parameter optimal.

Setiap algoritma memiliki keunggulan dan kelemahan tergantung pada data dan masalah yang dihadapi. Memilih algoritma yang tepat memerlukan pemahaman mendalam tentang data, serta eksperimen untuk menemukan model yang paling sesuai.