Simulasi Interaktif Regresi: Linear & Logistic Regression

Slide 2 - 13: Motivasi & Intuisi

How do we see the world? (Bagaimana Kita Memandang Dunia?)

Linear vs Non-Linear

🍪 Kasus Linear: Cookies vs Weight

Linear Model

"The more cookies I eat, the more weight I gain."
Jika variabel \(A\) naik, maka variabel \(B\) naik dengan pola arah yang konsisten.

• 1 cookie per hari +2 Kg berat badan

• 2 cookies per hari +4 Kg berat badan

• Pertanyaan: 3 cookies per hari? +6 Kg berat badan!

Coba Prediksi Berat Badan:

3 Cookies

Hasil Prediksi Garis: 6 Kg (Persamaan: \(y = 0 + 2x\))

😊 Mood vs Waktu (Non-linear)

Non-linear Model

"I am not necessarily always happier as time passes."
Jika \(A\) naik, nilai \(B\) bisa naik-turun bergantian secara dinamis.

• Menit 1: Baru bangun Happy 😊

• Menit 10: Tidak ada yang WA Angry 😡

• Menit 11: 1 WA masuk Happy 😊

• Menit 30: Mau ujian Nervous 😰

Poin Pengajaran di Kelas: Tidak semua fenomena di dunia bergaris lurus. Namun, untuk fenomena yang memiliki "consistent directions of changes", kita menggunakan Linear Regression!

Say it in Mathematics: Menghubungkan Titik Menjadi Garis (Slide 17 - 22)

Sumbu X: Jumlah Cookies Sumbu Y: Berat Badan (Kg)

Penjelasan Konsep

Dari data titik \((1, 2)\) dan \((2, 4)\), kita dapat menarik sebuah garis lurus yang melewati kedua titik tersebut.

\(y = \theta_0 + \theta_1 x\)

• \(\theta_0 = 0\) (Intercept / titik potong y)

• \(\theta_1 = 2\) (Slope / kemiringan garis)

Maka: y = 0 + 2x

Kekuatan Garis: Dengan model garis ini, kita bisa memprediksi penambahan berat badan untuk sembarang jumlah cookie:
• 3 cookies \(\rightarrow 2 \times 3 = 6\) Kg
• 5 cookies \(\rightarrow 2 \times 5 = 10\) Kg
• 10 cookies \(\rightarrow 2 \times 10 = 20\) Kg

💡 Catatan Dosen: Tekankan ke mahasiswa bahwa garis ini adalah representasi matematis (fungsi) dari fenomena dunia nyata yang kita amati.

Slide 32 - 45: Real-World Case

Kasus Nyata: Harga Rumah & Konsep Model Generalization

Luas Rumah (x) vs Harga (y)

Dataset Sampel Rumah (Slide 33)

Bentuk data umum dalam machine learning: \((x^{(i)}, y^{(i)}); i = 1, \dots, m\)

i	Luas Rumah (x) [m²]	Harga (y) [Juta Rp]

Pertanyaan Kunci Kuliah (Slide 33 & 35):

"What is the price of a house if the area is 558 m²?"

m²

Estimasi Harga: Rp 148.2 Juta

Dihitung dari model garis: \(\hat{y} = \theta_0 + \theta_1 (558)\)

Apa itu Model Generalization? (Slide 36-38)

Tujuan kita adalah memprediksi \(\hat{y}\) yang belum pernah dilihat (unseen) berdasarkan data baru \(\hat{x}\). Model yang baik adalah model yang dapat menggeneralisasi tren data, bukan sekadar menghafal.

Plot Sebaran Data & Pilihan Model Garis

Pilih model untuk melihat perbandingan (Slide 39 - 45)

Best-Fit Linear (Generalization, Slide 46): Garis terbaik yang meminimalkan total kuadrat error. Menangkap tren hubungan luas vs harga secara objektif.

Slide 59 - 67: Algoritma Pelatihan

Simulasi Interaktif Gradient Descent

Iterative Optimization

Aturan Pembaruan Simultan (Slide 41):

\[\theta_j := \theta_j - \alpha \frac{\partial}{\partial \theta_j} J(\theta)\]

Mulai dari tebakan awal parameter ("Start here!"), lalu secara berulang melangkah turun ke lembah ("down here... down again...") hingga mencapai minimum error ("stop here!").

Learning Rate (\(\alpha\)): 0.050

Dataset:

Skenario Kuliah:

🎯 Learning Rate Optimal (\(\alpha = 0.050\)): Penurunan nilai cost stabil dan konvergen mulus menuju dasar lembah minimum global.

Garis Regresi di Ruang Data y = 0.0 + 1.0x

Garis biru bergerak mendekati titik-titik data

Jejak Bola Turun di Lembah \(J(\theta)\) Cost: 12.45

Bola merah melangkah turun dari tebing ke dasar lembah

Kurva Penurunan Loss (\(J\) vs Epoch) Epoch: 0

Grafik konvergensi error menuju nilai minimum yang stabil

Parameter \(\theta_0\) (Intercept)

0.0000

Parameter \(\theta_1\) (Slope)

1.0000

Gradien \(\frac{\partial J}{\partial \theta_0}\)

0.0000

Gradien \(\frac{\partial J}{\partial \theta_1}\)

0.0000

Classroom Whiteboard: Perhitungan Manual

Contoh Perhitungan Step-by-Step Gradient Descent di Kelas

Bentuk Rumus:

Panduan Pengajaran untuk Dosen: Gunakan modul ini saat menulis atau memproyeksikan perhitungan manual di papan tulis. Data di bawah sengaja menggunakan bilangan bulat kecil (\(m = 3\) titik) agar mahasiswa dapat memverifikasi perkalian dan penjumlahannya secara langsung tanpa kalkulator saintifik.

Inisialisasi \(\theta_0\) (Intercept):

Inisialisasi \(\theta_1\) (Slope):

Learning Rate (\(\alpha\)):

Iterasi yang Ditampilkan: Epoch 1 (Iterasi Pertama)

1 Tabel Evaluasi Titik Data & Gradien Parsial

Data ke-i	Input \(x^{(i)}\)	Target Aktual \(y^{(i)}\)	Prediksi \(\hat{y} = h(x)\)	Error \((h - y)\)	Kuadrat \((h - y)^2\)	Gradien \(\theta_0\): \((h - y)\)	Gradien \(\theta_1\): \((h - y) \cdot x\)

2 Perhitungan Cost Function \(J(\theta)\)

3 Pembaruan Nilai Bobot \(\theta_0\) dan \(\theta_1\)

Hasil Pembaruan Setelah Epoch Ini: Parameter telah disesuaikan ke arah yang meminimalkan error. Perhatikan bahwa nilai Cost \(J(\theta)\) menurun!

\(\theta_0\): 0.00 \(\rightarrow\) 0.25

\(\theta_1\): 1.00 \(\rightarrow\) 1.55

\(J(\theta)\): 4.50 \(\rightarrow\) 0.58

Materi Penjelasan di Kelas (Derivasi Kalkulus)

Bagaimana Cara Menurunkan (Diferensiasi) \(J(\theta)\) ke \(\theta_0\) dan \(\theta_1\)?

Aturan Rantai (Chain Rule)

Banyak mahasiswa bingung dari mana datangnya rumus turunan di Slide 41 dan 46. Di bawah ini adalah langkah pembuktian matematikanya yang sangat jelas dan mudah dipahami:

1 Tuliskan Fungsi Biaya Secara Eksplisit

Model garis kita adalah \(h_\theta(x^{(i)}) = \theta_0 + \theta_1 x^{(i)}\). Masukkan ini ke dalam fungsi biaya \(J(\theta)\):

\[J(\theta_0, \theta_1) = \frac{1}{2} \sum_{i=1}^m \Big( \underbrace{\theta_0 + \theta_1 x^{(i)} - y^{(i)}}_{u^{(i)}} \Big)^2\]

2 Gunakan Aturan Rantai (Chain Rule)

Misalkan bagian dalam tanda kurung adalah \(u = h_\theta(x^{(i)}) - y^{(i)}\). Maka kita sedang menurunkan fungsi kuadrat \(\frac{1}{2} u^2\):

\[\frac{\partial}{\partial \theta} \left[ \frac{1}{2} u^2 \right] = \frac{1}{2} \cdot 2u \cdot \frac{\partial u}{\partial \theta} = u \cdot \frac{\partial u}{\partial \theta}\]

💡 Rahasia Elegan: Mengapa di slide ada angka \(\frac{1}{2}\)? Tujuannya semata-mata agar saat pangkat 2 diturunkan ke depan, angka \(2\) saling mencoret dengan \(\frac{1}{2}\) (\(\frac{1}{2} \times 2 = 1\)), sehingga turunannya bersih tanpa konstanta!

3 Turunan Terhadap \(\theta_0\) (Intercept)

Karena diturunkan terhadap \(\theta_0\), maka \(\theta_1 x^{(i)}\) dan \(y^{(i)}\) diperlakukan sebagai konstanta (turunannya = 0):

\[\frac{\partial u}{\partial \theta_0} = \frac{\partial}{\partial \theta_0} (\theta_0 + \theta_1 x^{(i)} - y^{(i)}) = 1 + 0 - 0 = \mathbf{1}\]

Masukkan kembali ke aturan rantai:

\[\frac{\partial J}{\partial \theta_0} = \sum_{i=1}^m \Big(h_\theta(x^{(i)}) - y^{(i)}\Big) \cdot 1 = \sum_{i=1}^m \Big(h_\theta(x^{(i)}) - y^{(i)}\Big)\]

Artinya: Gradien \(\theta_0\) adalah jumlah langsung dari seluruh error.

4 Turunan Terhadap \(\theta_1\) (Slope)

Karena diturunkan terhadap \(\theta_1\), maka \(\theta_0\) dan \(y^{(i)}\) adalah konstanta, sedangkan turunan dari \(\theta_1 x^{(i)}\) terhadap \(\theta_1\) adalah \(x^{(i)}\):

\[\frac{\partial u}{\partial \theta_1} = \frac{\partial}{\partial \theta_1} (\theta_0 + \theta_1 x^{(i)} - y^{(i)}) = 0 + x^{(i)} - 0 = \mathbf{x^{(i)}}\]

Masukkan kembali ke aturan rantai:

\[\frac{\partial J}{\partial \theta_1} = \sum_{i=1}^m \Big(h_\theta(x^{(i)}) - y^{(i)}\Big) \cdot \mathbf{x^{(i)}}\]

Artinya: Gradien \(\theta_1\) adalah jumlah error yang dibobotkan (dikalikan) dengan nilai input \(x^{(i)}\).

Intuisi Fisik / Geometris (Untuk Ditanyakan ke Mahasiswa di Kelas):

Mengapa turunan \(\theta_0\) tidak ada \(x\)?
Karena \(\theta_0\) adalah intercept yang menggeser garis ke atas atau ke bawah secara paralel. Pergeseran ini berdampak sama rata pada semua titik data, berapapun nilai \(x\)-nya.

Mengapa turunan \(\theta_1\) dikalikan \(x\)?
Karena \(\theta_1\) adalah slope yang memutar kemiringan garis. Semakin jauh suatu titik dari sumbu nol (\(x\) semakin besar), dampak rotasi garis terhadap perubahan ketinggian vertikal akan semakin besar (proporsional terhadap \(x\)).

Slide 46 - 50: Rangkuman & Praktik

Prosedur Pelatihan Regresi Linear & Kode R

Summary & Practice

Linear Regression: The Procedure (Slide 46)

Pick Initial Model

Pilih model awal \(h(\theta)\) dengan menginisialisasi parameter \(\theta\) secara acak (random guess).

Compute Cost Function

Hitung nilai fungsi biaya: \[J(\theta) = \frac{1}{2} \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})^2\]

Update Parameter

Perbarui \(\theta\) agar \(J(\theta)\) semakin kecil via Gradient Descent: \[\theta_j := \theta_j - \alpha \frac{\partial}{\partial \theta_j} J(\theta)\]

Repeat Until Converges

Ulangi langkah 2 dan 3 sampai garis konvergen (mencapai dasar lembah dengan error minimum).

Continuous vs Discrete (Slide 47)

Selama ini kita mengasumsikan target \(y\) adalah kontinu (misalnya harga rumah, berat badan, tinggi badan, suhu).

Bagaimana jika \(y\) diskret?

Misal: Lulus/Gagal (Pass/Fail), Ya/Tidak (Yes/No), 1/0. Ini membentuk pola non-linear dan mengarah ke tugas Klasifikasi (Classification), yang nantinya akan dipelajari menggunakan Logistic Regression.

Praktik R (Slide 49 & 50)

R Script

# Example 1: Simple Linear Regression (Regresi Linear Sederhana)
library(MASS)
lm.fit <- lm(medv ~ lstat, data = Boston)

# Check model summary & coefficients (Periksa ringkasan model)
summary(lm.fit)

# Plot data points & regression line (Visualisasi data & garis)
plot(Boston$lstat, Boston$medv)
abline(lm.fit, col = "red", lwd = 2)

# Example 2: Multiple Linear Regression (Regresi Linear Berganda)
lm.fit_all <- lm(medv ~ ., data = Boston)
summary(lm.fit_all)

Slide Kuliah: 9 Oktober 2022 (FSD Team UII)

Logistic Regression: Klasifikasi Variabel Diskret

Target Diskret: \(y \in \{0, 1\}\)

Transisi dari Regresi Linear ke Logistik:

Pada regresi linear, target \(y\) diasumsikan kontinu (misal harga rumah, berat badan).
"What if \(y\) is discrete? E.g., pass/fail, yes/true, 1/0, etc, that leads to nonlinear fashion and a classification task." (Slide 4).

Studi Kasus Slide 5:

• Input \(x\): Study hour (jam belajar)

• Target \(y\): Exam status (0 = Fail, 1 = Pass)

Plot Sebaran Jam Belajar vs Status Ujian

Pilih model untuk mengamati kegagalan garis linear vs sigmoid

Model Sigmoid (Slide 11): Fungsi logistik \(g(\theta^T x) = \frac{1}{1 + e^{-\theta^T x}}\) membentuk kurva "S" yang anggun. Outputnya selalu terikat di rentang \([0, 1]\), sempurna untuk probabilitas kelulusan!

Fungsi Sigmoid (Slide 11):

\(h(x) = g(\theta^T x)\)

\[h_\theta(x) = \frac{1}{1 + e^{-(\theta_0 + \theta_1 x)}}\]

Parameter \(\theta_0\) (Pergeseran / Shift): -9.0

Parameter \(\theta_1\) (Kecuraman Transisi S): 2.0

Ambang Batas Kelulusan (\(h(x) = 0.5\)): x ≈ 4.50 Jam

Simulasi Prediksi Mahasiswa Baru:

Jam Belajar: Jam

Nilai \(z = \theta_0 + \theta_1 x\): 0.00

Peluang Lulus P(Pass) = h(x): 50.0%

Keputusan (\(h \ge 0.5\)): LULUS (1)

Slide 12: Cost Function

Binary Cross-Entropy (Log Loss)

Mengapa Tidak Pakai MSE?

Rumus Persis Sesuai Slide 12:

\[J(\theta) = \sum_{i=1}^m \Big( -y^{(i)} \log h_\theta(x^{(i)}) - (1 - y^{(i)}) \log(1 - h_\theta(x^{(i)})) \Big)\]

Jika Mahasiswa Lulus Sebenarnya (\(y = 1\)):

Suku kedua \((1 - y) \log(1 - h)\) bernilai 0. Biaya murni dihitung dari:

\(\text{Cost} = -\log(h_\theta(x))\)

• Jika model memprediksi \(h = 1\) (yakin lulus) \(\rightarrow \text{Cost} = -\log(1) = \mathbf{0}\) (Tepat!).

• Jika model memprediksi \(h \rightarrow 0\) (salah besar) \(\rightarrow \text{Cost} \rightarrow \mathbf{+\infty}\) (Penalti sangat berat!).

Jika Mahasiswa Gagal Sebenarnya (\(y = 0\)):

Suku pertama \(-y \log(h)\) bernilai 0. Biaya murni dihitung dari:

\(\text{Cost} = -\log(1 - h_\theta(x))\)

• Jika model memprediksi \(h = 0\) (yakin gagal) \(\rightarrow \text{Cost} = -\log(1) = \mathbf{0}\) (Tepat!).

• Jika model memprediksi \(h \rightarrow 1\) (salah besar) \(\rightarrow \text{Cost} \rightarrow \mathbf{+\infty}\) (Penalti sangat berat!).

Slide 12: The Procedure

Simulasi Live Training Logistic Regression

Kurva Sigmoid Menyesuaikan Data Ujian h(x) = σ(-9.0 + 2.0x)

Epoch: 0

Loss J(\(\theta\)): 0.00

Parameter \(\theta_0, \theta_1\): -9.0, 2.0

Akurasi Klasifikasi: 100% (9/9)

Kurva Penurunan Loss (\(J\) vs Epoch):

Classroom Whiteboard: Evaluasi Titik & Gradien Cross-Entropy

Papan Kalkulasi Step-by-Step Logistic Regression

Live Synchronized Table

Panduan Pengajaran untuk Dosen: Tabel di bawah mengevaluasi 9 titik data mahasiswa secara real-time pada epoch saat ini. Perhatikan bagaimana nilai linear \(z\) diubah oleh fungsi Sigmoid menjadi probabilitas kelulusan \(h(x)\), lalu dihitung residual error \((h - y)\) dan kontribusi gradiennya untuk memperbarui parameter.

Mahasiswa i	Jam Belajar (x)	Target Aktual (y)	Skor Linear \(z = \theta_0 + \theta_1 x\)	Prediksi \(h = \sigma(z)\)	Error \((h - y)\)	Loss \(-[y \log h + (1-y)\log(1-h)]\)	Gradien \(\theta_0\): \((h - y)\)	Gradien \(\theta_1\): \((h - y) \cdot x\)

1 Perhitungan Cross-Entropy Loss \(J(\theta)\)

2 Pembaruan Bobot \(\theta_0\) dan \(\theta_1\) via Gradient Descent

Hasil Pembaruan Setelah Epoch Ini: Parameter \(\theta_0\) dan \(\theta_1\) disesuaikan serentak mengikuti arah penurunan gradien Cross-Entropy.

\(\theta_0\): -2.50 \(\rightarrow\) -2.46

\(\theta_1\): 0.50 \(\rightarrow\) 0.54

Loss \(J\): 3.42 \(\rightarrow\) 3.25

Akurasi: 88.9% \(\rightarrow\) 100%

Keajaiban Matematika (Mathematical Elegance)

Mengapa Turunan Logistic Regression Persis Sama dengan Linear Regression?

The "Aha!" Moment

Banyak mahasiswa dan pembelajar terkejut saat melihat rumus pembaruan Gradient Descent di Slide 12: meskipun fungsi hipotesisnya rumit (Sigmoid) dan fungsi biayanya berbentuk logaritma (Cross-Entropy), hasil turunannya tetap:

\[\frac{\partial}{\partial \theta_j} J(\theta) = \sum_{i=1}^m \Big( h_\theta(x^{(i)}) - y^{(i)} \Big) x_j^{(i)}\]

1. Turunan Sigmoid:

Jika \(g(z) = \frac{1}{1 + e^{-z}}\), turunannya adalah perkalian anggun:

\[g'(z) = g(z)(1 - g(z)) = h(1 - h)\]

2. Turunan Log Loss:

Turunan fungsi biaya \(J\) terhadap prediksi \(h\) menghasilkan:

\[\frac{\partial J}{\partial h} = -\frac{y}{h} + \frac{1-y}{1-h} = \frac{h - y}{h(1 - h)}\]

3. Saling Membatalkan!

Saat digabungkan dengan Aturan Rantai:

\[\frac{h - y}{\mathbf{h(1-h)}} \cdot \mathbf{h(1-h)} \cdot x_j = (h - y) x_j\]

Penyebut \(h(1-h)\) dicoret sempurna oleh turunan sigmoid!

How do we see the world? (Bagaimana Kita Memandang Dunia?)

🍪 Kasus Linear: Cookies vs Weight

😊 Mood vs Waktu (Non-linear)

Say it in Mathematics: Menghubungkan Titik Menjadi Garis (Slide 17 - 22)

Penjelasan Konsep

Eksplorasi Parameter: Slope (\(\theta_1\)) & Intercept (\(\theta_0\))

Kasus Nyata: Harga Rumah & Konsep Model Generalization

Dataset Sampel Rumah (Slide 33)

Pertanyaan Kunci Kuliah (Slide 33 & 35):

Apa itu Model Generalization? (Slide 36-38)

Plot Sebaran Data & Pilihan Model Garis

Cost Function (Fungsi Biaya) & Lembah Parabola

Simulasi Interaktif Gradient Descent

Contoh Perhitungan Step-by-Step Gradient Descent di Kelas

1 Tabel Evaluasi Titik Data & Gradien Parsial

2 Perhitungan Cost Function \(J(\theta)\)

3 Pembaruan Nilai Bobot \(\theta_0\) dan \(\theta_1\)

Bagaimana Cara Menurunkan (Diferensiasi) \(J(\theta)\) ke \(\theta_0\) dan \(\theta_1\)?

1 Tuliskan Fungsi Biaya Secara Eksplisit

2 Gunakan Aturan Rantai (Chain Rule)

3 Turunan Terhadap \(\theta_0\) (Intercept)

4 Turunan Terhadap \(\theta_1\) (Slope)

Intuisi Fisik / Geometris (Untuk Ditanyakan ke Mahasiswa di Kelas):

Prosedur Pelatihan Regresi Linear & Kode R

Linear Regression: The Procedure (Slide 46)

Pick Initial Model

Compute Cost Function

Update Parameter

Repeat Until Converges

Continuous vs Discrete (Slide 47)

Praktik R (Slide 49 & 50)

Logistic Regression: Klasifikasi Variabel Diskret

Plot Sebaran Jam Belajar vs Status Ujian

Fungsi Sigmoid (Slide 11):

Simulasi Prediksi Mahasiswa Baru:

Binary Cross-Entropy (Log Loss)

Simulasi Live Training Logistic Regression

Papan Kalkulasi Step-by-Step Logistic Regression

1 Perhitungan Cross-Entropy Loss \(J(\theta)\)

2 Pembaruan Bobot \(\theta_0\) dan \(\theta_1\) via Gradient Descent

Mengapa Turunan Logistic Regression Persis Sama dengan Linear Regression?