Analisis Algoritma

Analisis Algoritma
Jimmy Tirtawangsa

Universitas Telkom
2014

Daftar Isi
(1) Motivasi
(2) Kompleksitas

dan Optimalitas

(3) Struktur data
(4) Teknik2 analisis algoritma
(5) Struktur graf
(6) Problem Sulit/Intraktabel

Kompleksitas dan Optimalitas
Saat menghadapi problem komputasi:
(1) Cari sebuah solusi algoritmik
(a) Cari ide, buat algoritma

(b) Buktikan algorima sesuai
(c) Analisis kompleksitasnya

(2) Kurang puas? Perbaikan solusi
(3) Apakah solusi optimal?
(4) Kiat apa jika optimal juga tidak cukup.
Menembus batas

Contoh Ideal: Pengurutan Data
●

Satu problem komputasi yang sangat
banyak manfaatnya

●

Sudah diselidiki oleh banyak orang

●

Berbagai solusi telah dikembangkan

●

Optimalitas solusi sudah terbukti

●

Berbagai cara untuk mengingkari batas
optimal juga banyak dilakukan

Pengurutan Data
●

Masukan: Sekumpulan data tersimpan dalam
array

●

Keluaran: Salah satu permutasi data tersebut,

dimana data terurut monotonik membesar dari
indek pertama s.d. indek terakhir

●

Batasan: Algoritma menggunakan operator
pembandingan dua data untuk menguji relasi
antar data (=)

Pengurutan Berbasis Seleksi
(SelectionSort)
●

Ide: Pada setiap iterasi, cari data dengan
nilai terbesar dan taruh di lokasi terakhir.

●

Algoritma SelectionSort:
(1)i = n

(2)while i > 1 do
(3) j = Max(A, 1, i)
(4) TukarPosisi(A, i, j)
(5) i = i – 1
(6)endwhile

Pengurutan Berbasis Seleksi
●

Dengan fungsi max sbb:

●

fungsi Max( A, awal, akhir ) returns imax
(1)imax = awal
(2)j = imax + 1
(3)while j A[imax] then imax = j

(5)

j=j+1

(6)endwhile
(7)return imax

Contoh Proses Pengurutan

Beberapa Obvervasi
●

Pengurutan yang sama dapat diperoleh dengan
mencari nilai terkecil dan ditaruh diawal array

●

Stabil adalah istilah untuk pengurutan, dimana
apabila ada data yang ekivalen (sama besar),
setelah diurutkan, urutan semula tetap
dipertahankan.
–

Apakah Selection Sort stabil?

Pengurutan Berbasis Seleksi
●

Kebenaran algoritma tersebut dalam
mengurutkan data bergantung pada bukti
untuk dua hal berikut:
–

Algoritma tersebut akan berhenti setelah
mengurutkan data

–

Setelah berhenti, data memang terurut

Pengurutan Berbasis Seleksi
●

Algoritma tersebut pasti akan berhenti karena:
–

Semua instruksi didalam loop tersebut finite, atau
pasti akan selesai/berhenti

–

Iterasi bergantung pada variabel i, dan variabel i
bergerak dari n s.d. 2 (sebelum i mencapai nilai
1 sudah keluar dari loop).

Loop Invarian Algoritma
SelectionSort
●

Untuk membuktikan kebenaran algoritma pengurutan
diatas, perhatikan baris 3 (while i > 1 do)

●

Apabila algoritma tersebut benar, maka setiap memasuki
loop tersebut, selalu berlaku kondisi (loop invarian)

●

–

Data A[i+1..n] sudah terurut, dan

–

Data A[1..i] < data A[i+1..n]

Sehingga pada saat keluar dari loop tersebut, atau i = 1,
maka
–

A[2..n] sudah terurut, dan

–

A[1] lebih kecil dari semua yang lain

–

DPL, A[1..n] seluruhnya terurut

Pembuktian dengan induksi
●

Pada awal iterasi, i == n
–

●

Basis: trivial karena belum ada data terurut

Hipotesis: asumsi kondisi berlaku pada 1 < i==k < n

–

A[k+1..n] terurut

–

A[1..k] < A[k+1..n]

●

Induksi: Buktikan tetap berlaku untuk iterasi i==k-1

●

Proses didalam loop pada iterasi ke-i==k

●

–

j berisi data terbesar diantara A[1..k]

–

Karena TukarPosisi maka A[k,k+1, ..n] terurut dan A[1..i1] < A[k, k+1..n]

–

Pada langkah terakhir i=i-1, maka kondisi diatas kembali
berlaku untuk i==k-1

Terbukti dengan induksi

Penggunaan Sumber Daya
●

Biasanya dihitung terkait dengan
banyaknya data masukan

●

Sumber daya dapat berupa waktu
eksekusi,

●

Atau besar memori yang digunakan,

●

Atau kebutuhan jaringan, dll

Perhitungan Sumber Daya
●

●

Tidak menjumlahkan seluruh operasi yang
dilakukan:
–

Terlalu rumit

–

Waktu eksekusi setiap instruksi berbeda
untuk jenis prosesor berlainan

–

Yang dicari adalah tren atau relasi antara
kebutuhan sumber daya terhadap
pertumbuhan data

Cukup menghitung operator yang relevan
–

Pada proses pengurutan diatas, operator
perbandingan data dianggap relevan

Fungsi Kompleksitas
●

●

Terhadap data masukan, adalah fungsi asimtot
untuk perkiraan kebutuhan sumber daya:
–

Apabila merupakan perkiraan maksimum, fungsi
tersebut menjadi batas atas

–

Sebaliknya,jika perkiraan kebutuhan minimum,
fungsi adalah batas bawah

Dapat merupakan perkiraan kompleksitas:
–

Rata-rata atas suatu distribusi data tertentu

–

Atas situasi terburuk yang mungkin terjadi

Batas Atas dan Batas Bawah
●

Notasi O-Besar

●

Notasi Omega-Besar

●

Notasi Theta-Besar

●

Notasi o-kecil

●

Notasi omega-kecil

Analisis Kompleksitas
Pengurutan berbasis Seleksi
●

Apabila fungsi Max memerlukan waktu
Θ(i) pada iterasi ke-i, dimana i=2..n

●

Maka waktu yang diperlukan adalah
n

(n−1)(n+2)
2
)=Θ(n )
∑ Θ(i)=Θ(
2
i=2

Latihan
(1) Dengan induksi buktikan kebenaran fungsi Max
(2) Tunjukan Θ(n) adalah kebutuhan waktu
eksekusi Max
(3) Mengapa hasil yang diperoleh dalam notasi-Θ?
(4) Pelajari dan lakukan eksperimen dengan
algoritma Selection sort, Bublesort, dan Insertion
sort. Mengapa Bublesort lebih lambat daripada
yang lain?
(5)Apakah Bublesort dan Insertion sort stabil?

Pengurutan Yang Lebih Cepat
●

Alasan perlu solusi yang lebih cepat

●

Alasan saat solusi lebih cepat tidak diperlukan

●

Percepatan dapat diperoleh dengan
menghilangkan redudansi proses

●

Sumber redundansi proses:
–

Pemeriksaan yang tidak perlu

–

Pengulangan pemeriksaan

–

Tidak ada mekanisme memanfaatkan hasil
pemeriksaan sebelumnya

Pengurutan dengan Heap
(HeapSort)
●

Heap: Struktur berbentuk pohon, dimana nilai
data suatu node selalu lebih besar dari nilai data
anak-anaknya
–

●

●

Nilai data root selalu paling besar

Representasi heap dalam array:
–

Anak node i adalah node 2*i dan 2*i+1

–

Root adalah node 1

Dua operasi heap:
–

BangunHeap

–

PerbaikiHeap

Algoritma Heapsort
●

Ide: Memanfaatkan heap untuk mempercepat
proses seleksi

●

Algoritma:
(1)BangunHeap(A, n)
(2)i = n
(3)while i > 1 do
(4)

TukarPosisi(A, 1, i)

(5)

PerbaikiHeap(A, 1, i-1)

(6)

i=i–1

(7)endwhile

●

PerbaikiHeap(A, i, n)
(1)lanjut = true
(2)while lanjut do
(3)

lanjut = false

(4)

p = i; l = 2*i; r = l+1

(5)

if l A[p] then p = l

(6)

if r A[p] then p= r

(7)

if i != p then

(8)

TukarPosisi(A, i, p)

(9)

lanjut = true

(10)

i=p

(11)

endif

(12)endwhile

●

Prosedur BangunHeap(A, n)
(1)i = floor(n/2)
(2)while i >= 1 do
(3)

PerbaikiHeap(A, i, n)

(4)

i=i-1

(5)endwhile

Pengurutan dengan Heap
●

Bukti kebenaran algoritma Heapsort mirip
dengan bukti untuk algoritma sebelumnya

●

Asalkan prosedur BangunHeap dan
PerbaikiHeap selalu menaruh data terbesar
diposisi A[1]

Kebenaran PerbaikiHeap
●

Prosedur ini berasumsi bahwa heap sudah benar, kecuali
pada posisi ke-i

●

Baris 4-6 prosedur tersebut membandingkan node ke-i
dengan kedua anaknya, dan diperoleh node p dengan data
terbesar.

●

Jika node i bukan yang terbesar, baris 7-11 memastikan
sekarang kembali menjadi yang terbesar

●

Baris 10 i menjadi p, sehingga asumsi kembali benar

●

Proses berhenti jika
–

node i tidak mempunyai anak node lagi

–

data node i lebih besar dari data anak nodenya

Kebenaran BangunHeap
●

Pada awalnya, data belum membentuk heap

●

Tapi, A[⌈n/2⌉..n] tidak mempunyai anak,
sehingga masing2 memenuhi definisi sebagai
sub-heap yang benar

●

Dimulai dari i == ⌈n/2⌉-1,dengan demikian pada
setiap iterasi, hanya node i yang mungkin
melanggar aturan heap, dan ini dapat diperbaiki
oleh PerbaikiHeap

●

Sehingga saat akhir iterasi, i mencapai 1,
seluruh heap terbentuk

Pengurutan dengan Heap
●

Kompleksitas PerbaikiHeap bergantung pada
jumlah iterasi 2-12:
–

Berhenti jika i == p atau i > ⌊n/2⌋

–

Atau berlanjut dengan i == 2*i atau 2*i+1

●

Sehingga diperoleh O(log(n) – log(i))

●

Untuk i == 1 maka log(1) = 0, atau O(log(n))

Pengurutan dengan Heap
●

Kompleksitas BangunHeap adalah
akumulasi dari PerbaikiHeap
n
⌊ ⌋
2

n
∑ Ο(log(n)−log (i))≤ 2 Ο(log(n))
i=1
●

Kompleksitas BangunHeap adalah
O(n log(n))

Algoritma Heapsort
●

Algoritma:
(1)BangunHeap(A, n)

O(n log n)

(2)i = n

O(1)

(3)while i > 1 do

n-1 iterasi

(4)

TukarPosisi(A, 1, i)

O(1)

(5)

PerbaikiHeap(A, 1, i-1)

O(log n – log i)

(6)

i=i–1

O(1)

(7)endwhile

Kompleksitas Heapsort
●

Kompleksitas Heapsort
n

Ο(n log (n))+∑ Ο(log(n)−log(i))
i=2

.≤Ο(n log(n))+(n−1)Ο(log(n))
.≤2Ο(n log (n))
●

Atau O(n log n)

Latihan
(1) Pelajari algoritma Quicksort dan Mergesort.
Bandingkan dengan algoritma Heapsort!
Dalam kasus seperti apa Heapsort lebih baik,
dan dalam kasus apa Quicksort lebih baik?
Begitu juga, bandingkan dengan Mergesort.
(2) Apakah Heapsort stabil atau tidak stabil?
Bagaimana dengan Quicksort dan Mergesort?

Batas Optimal Pengurutan
●

Perbaikan proses seleksi, meningkatkan
performa dari O(n2) menjadi O(n log n)

●

Apakah mungkin untuk mendapatkan solusi
secara asimtot lebih cepat lagi? Atau solusi
yang sudah diperoleh yang paling cepat?

●

Dengan menganalisis masalah yang dihadapi,
dapat diketahui jumlah minimum operasi yang
diperlukan!

Batas Optimal Pengurutan
●

Proses pengurutan pada dasarnya adalah
proses permutasi dari data yang diberikan

●

Untuk n data, maka akan ada n! (n faktorial)
kemungkinan permutasi data

●

Salah satu permutasi akan memberikan susunan
data yang terurut

●

Berapa banyak minimum operasi perbandingan
(dalam situasi terburuk) untuk melakukan
permutasi dari satu urutan ke satu urutan lain?

Pohon Keputusan
●

Permutasi dari satu susunan data ke susunan
lain diperoleh melalui serangkaian operasi
perbandingan.

●

Setiap operasi menghasilkan dua alur berbeda,
akibat dari dari kondisi True/False

●

Karena itu, dari susunan data semula, sejumlah
rangkaian operasi perbandingan kesemua
kemungkinan n! permutasi susunan data
membentuk graf pohon. (Pohon keputusan)

Pohon Keputusan
●

Masing2 algoritma sorting dengan suatu input
susunan data awal akan membentuk pohon
keputusan sendiri yang khas.

●

Karena ide algoritma tersebut, sangat mungkin
beberapa operasi membandingkan dua data
yang itu2 lagi lebih dari sekali dalam satu alur
untuk mencapai permutasi akhir yang diinginkan.

●

Minimum operasi yang dibutuhkan untuk
algoritma tsb == maksimum tinggi pohon
keputusannya

Pohon Keputusan untuk 3 data

Optimalitas Proses Pengurutan
●

Algoritma ideal akan mempunyai pohon keputusan yang
sangat balance dan tidak ada duplikasi operasi
perbandingan dalam tiap jalurnya.

●

Sehingga tinggi pohon adalah ⌈log(n!)⌉ atau Ω(n log n)

●

Artinya hanya dengan operasi pembandingan, proses
pengurutan data secara asimtotik tidak dapat lebih cepat
dari Ω(n log n)

●

Dpl. diisimpulkan Heapsort adalah algoritma optimal, atau
Θ(n log n)

●

Mungkin saja algoritma lain mempunyai eksekusi lebih
cepat/efisien, tetapi kompleksitasnya tidak lebih baik

Latihan
●

Lengkapi bukti pohon keputusan diatas
sehingga diperoleh Ω(n log n)

Menembus Batas
●

Dalam beberapa situasi, algoritma optimal yang
paling efisienpun, mungkin masih belum mencukupi

●

Kaji ulang masalah yang dihadapi
–

Data mempunyai keterbatasan tertentu

–

Mungkin malah data tidak perlu diurutkan

●

Mungkin pengurutan tidak perlu dengan operasi
perbandingan data

●

Tetapi untuk menjamin keterurutan, setiap elemen
data harus terakses, sehingga

●

Ω(n) adalah batas trivial yang tidak dapat dilanggar

Pengurutan dengan Pencacahan
(CountingSort)
●

Apabila rentang data (k) dari terkecil s.d.
terbesar, terbatas atau k = O(n)

●

Untuk kemudahan pembahasan, data dianggap
bilangan integer

●

Jumlah kemunculan data dapat dihitung, dan
lokasi setelah terurut dapat diantisipasi

Pengurutan dengan Pencacahan
●

Algoritma CountingSort
(1)for i = terkecil to terbesar do
(2) C[i] = 0
(3)for i = 1 to n do
(4) C[A[i]]++
(5)for i = terkecil+1 to terbesar do
(6) C[A[i]] = C[A[i]] + C[A[i-1]]
(7)for i = n downto 1 do
(8) B[C[A[i]]] = A[i]
(9) C[A[i]]--

Pengurutan dengan Pencacahan

Pengurutan dengan Pencacahan
●

●

Kebenaran CountingSort:
–

Untuk data i dari terkecil s.d. terbesar,

–

Setelah pencacahan, C[i] berisi jumlah kemunculan masing2
data i

–

Setelah akumulasi, C[i] berisi jumlah data