Research Ethics and Mixed Methods!!
Metodologi Penelitian
Sebuah Pengantar – Untuk Ilmu Ekonomi
Mohamad Fahmi & Ekki Syamsulhakim
sites.google.com/a/fe.unpad.ac.id/ekki
Rencana Kegiatan Perkuliahan
Tangg
Materi Perkuliahan
al
23/2
Pak Fahmi -- Introduction, Grading, Type of Research, Research preparation/plan
Pak Fahmi -- Critical thinking, Literature Review, and Choosing topics -- how to write
2/3
ideas – 1
Pak Fahmi -- Critical thinking, Literature Review, and Choosing topics -- how to write
9/3
ideas – 2
16/3
Research Ethics : Plagiarism
23/3
Selecting literature and Introductio to mixed method
30/3
LIBUR NASIONAL
6/4
Qualitative Methods 1
13/4
UTS
20/4
Qualitative methods II
27/4
Quantitative methods 1
4/5
Quantitative methods II
11/5
Collecting data in practice
18/5
Collecting data in practice Ramadhan
25/5
Skripsi related issues : writing research proposal
1/6
Review
?? Juni UAS
Referensi
Bethlehem, J., Applied Survey Methods: A Statistical
Perspective, Wiley, 2009
Creswell, 2009, Research Design: Qualitative,
Quantitative, and Mixed Approaches
Ethridge, D., 2008, Research Methodology in Applied
Economics
Slides available from
http://manoa.hawaii.edu/ctahr/aheed/powerpoint%20lectu
res.html
Kothari, C.R., 2009, Research Methodology: Methods
and Techniques
Smith, P. , 2008., The undergraduate dissertation in
economics: a practical guide.
Other relevant sources
Penilaian
Aktivitas, diskusi, tugas (30%)
Aktivitas kelas / grup
Pengumpulan data
Tugas lainnya
UTS (35%)
UAS / Penulisan proposal penelitian (35%)
Penting:
Membawa laptop untuk beberapa kegiatan
Merekam wawancara (audio / video)
Pertanyaan ??
• Buat kelompok, anggota =
8 orang
• Kumpulkan sekarang
• Jangan bias gender
Kelompok
Kelompok
Kelompok
Kelompok
Kelompok
Kelompok
Kelompok
Kelompok
Kelompok
Kelompok
Kelompok
1 = Ade
2 = Yogi
3 = Jorghi
4 = Elvira
5 = Annisa Humaira
6 = Citra
7 = Annisa Mutiara
8 = Karina
9 = Ayuni
10 = Lulu
11 = Nasya
Apa metodologi itu?
Metodologi
Methodology is the manner in which we approach and
execute functions or activities (Ethridge, 2004)
Terjemahan langsung: “Metodologi adalah tata-cara ketika
kita akan-melaksanakan dan melaksanakan suatu ‘acara’
atau kegiatan”
Consists of approaches or guidelines, not specific details
of how we do the task (they are methods)
Terjemahan langsung: “(Metodologi) terdiri dari pendekatanpendekatan atau petunjuk-petunjuk umum, bukan detail
khusus atas bagaimana kita melakukan suatu pekerjaan
(metode)”
Metodologi
“The systematic study of methods that are,
can be, or have been applied within a
discipline.“ (Merriam-Webster, in Wikipedia)
Studi sistematis dari metode-metode yang
sedang, dapat, atau sudah digunakan dalam
sebuah cabang ilmu
Metodologi vs Metode
Methodology and Method are often (incorrectly)
used interchangeable
•
Methodology – the study of the general
approach to inquiry in a given field
Method – the specific techniques, tools or
procedures applied to achieve a given objective
•
–
Research methods in economics include regression
analysis, mathematical analysis, experimental,
qualitative method, etc.
Apa penelitian itu?
Penelitian
Bahasa Inggris - research
“re” – “search”
Reinventing the wheelAs (the wheel) has already been
invented, and is not considered to
have any operational flaws, an
attempt to reinvent it would be
pointless and add no value to the
object, and would be a waste of
time, diverting the investigator's
resources from possibly more
worthy goals which his or her skills
could advance more substantially.
Penelitian
"Research is a process of steps used to collect
and analyze information to increase our
understanding of a topic or issue“ (Creswell,
2008, in Wikipedia)
Penelitian adalah sebuah proses dari tahapantahapan yang digunakan dalam mengumpulkan
dan menganalisis informasi untuk meningkatkan
pengetahuan kita mengenai suatu topik atau isyu
Metodologi Penelitian?
Metodologi penelitian adalah tata-cara ketika kita
akan-melaksanakan dan melaksanakan suatu
penelitian
Dalam ilmu ekonomi
Tujuan Mata Kuliah
Setelah menyelesaikan seluruh kegiatan yang
diperlukan sebagai syarat kelulusan dalam
mata kuliah ini dengan baik, mahasiswa akan
mampu menjelaskan dan menerapkan
berbagai metode yang dapat digunakan
dalam melakukan penelitian dalam ilmu
ekonomi
The Process of Research
1
2
5
4
16
3
The Process of Research
•
•
•
•
•
17
The process is initiated with a question or
problem (step 1)
Next, goals and objectives are formulated to
deal with the question or problem (step 2)
Then the research design is developed to
achieve the objectives (step 3)
Results are generated by conducting the
research (step 4)
Interpretation and analysis of results follow
(step 5)
Types Of Research in Economics
“Desk” Research
Literature Review
Looking for existing
theories on some
topics
Looking for previous
empirical findings
Data Analysis
Data cleaning
Descriptive Statistics
Regression
Types Of Research in Economics
Field Research
Survey
Spot Checks
Interviews
Focus Group Discussions
Pertanyaan ??
Persiapan Penelitian
Prinsip / sikap
Sikap
Sikap
Sikap
Sikap
Objektif
Terbuka
Kritis
Jujur
Sikap Objektif
Hindari memaksakan nilai-nilai atau keyakinan
pribadi terhadap orang lain ; Subyektivitas
berhubungan dengan keyakinan, nilai dan pendapat.
“Merokok dapat memperbaiki kesehatan paru-paru
seseorang”
Pengetahuan umum yang dapat dipercaya (reliable)
tidak dapat diperoleh dari posisi subyektif personal
Objektivitas tergantung dari apa yang diperoleh dari
pengamatan, pengukuran, dan logika.
Sikap Terbuka
Open minded
Menerima pendapat
Agree to disagree
Sikap Kritis
Penting dalam mengkonfirmasi hasil penelitian
Bertanya (Mempertanyakan):
Apakah suatu pernyataan didukung oleh bukti?
Apakah hasil penelitian diperoleh dengan
metodologi yang tepat?
torfi
todietfac
e
.k
t
s
e
http://b
ction.co
m/
Sikap Jujur
Jujur dalam pengumpulan dan analisis data
Jujur dalam penyampaian fakta
Tidak melakukan plagiarisme
Why ‘cites’ and ‘refer’ (to) ?
• Academic
ethics: honesty
• Avoid plagiarism
Plagiarisme
• Plagiarism (Monash Statute 4.2 –
Discipline)
– “Plagiarism is the presentation of work
which has been copied in whole or in
part from another person’s work, or
from any other source such as the
Internet, published books, or periodicals,
without due acknowledgment given in
the text”
• ‘Infringement’ of academic ethics /
honesty
• Infringement of Law
Plagiarisme
• Plagiarism (Monash Statute 4.2 –
Discipline)
– “Plagiarisme adalah penyampaian
pekerjaan/hasil kerja (tugas, ujian, skripsi,
tesis, disertasi) yang mana merupakan
duplikasi baik keseluruhannya maupun
sebagian, dari pekerjaan / hasil kerja orang
lain, ata dari sumber lainnya seperti internet,
buku, atau jurnal, tanpa memberikan kutipan
yang semestinya dalam teks”
• Pelanggaran etika akademik (kejujuran)
• Pelanggaran hukum
PLAGIARISM :
Very serious infringement
S
I
M
S
I
R
A
I
G
A
L
G
P
N
I
L
A
E
STPLAGIARISM
is
UNETHICAL
Case example
Plagiarism
Paraphrasing
• You also conduct plagiarism if you cite
other’s work and put their work in your
reference list, IF YOU DON’T CHANGE THE
SENTENCE USING YOUR OWN WORDS
– Paraphrasing
Proses penulisan agar
tidak terjebak plagiarisme
MIKIRRRR!!
Baca Sumber
Tulis, Kutip
Sumber
Teknik parafrase
• Tanpa mengubah arti dari kalimat / paragraf asli:
– Mengubah kalimat aktif menjadi kalimat pasif (dan
sebaliknya)
– Merangkum / menyimpulkan / menyingkat kalimat
– Mengganti kata-kata dengan sinonimnya
– Mengubah urutan anak kalimat, dan lain-lain
Jangan lupa … kutip (cite) sumber
• Selalu tulis sumber:
– nama belakang
– Tahun
– dan … halaman apabila perlu
• TIDAK PERLU menulis:
– Judul buku atau jurnal atau paper
– Gelar akademik
– Nama depan
Cara Mengutip
• Mengutip langsung dari sumber (menggunakan tanda
petik “…”) tidak boleh dilakukan terlalu sering
– Hanya untuk definisi; atau
– Petikan hasil studi yang sangat relevan dengan (dan
memperkuat argumen) studi kita
• Mengutip secara tidak langsung dari sumber (tidak
menggunakan tanda petik “…”) dapat dilakukan
dengan catatan:
– Tidak langsung “copy paste” lalu menambah sumber
– Harus melakukan PARAFRASE, yaitu mengubah kalimat
asal / asli menjadi kalimat sendiri,
• Kemudian ditambahkan sumber
Parafrase
CONTOH
Being honest: example
“Economics' stock in trade is preferences. But where those come
from and how exactly they work is opaque to economists who
subscribe to Stanley Jevons' claim that "every mind is
inscrutable to every other mind" (1911: 4). Mid-century champions
of "revealed-preference behavioralism" in economics seized upon
that phrase to justify their attempts "to explain ... behavior without
reference to anything other than behavior" (Little 1949: 90), "to
develop [a] theory of consumer's behavior freed from any vestigial
traces of the utility concept" (Samuelson 1938: 71, 1947, see
also Robbins 1932, 1938, Little 1957: chs 3-4, cf. Sen 1973).
Things which are inscrutable cannot be compared, assessed, or
measured.”
– Folbre, Nancy and Robert E. Goodin (2004), “Revealing Altruism”,
Review of Social Economy,Volume: 62, Issue: 1
International Policy Center for Inclusive Growth & TNP2K
Research Brief No. 42 / October 2013
Program Keluarga Harapan (PKH): Program Bantuan
Dana Tunai Bersyarat di Indonesia
Oleh: Suahasil Nazara dan Sri Kusumastuti Rahayu
Pada tahun 2007, Pemerintah Indonesia meluncurkan Program
Keluarga Harapan (PKH), program bantuan dana tunai bersyarat
pertama di Indonesia. Program ini bertujuan meningkatkan kualitas
manusia dengan memberikan bantuan dana tunai bersyarat bagi
keluarga miskin dalam mengakses layanan kesehatan dan
Pendidikan tertentu. PKH membantu mengurangi beban pengeluaran
rumah tangga yang sangat miskin (dampak konsumsi langsung),
seraya berinvestasi bagi generasi masa depan melalui peningkatan
kesehatan dan Pendidikan (dampak pengembangan modal
manusia). Kombinasi bantuan jangka pendek dan jangka panjang ini
merupakan strategi pemerintah dalam mengentaskan kemiskinan
bagi para penerima PKH ini selamanya.
Contoh
• Nazara dan Rahayu (2013) mengemukakan
bahwa PKH membantu mengurangi beban
pengeluaran rumah tangga yang sangat
miskin (dampak konsumsi langsung), seraya
berinvestasi bagi generasi masa depan melalui
peningkatan
kesehatan
dan
pendidikan
(dampak pengembangan modal manusia).
• plagiarisme atau bukan?
– Plagiarisme!
Contoh
• Nazara
dan
Rahayu
mengemukakan bahwa
(2013)
“…PKH
membantu
mengurangi
beban
pengeluaran rumah tangga yang sangat miskin
(dampak
konsumsi
langsung),
seraya
berinvestasi bagi generasi masa depan melalui
peningkatan
kesehatan
dan
pendidikan
(dampak pengembangan modal manusia)”.
• plagiarisme atau bukan?
– BUKAN
Contoh
• Nazara
dan
Rahayu
(2013)
mengemukakan
bahwa
selain
berperan dalam pengurangan biaya
konsumsi rumah tangga termiskin,
Program Keluarga Harapan dapat
meningkatkan
kualitas
modal
manusia.
• plagiarisme atau bukan?
– Bukan
Contoh
• Disamping memiliki peran dalam
pengurangan biaya hidup rumah
tangga termiskin, Program Keluarga
Harapan
dapat
meningkatkan
kualitas pendidikan dan kesehatan
(Nazara dan Rahayu, 2013).
• plagiarisme atau bukan?
– Bukan
Parafrase: catatan
• Menterjemahkan langsung adalah bentuk plagiarisme
– Sekalipun debatable, tapi saya (personal) menganggapnya
plagiarisme
• Menterjemahkan langsung bukan parafrase
– Sekalipun menterjemahkan memerlukan interpretasi setiap
kata tergantung konteks, saya menganggapnya bukan
parafrase
• Buku terjemahan biasanya memerlukan izin hak-cipta
dari pengarang asli
Contoh
Contoh
Betts dan Morell (1999) menemukan bahwa latar
belakang pribadi, termasuk jenis kelamin, etnis, dan
penghasilan keluarga secara signifikan mempengaruhi
IPK.
plagiarisme atau bukan?
Plagiarisme!
Contoh
Betts dan Morell (1999) menemukan berbagai faktor
yang mempengaruhi angka IPK. Faktor-faktor tersebut
dapat dikelompokkan ke dalam karakteristik individu dan
karakteristik sekolah.
Plagiarisme atau bukan?
Bukan
Mengutip kutipan orang lain
Buku
Wooldridge
Skripsi
Indra Fajar
Permana
Skrip
si
Anda
• Anda tidak membaca langsung
buku Todaro
• Anda cuma membaca skripsi
teman anda
• Anda harus menulis nama teman
anda (Indra) dalam kutipan pada
teks, dan menuliskan detail
skripsi tersebut di Daftar Pustaka
– Ini harus dilakukan sekalipun Indra
memberikan file skripsinya kepada
anda
– Anda tidak perlu menuliskan buku
Wooldridge dalam pustaka
Mengutip kutipan orang lain
Buku
Wooldridge
Skripsi
Indra Fajar
Permana
Skrip
si
Anda
• Menurut Wooldridge dalam
Permana (2006), heteroskedasticity
adalah situasi di mana… (sudah di
“paraphrase”)
• DAFTAR PUSTAKA
Permana, Indra Fajar (2018),
Apakah Terdapat Pengaruh dari
Tingkat Keragaman Agama dan
Ketimpangan Ekonomi terhadap
Jumlah Kasus Kekerasan tingkat Kota
di Indonesia?, Skripsi, Program Studi
Ilmu Ekonomi Universitas
Padjadjaran.
SEMUA INI BERLAKU JUGA
UNTUK TUGAS
Being honest
• ALWAYS cite your reference in the
text
• AND then put the reference in the
reference list
• It is WRONG to assume that you only
need to do one of them
Plagiarisme pada skripsi
• Bab III / IV : metodologi / hasil
– Uji statistik
• Kebanyakan mahasiswa “copas” uji statistik
dan penjelasannya dari skripsi orang lain,
tanpa ad kutipan
• Beberapa mahasiswa menduplikasi
skripsi orang lain dari internet,
“copas” seluruhnya atau sebagian
dari skripsi tersebut tanpa mengutip
Cara Mengutip: Harvard
system
• Terdapat dua cara mengutip
– Oxford (dengan footnotes)
– Harvard (dengan “running notes”)
• Pada Sistem Harvard, footnotes digunakan
untuk menjelaskan sesuatu yang tidak
terlalu penting untuk disimpan pada teks
• Jangan mencampurkan Harvard system
dan Oxford system pada skripsi/paper
anda
Cara Mengutip: Harvard
system
• Penggunaan Footnote’s yang tepat pada Harvard
System:
Perkins1 (2004) menyatakan bahwa
“Economic Hit men (EHMs) are highly paid
professionals who cheat countries around the globe
out of trillions of dollars” (Perkins, 2004, hal. ix)
--------1 John Perkins adalah seorang ekonom yang pernah
bekerja secara rahasia pada National Security
Agency (NSA). Bukunya yang berjudul Confession
of an Economic Hit Man merupakan best seller.
Stop Menjadi Seorang Plagiat
Dalam mengerjakan tugas atau ujian Metlit,
pelanggaran etika akademik seperti mencontek
atau melakukan plagiarisme dapat
menyebabkan mahasiswa memperoleh nilai
E
Cegah teman anda menjadi seorang plagiat
References
• Crosling, G., and Nell Kimberly, Business
and Economics Q Manual: A Student Guide
for Producing Quality Work On Time, 5th Ed.,
Monash University, 2012
• Eichengreen, B., Economics 191, Topics in
Economic Research, UCB, Fall 2012
• Fahmi, M., Ahmad Maulana, Ben Satriatna,
Ekki Syamsulhakim, and Arief Anshory
Yusuf, TPIP lecture slides, Department of
Economics, Padjadjaran University, 2012
MEMILIH LITERATUR
To get a research idea…
Aristotle’s methods:
1.Study what others have
written about the subject.
2. Look for the general consensus
about the subject
3. Perform a systematic study of
everything even partially related
to the topic.
Read more:
http://www.experiment-resources.com/history-of-thescientific-method.html
Why?
• As good speakers are typically good listener,
good writers are typically enthusiast readers.
• Read, then write.
• If we don’t read (journal articles) much, then
we don’t write and publish much.
• Let’s get used to reading (critically) and write
a good literature review.
Your research may be
inspired by..
•
•
•
•
•
Personal passion
Lectures / Lecturers
Seminars / Conferences
New method(s)
New dataset(s)
The nature of literature
review
• A literature review is based on the
understanding that knowledge is not
fixed and static.
• Rather, it evolves as researchers
investigate and report on their
findings in publications, whether in a
book, a chapter in an edited book or
a refereed journal article.
The nature of literature
review
• Material published in these types of
publications is seen as authoritative
and therefore valid.
• This particularly applies to refereed
journal articles, where the articles
have undergone scrutiny from
experts in the field before being
accepted for publication.
The nature of literature
review
• Articles in peer reviewed academic
journals have been assessed, prior to
publication, as being worthy of
inclusion in the journal by experts in
that academic discipline.
• The use of peer review serves as an
indicator of journal quality. Peer
reviewed journals are sometimes
referred to as refereed journals.
Database vs Journals vs
Articles
Databas
eX
Databas
eY
Journal A
Journal C
• Article/
paper X
• Article/
paper Y
• Article V
• Article Q
Journal B
Journal B
• Article/
paper W
• Article/
paper Z
• Article P
• Article R
Finding academic literature
online
scholar.google.com
Finding academic literature
online
Quality of journals
http://www.elsevier.com/wps/find/editorshome.editors/
Journal_Metrics
Quality of journals
Ranking of Economics
Journal
Working Papers
• Not refereed
• Some are presented in conferences /
seminars, some aren’t
• Be careful
Examples
Examples
http://ideas.repec.org/s/unp/wpaper.html
Example
http://www.nber.org/new.html
Evaluating Sources
• Authority
– Is the author a recognised expert in the field that you are
researching?
– Is sufficient information presented about the author to
verify his or her expertise (e.g. is he or she a member of a
relevant university department?)
• Author affiliation, qualifications
– Is the author affiliated to a university? If so, you may
assume the article has some academic credibility.
– Are the authors’ academic qualifications listed? Affiliation
and qualification details are often found on the first page
of an article, or at the end of the article. In a book of
readings there may be a separate section with brief
details on the contributors.
Evaluating Sources
• Relevance and coverage
– Does the material provide information
relevant to the topic, and in the detail you
need?
– Does it build on your previous research, or
just confirm what you found in other sources?
– Are there any references to further potentially
useful information?
– Are any new topic-related questions or issues
raised in the material?
Evaluating Sources
• Intended audience
– Information that is aimed at secondary
students and the general public may
not be at an appropriate level for a
university essay.
– Equally, some academic research may
be too specific or specialised for your
needs.
Evaluating Sources
• Currency
– This refers to whether or not the source
is up to date. This will be of particular
importance if you need to research the
most recent developments in a field.
– In the case of a web site, is it still being
maintained, or are many of the links
broken?
Evaluating Sources
• Accuracy
– Does the work contain obvious mistakes, or poor
editing? Where possible, check the information
presented for consistency with other sources.
– Are the sources of information within the work
acknowledged?
• Objectivity
– Look for any apparent bias in the work – this may be
evident in the presentation of extreme viewpoints
and in the use of emotive or derogatory language.
– Look also for omissions in information presented and
information that contradicts established facts.
Example
http://www.scholarly-journals.com/
Example
http://www.scholarly-journals.com/
Example
http://www.scholarly-journals.com/
Example
MIXED METHOD
Mixed method
Mixed method adalah sebuah
pendekatan di dalam penelitian
yang
mengkombinasikan
beberapa metode penelitian
untuk menjawab pertanyaan
penelitian yang sama/terkait.
Kata
kunci
dalam
mixed
method adalah integrasi dari
metode-metode
untuk
menghasilkan informasi yang
koheren
Mixed method pada umumnya
menggabungkan
metode
Satriawan (2015), “Mixed Method untuk Pemantauan dan
Evaluasi”, Presentasidan
pada Lokakarya
Pemantauan dan
kuantitatif
kualitatif
Evaluasi TNP2K 2015
Rancang
an
metode
penelitia
n
Penulisa
n
laporan
bersama
Urutan
yang
logis
Analisis
gabunga
n
Mengapa Mixed Method Diperlukan?
Metode kuantitatif dapat menyediakan/mengukur seberapa
besar pengaruh dari suatu variabel bebas terhadap variabel
terikat
Metode
kuantitatif
dapat
menyediakan/mengukur
seberapa besar dampak dari sebuah intervensi
Akan tetapi pemahaman mengapa sebuah program berhasil/
tidak berhasil dan adaptasi intervensi yang diperlukan, hanya
bisa dijawab dengan penelitian kualitatif.
Cara-cara untuk mencampur metode
1. Rangkaian
• Quantitative sebelum Qualitative : Kualitatif digunakan
untuk probing lebih jauh, menjelaskan kausalitas
• Qualitative sebelum Quantitative :
• Needs assessment:
• Identifikasi apa yang penting bagi masyarakat.
• Hipotesa alternatif.
• Pahami kosakata/bahasa, sikap dan motivasi
masyarakat sebelum mengembangkan survei.
• Kontekstualisasikan perangkat-perangkat
kuantitatif
Cara-cara untuk mencampur metode
2. Gabungan
• Pertanyaan terbuka dalam survei. Gunakan sampel
yang dijustifikasi secara statistik untuk elemen
kualitatif
3. Bersamaan
• Kualitatif mengeksplorasi kelompok/permasalahan
yang kurang mendapat perhatian. Analisis interaktif
–interpretative lens
Manfaat Mixed Method
Trianggulasi
• mencapai jawaban yang sama
melalui cara-cara yang berbeda
• menghindari confirmation bias
• memperbaiki mis-konsepsi
Interpretasi
• mengapa, bagaimana
• fokus pada proses/perilaku
Kemampuan generalisasi
• menempatkan studi kualitatif dalam
sampel survei
• Memperhitungkan heterogeneitas,
menghindari oversimplification
Ekpansi
• Menggali informasi yang sulit, contoh:
kekerasan RT
• akses kelompok yang sulit
dicapai/marjinal
• fenomena baru/tidak diharapkan
• menemukan arah baru bagi penelitian
Pengembangan/
penyempurnaan
• kedalaman
• memberdayakan
Kredibilitas
• khalayak lebih luas
• memperkuat validitas temuan
Bagaimana melakukan studi
kualitatif & kuantitatif dengan benar?
Ricky Andriansyah
• S. Sos / Anthropology
– FISIP-UI Depok, Indonesia
– “Harm reduction program
and HIV/AIDS on youth in
North Jakarta”
• M.Sc./Medical
Anthropology
– Universiteit van Amsterdam,
Amsterdam, the Netherlands
– “Money Talks: The Impact of
Illicit Drug Use to the Social
Life in Bures, Jakarta,
Indonesia”
Nur Cahyadi
• S.TP. / Teknik Industri
Pertanian
– IPB, Bogor
• M.Si / Ilmu Ekonomi
– IPB, Bogor
• MSR (Master of Social
Research (Advanced)),
– Centre for Social
Research and Methods,
Australian National
University, Australia.
Bagaimana melakukan studi
kualitatif & kuantitatif dengan benar?
Ricky Andriansyah
• USAID
• The Asia Foundation
• UNICEF / FKM UI
• UNODC
• Mercy Corps
• Puslitkes UI
Nur Cahyadi
• TNP2K
• World Bank
• IPB
Sebuah Pengantar – Untuk Ilmu Ekonomi
Mohamad Fahmi & Ekki Syamsulhakim
sites.google.com/a/fe.unpad.ac.id/ekki
Rencana Kegiatan Perkuliahan
Tangg
Materi Perkuliahan
al
23/2
Pak Fahmi -- Introduction, Grading, Type of Research, Research preparation/plan
Pak Fahmi -- Critical thinking, Literature Review, and Choosing topics -- how to write
2/3
ideas – 1
Pak Fahmi -- Critical thinking, Literature Review, and Choosing topics -- how to write
9/3
ideas – 2
16/3
Research Ethics : Plagiarism
23/3
Selecting literature and Introductio to mixed method
30/3
LIBUR NASIONAL
6/4
Qualitative Methods 1
13/4
UTS
20/4
Qualitative methods II
27/4
Quantitative methods 1
4/5
Quantitative methods II
11/5
Collecting data in practice
18/5
Collecting data in practice Ramadhan
25/5
Skripsi related issues : writing research proposal
1/6
Review
?? Juni UAS
Referensi
Bethlehem, J., Applied Survey Methods: A Statistical
Perspective, Wiley, 2009
Creswell, 2009, Research Design: Qualitative,
Quantitative, and Mixed Approaches
Ethridge, D., 2008, Research Methodology in Applied
Economics
Slides available from
http://manoa.hawaii.edu/ctahr/aheed/powerpoint%20lectu
res.html
Kothari, C.R., 2009, Research Methodology: Methods
and Techniques
Smith, P. , 2008., The undergraduate dissertation in
economics: a practical guide.
Other relevant sources
Penilaian
Aktivitas, diskusi, tugas (30%)
Aktivitas kelas / grup
Pengumpulan data
Tugas lainnya
UTS (35%)
UAS / Penulisan proposal penelitian (35%)
Penting:
Membawa laptop untuk beberapa kegiatan
Merekam wawancara (audio / video)
Pertanyaan ??
• Buat kelompok, anggota =
8 orang
• Kumpulkan sekarang
• Jangan bias gender
Kelompok
Kelompok
Kelompok
Kelompok
Kelompok
Kelompok
Kelompok
Kelompok
Kelompok
Kelompok
Kelompok
1 = Ade
2 = Yogi
3 = Jorghi
4 = Elvira
5 = Annisa Humaira
6 = Citra
7 = Annisa Mutiara
8 = Karina
9 = Ayuni
10 = Lulu
11 = Nasya
Apa metodologi itu?
Metodologi
Methodology is the manner in which we approach and
execute functions or activities (Ethridge, 2004)
Terjemahan langsung: “Metodologi adalah tata-cara ketika
kita akan-melaksanakan dan melaksanakan suatu ‘acara’
atau kegiatan”
Consists of approaches or guidelines, not specific details
of how we do the task (they are methods)
Terjemahan langsung: “(Metodologi) terdiri dari pendekatanpendekatan atau petunjuk-petunjuk umum, bukan detail
khusus atas bagaimana kita melakukan suatu pekerjaan
(metode)”
Metodologi
“The systematic study of methods that are,
can be, or have been applied within a
discipline.“ (Merriam-Webster, in Wikipedia)
Studi sistematis dari metode-metode yang
sedang, dapat, atau sudah digunakan dalam
sebuah cabang ilmu
Metodologi vs Metode
Methodology and Method are often (incorrectly)
used interchangeable
•
Methodology – the study of the general
approach to inquiry in a given field
Method – the specific techniques, tools or
procedures applied to achieve a given objective
•
–
Research methods in economics include regression
analysis, mathematical analysis, experimental,
qualitative method, etc.
Apa penelitian itu?
Penelitian
Bahasa Inggris - research
“re” – “search”
Reinventing the wheelAs (the wheel) has already been
invented, and is not considered to
have any operational flaws, an
attempt to reinvent it would be
pointless and add no value to the
object, and would be a waste of
time, diverting the investigator's
resources from possibly more
worthy goals which his or her skills
could advance more substantially.
Penelitian
"Research is a process of steps used to collect
and analyze information to increase our
understanding of a topic or issue“ (Creswell,
2008, in Wikipedia)
Penelitian adalah sebuah proses dari tahapantahapan yang digunakan dalam mengumpulkan
dan menganalisis informasi untuk meningkatkan
pengetahuan kita mengenai suatu topik atau isyu
Metodologi Penelitian?
Metodologi penelitian adalah tata-cara ketika kita
akan-melaksanakan dan melaksanakan suatu
penelitian
Dalam ilmu ekonomi
Tujuan Mata Kuliah
Setelah menyelesaikan seluruh kegiatan yang
diperlukan sebagai syarat kelulusan dalam
mata kuliah ini dengan baik, mahasiswa akan
mampu menjelaskan dan menerapkan
berbagai metode yang dapat digunakan
dalam melakukan penelitian dalam ilmu
ekonomi
The Process of Research
1
2
5
4
16
3
The Process of Research
•
•
•
•
•
17
The process is initiated with a question or
problem (step 1)
Next, goals and objectives are formulated to
deal with the question or problem (step 2)
Then the research design is developed to
achieve the objectives (step 3)
Results are generated by conducting the
research (step 4)
Interpretation and analysis of results follow
(step 5)
Types Of Research in Economics
“Desk” Research
Literature Review
Looking for existing
theories on some
topics
Looking for previous
empirical findings
Data Analysis
Data cleaning
Descriptive Statistics
Regression
Types Of Research in Economics
Field Research
Survey
Spot Checks
Interviews
Focus Group Discussions
Pertanyaan ??
Persiapan Penelitian
Prinsip / sikap
Sikap
Sikap
Sikap
Sikap
Objektif
Terbuka
Kritis
Jujur
Sikap Objektif
Hindari memaksakan nilai-nilai atau keyakinan
pribadi terhadap orang lain ; Subyektivitas
berhubungan dengan keyakinan, nilai dan pendapat.
“Merokok dapat memperbaiki kesehatan paru-paru
seseorang”
Pengetahuan umum yang dapat dipercaya (reliable)
tidak dapat diperoleh dari posisi subyektif personal
Objektivitas tergantung dari apa yang diperoleh dari
pengamatan, pengukuran, dan logika.
Sikap Terbuka
Open minded
Menerima pendapat
Agree to disagree
Sikap Kritis
Penting dalam mengkonfirmasi hasil penelitian
Bertanya (Mempertanyakan):
Apakah suatu pernyataan didukung oleh bukti?
Apakah hasil penelitian diperoleh dengan
metodologi yang tepat?
torfi
todietfac
e
.k
t
s
e
http://b
ction.co
m/
Sikap Jujur
Jujur dalam pengumpulan dan analisis data
Jujur dalam penyampaian fakta
Tidak melakukan plagiarisme
Why ‘cites’ and ‘refer’ (to) ?
• Academic
ethics: honesty
• Avoid plagiarism
Plagiarisme
• Plagiarism (Monash Statute 4.2 –
Discipline)
– “Plagiarism is the presentation of work
which has been copied in whole or in
part from another person’s work, or
from any other source such as the
Internet, published books, or periodicals,
without due acknowledgment given in
the text”
• ‘Infringement’ of academic ethics /
honesty
• Infringement of Law
Plagiarisme
• Plagiarism (Monash Statute 4.2 –
Discipline)
– “Plagiarisme adalah penyampaian
pekerjaan/hasil kerja (tugas, ujian, skripsi,
tesis, disertasi) yang mana merupakan
duplikasi baik keseluruhannya maupun
sebagian, dari pekerjaan / hasil kerja orang
lain, ata dari sumber lainnya seperti internet,
buku, atau jurnal, tanpa memberikan kutipan
yang semestinya dalam teks”
• Pelanggaran etika akademik (kejujuran)
• Pelanggaran hukum
PLAGIARISM :
Very serious infringement
S
I
M
S
I
R
A
I
G
A
L
G
P
N
I
L
A
E
STPLAGIARISM
is
UNETHICAL
Case example
Plagiarism
Paraphrasing
• You also conduct plagiarism if you cite
other’s work and put their work in your
reference list, IF YOU DON’T CHANGE THE
SENTENCE USING YOUR OWN WORDS
– Paraphrasing
Proses penulisan agar
tidak terjebak plagiarisme
MIKIRRRR!!
Baca Sumber
Tulis, Kutip
Sumber
Teknik parafrase
• Tanpa mengubah arti dari kalimat / paragraf asli:
– Mengubah kalimat aktif menjadi kalimat pasif (dan
sebaliknya)
– Merangkum / menyimpulkan / menyingkat kalimat
– Mengganti kata-kata dengan sinonimnya
– Mengubah urutan anak kalimat, dan lain-lain
Jangan lupa … kutip (cite) sumber
• Selalu tulis sumber:
– nama belakang
– Tahun
– dan … halaman apabila perlu
• TIDAK PERLU menulis:
– Judul buku atau jurnal atau paper
– Gelar akademik
– Nama depan
Cara Mengutip
• Mengutip langsung dari sumber (menggunakan tanda
petik “…”) tidak boleh dilakukan terlalu sering
– Hanya untuk definisi; atau
– Petikan hasil studi yang sangat relevan dengan (dan
memperkuat argumen) studi kita
• Mengutip secara tidak langsung dari sumber (tidak
menggunakan tanda petik “…”) dapat dilakukan
dengan catatan:
– Tidak langsung “copy paste” lalu menambah sumber
– Harus melakukan PARAFRASE, yaitu mengubah kalimat
asal / asli menjadi kalimat sendiri,
• Kemudian ditambahkan sumber
Parafrase
CONTOH
Being honest: example
“Economics' stock in trade is preferences. But where those come
from and how exactly they work is opaque to economists who
subscribe to Stanley Jevons' claim that "every mind is
inscrutable to every other mind" (1911: 4). Mid-century champions
of "revealed-preference behavioralism" in economics seized upon
that phrase to justify their attempts "to explain ... behavior without
reference to anything other than behavior" (Little 1949: 90), "to
develop [a] theory of consumer's behavior freed from any vestigial
traces of the utility concept" (Samuelson 1938: 71, 1947, see
also Robbins 1932, 1938, Little 1957: chs 3-4, cf. Sen 1973).
Things which are inscrutable cannot be compared, assessed, or
measured.”
– Folbre, Nancy and Robert E. Goodin (2004), “Revealing Altruism”,
Review of Social Economy,Volume: 62, Issue: 1
International Policy Center for Inclusive Growth & TNP2K
Research Brief No. 42 / October 2013
Program Keluarga Harapan (PKH): Program Bantuan
Dana Tunai Bersyarat di Indonesia
Oleh: Suahasil Nazara dan Sri Kusumastuti Rahayu
Pada tahun 2007, Pemerintah Indonesia meluncurkan Program
Keluarga Harapan (PKH), program bantuan dana tunai bersyarat
pertama di Indonesia. Program ini bertujuan meningkatkan kualitas
manusia dengan memberikan bantuan dana tunai bersyarat bagi
keluarga miskin dalam mengakses layanan kesehatan dan
Pendidikan tertentu. PKH membantu mengurangi beban pengeluaran
rumah tangga yang sangat miskin (dampak konsumsi langsung),
seraya berinvestasi bagi generasi masa depan melalui peningkatan
kesehatan dan Pendidikan (dampak pengembangan modal
manusia). Kombinasi bantuan jangka pendek dan jangka panjang ini
merupakan strategi pemerintah dalam mengentaskan kemiskinan
bagi para penerima PKH ini selamanya.
Contoh
• Nazara dan Rahayu (2013) mengemukakan
bahwa PKH membantu mengurangi beban
pengeluaran rumah tangga yang sangat
miskin (dampak konsumsi langsung), seraya
berinvestasi bagi generasi masa depan melalui
peningkatan
kesehatan
dan
pendidikan
(dampak pengembangan modal manusia).
• plagiarisme atau bukan?
– Plagiarisme!
Contoh
• Nazara
dan
Rahayu
mengemukakan bahwa
(2013)
“…PKH
membantu
mengurangi
beban
pengeluaran rumah tangga yang sangat miskin
(dampak
konsumsi
langsung),
seraya
berinvestasi bagi generasi masa depan melalui
peningkatan
kesehatan
dan
pendidikan
(dampak pengembangan modal manusia)”.
• plagiarisme atau bukan?
– BUKAN
Contoh
• Nazara
dan
Rahayu
(2013)
mengemukakan
bahwa
selain
berperan dalam pengurangan biaya
konsumsi rumah tangga termiskin,
Program Keluarga Harapan dapat
meningkatkan
kualitas
modal
manusia.
• plagiarisme atau bukan?
– Bukan
Contoh
• Disamping memiliki peran dalam
pengurangan biaya hidup rumah
tangga termiskin, Program Keluarga
Harapan
dapat
meningkatkan
kualitas pendidikan dan kesehatan
(Nazara dan Rahayu, 2013).
• plagiarisme atau bukan?
– Bukan
Parafrase: catatan
• Menterjemahkan langsung adalah bentuk plagiarisme
– Sekalipun debatable, tapi saya (personal) menganggapnya
plagiarisme
• Menterjemahkan langsung bukan parafrase
– Sekalipun menterjemahkan memerlukan interpretasi setiap
kata tergantung konteks, saya menganggapnya bukan
parafrase
• Buku terjemahan biasanya memerlukan izin hak-cipta
dari pengarang asli
Contoh
Contoh
Betts dan Morell (1999) menemukan bahwa latar
belakang pribadi, termasuk jenis kelamin, etnis, dan
penghasilan keluarga secara signifikan mempengaruhi
IPK.
plagiarisme atau bukan?
Plagiarisme!
Contoh
Betts dan Morell (1999) menemukan berbagai faktor
yang mempengaruhi angka IPK. Faktor-faktor tersebut
dapat dikelompokkan ke dalam karakteristik individu dan
karakteristik sekolah.
Plagiarisme atau bukan?
Bukan
Mengutip kutipan orang lain
Buku
Wooldridge
Skripsi
Indra Fajar
Permana
Skrip
si
Anda
• Anda tidak membaca langsung
buku Todaro
• Anda cuma membaca skripsi
teman anda
• Anda harus menulis nama teman
anda (Indra) dalam kutipan pada
teks, dan menuliskan detail
skripsi tersebut di Daftar Pustaka
– Ini harus dilakukan sekalipun Indra
memberikan file skripsinya kepada
anda
– Anda tidak perlu menuliskan buku
Wooldridge dalam pustaka
Mengutip kutipan orang lain
Buku
Wooldridge
Skripsi
Indra Fajar
Permana
Skrip
si
Anda
• Menurut Wooldridge dalam
Permana (2006), heteroskedasticity
adalah situasi di mana… (sudah di
“paraphrase”)
• DAFTAR PUSTAKA
Permana, Indra Fajar (2018),
Apakah Terdapat Pengaruh dari
Tingkat Keragaman Agama dan
Ketimpangan Ekonomi terhadap
Jumlah Kasus Kekerasan tingkat Kota
di Indonesia?, Skripsi, Program Studi
Ilmu Ekonomi Universitas
Padjadjaran.
SEMUA INI BERLAKU JUGA
UNTUK TUGAS
Being honest
• ALWAYS cite your reference in the
text
• AND then put the reference in the
reference list
• It is WRONG to assume that you only
need to do one of them
Plagiarisme pada skripsi
• Bab III / IV : metodologi / hasil
– Uji statistik
• Kebanyakan mahasiswa “copas” uji statistik
dan penjelasannya dari skripsi orang lain,
tanpa ad kutipan
• Beberapa mahasiswa menduplikasi
skripsi orang lain dari internet,
“copas” seluruhnya atau sebagian
dari skripsi tersebut tanpa mengutip
Cara Mengutip: Harvard
system
• Terdapat dua cara mengutip
– Oxford (dengan footnotes)
– Harvard (dengan “running notes”)
• Pada Sistem Harvard, footnotes digunakan
untuk menjelaskan sesuatu yang tidak
terlalu penting untuk disimpan pada teks
• Jangan mencampurkan Harvard system
dan Oxford system pada skripsi/paper
anda
Cara Mengutip: Harvard
system
• Penggunaan Footnote’s yang tepat pada Harvard
System:
Perkins1 (2004) menyatakan bahwa
“Economic Hit men (EHMs) are highly paid
professionals who cheat countries around the globe
out of trillions of dollars” (Perkins, 2004, hal. ix)
--------1 John Perkins adalah seorang ekonom yang pernah
bekerja secara rahasia pada National Security
Agency (NSA). Bukunya yang berjudul Confession
of an Economic Hit Man merupakan best seller.
Stop Menjadi Seorang Plagiat
Dalam mengerjakan tugas atau ujian Metlit,
pelanggaran etika akademik seperti mencontek
atau melakukan plagiarisme dapat
menyebabkan mahasiswa memperoleh nilai
E
Cegah teman anda menjadi seorang plagiat
References
• Crosling, G., and Nell Kimberly, Business
and Economics Q Manual: A Student Guide
for Producing Quality Work On Time, 5th Ed.,
Monash University, 2012
• Eichengreen, B., Economics 191, Topics in
Economic Research, UCB, Fall 2012
• Fahmi, M., Ahmad Maulana, Ben Satriatna,
Ekki Syamsulhakim, and Arief Anshory
Yusuf, TPIP lecture slides, Department of
Economics, Padjadjaran University, 2012
MEMILIH LITERATUR
To get a research idea…
Aristotle’s methods:
1.Study what others have
written about the subject.
2. Look for the general consensus
about the subject
3. Perform a systematic study of
everything even partially related
to the topic.
Read more:
http://www.experiment-resources.com/history-of-thescientific-method.html
Why?
• As good speakers are typically good listener,
good writers are typically enthusiast readers.
• Read, then write.
• If we don’t read (journal articles) much, then
we don’t write and publish much.
• Let’s get used to reading (critically) and write
a good literature review.
Your research may be
inspired by..
•
•
•
•
•
Personal passion
Lectures / Lecturers
Seminars / Conferences
New method(s)
New dataset(s)
The nature of literature
review
• A literature review is based on the
understanding that knowledge is not
fixed and static.
• Rather, it evolves as researchers
investigate and report on their
findings in publications, whether in a
book, a chapter in an edited book or
a refereed journal article.
The nature of literature
review
• Material published in these types of
publications is seen as authoritative
and therefore valid.
• This particularly applies to refereed
journal articles, where the articles
have undergone scrutiny from
experts in the field before being
accepted for publication.
The nature of literature
review
• Articles in peer reviewed academic
journals have been assessed, prior to
publication, as being worthy of
inclusion in the journal by experts in
that academic discipline.
• The use of peer review serves as an
indicator of journal quality. Peer
reviewed journals are sometimes
referred to as refereed journals.
Database vs Journals vs
Articles
Databas
eX
Databas
eY
Journal A
Journal C
• Article/
paper X
• Article/
paper Y
• Article V
• Article Q
Journal B
Journal B
• Article/
paper W
• Article/
paper Z
• Article P
• Article R
Finding academic literature
online
scholar.google.com
Finding academic literature
online
Quality of journals
http://www.elsevier.com/wps/find/editorshome.editors/
Journal_Metrics
Quality of journals
Ranking of Economics
Journal
Working Papers
• Not refereed
• Some are presented in conferences /
seminars, some aren’t
• Be careful
Examples
Examples
http://ideas.repec.org/s/unp/wpaper.html
Example
http://www.nber.org/new.html
Evaluating Sources
• Authority
– Is the author a recognised expert in the field that you are
researching?
– Is sufficient information presented about the author to
verify his or her expertise (e.g. is he or she a member of a
relevant university department?)
• Author affiliation, qualifications
– Is the author affiliated to a university? If so, you may
assume the article has some academic credibility.
– Are the authors’ academic qualifications listed? Affiliation
and qualification details are often found on the first page
of an article, or at the end of the article. In a book of
readings there may be a separate section with brief
details on the contributors.
Evaluating Sources
• Relevance and coverage
– Does the material provide information
relevant to the topic, and in the detail you
need?
– Does it build on your previous research, or
just confirm what you found in other sources?
– Are there any references to further potentially
useful information?
– Are any new topic-related questions or issues
raised in the material?
Evaluating Sources
• Intended audience
– Information that is aimed at secondary
students and the general public may
not be at an appropriate level for a
university essay.
– Equally, some academic research may
be too specific or specialised for your
needs.
Evaluating Sources
• Currency
– This refers to whether or not the source
is up to date. This will be of particular
importance if you need to research the
most recent developments in a field.
– In the case of a web site, is it still being
maintained, or are many of the links
broken?
Evaluating Sources
• Accuracy
– Does the work contain obvious mistakes, or poor
editing? Where possible, check the information
presented for consistency with other sources.
– Are the sources of information within the work
acknowledged?
• Objectivity
– Look for any apparent bias in the work – this may be
evident in the presentation of extreme viewpoints
and in the use of emotive or derogatory language.
– Look also for omissions in information presented and
information that contradicts established facts.
Example
http://www.scholarly-journals.com/
Example
http://www.scholarly-journals.com/
Example
http://www.scholarly-journals.com/
Example
MIXED METHOD
Mixed method
Mixed method adalah sebuah
pendekatan di dalam penelitian
yang
mengkombinasikan
beberapa metode penelitian
untuk menjawab pertanyaan
penelitian yang sama/terkait.
Kata
kunci
dalam
mixed
method adalah integrasi dari
metode-metode
untuk
menghasilkan informasi yang
koheren
Mixed method pada umumnya
menggabungkan
metode
Satriawan (2015), “Mixed Method untuk Pemantauan dan
Evaluasi”, Presentasidan
pada Lokakarya
Pemantauan dan
kuantitatif
kualitatif
Evaluasi TNP2K 2015
Rancang
an
metode
penelitia
n
Penulisa
n
laporan
bersama
Urutan
yang
logis
Analisis
gabunga
n
Mengapa Mixed Method Diperlukan?
Metode kuantitatif dapat menyediakan/mengukur seberapa
besar pengaruh dari suatu variabel bebas terhadap variabel
terikat
Metode
kuantitatif
dapat
menyediakan/mengukur
seberapa besar dampak dari sebuah intervensi
Akan tetapi pemahaman mengapa sebuah program berhasil/
tidak berhasil dan adaptasi intervensi yang diperlukan, hanya
bisa dijawab dengan penelitian kualitatif.
Cara-cara untuk mencampur metode
1. Rangkaian
• Quantitative sebelum Qualitative : Kualitatif digunakan
untuk probing lebih jauh, menjelaskan kausalitas
• Qualitative sebelum Quantitative :
• Needs assessment:
• Identifikasi apa yang penting bagi masyarakat.
• Hipotesa alternatif.
• Pahami kosakata/bahasa, sikap dan motivasi
masyarakat sebelum mengembangkan survei.
• Kontekstualisasikan perangkat-perangkat
kuantitatif
Cara-cara untuk mencampur metode
2. Gabungan
• Pertanyaan terbuka dalam survei. Gunakan sampel
yang dijustifikasi secara statistik untuk elemen
kualitatif
3. Bersamaan
• Kualitatif mengeksplorasi kelompok/permasalahan
yang kurang mendapat perhatian. Analisis interaktif
–interpretative lens
Manfaat Mixed Method
Trianggulasi
• mencapai jawaban yang sama
melalui cara-cara yang berbeda
• menghindari confirmation bias
• memperbaiki mis-konsepsi
Interpretasi
• mengapa, bagaimana
• fokus pada proses/perilaku
Kemampuan generalisasi
• menempatkan studi kualitatif dalam
sampel survei
• Memperhitungkan heterogeneitas,
menghindari oversimplification
Ekpansi
• Menggali informasi yang sulit, contoh:
kekerasan RT
• akses kelompok yang sulit
dicapai/marjinal
• fenomena baru/tidak diharapkan
• menemukan arah baru bagi penelitian
Pengembangan/
penyempurnaan
• kedalaman
• memberdayakan
Kredibilitas
• khalayak lebih luas
• memperkuat validitas temuan
Bagaimana melakukan studi
kualitatif & kuantitatif dengan benar?
Ricky Andriansyah
• S. Sos / Anthropology
– FISIP-UI Depok, Indonesia
– “Harm reduction program
and HIV/AIDS on youth in
North Jakarta”
• M.Sc./Medical
Anthropology
– Universiteit van Amsterdam,
Amsterdam, the Netherlands
– “Money Talks: The Impact of
Illicit Drug Use to the Social
Life in Bures, Jakarta,
Indonesia”
Nur Cahyadi
• S.TP. / Teknik Industri
Pertanian
– IPB, Bogor
• M.Si / Ilmu Ekonomi
– IPB, Bogor
• MSR (Master of Social
Research (Advanced)),
– Centre for Social
Research and Methods,
Australian National
University, Australia.
Bagaimana melakukan studi
kualitatif & kuantitatif dengan benar?
Ricky Andriansyah
• USAID
• The Asia Foundation
• UNICEF / FKM UI
• UNODC
• Mercy Corps
• Puslitkes UI
Nur Cahyadi
• TNP2K
• World Bank
• IPB