Modelling Art

An Attempt to Crack The Real-World Mechanism [1]

by: Dhaniel Ilyas

Enough about my humble attempts on econometric philosophy and ethics issues that I had written in my previous two writings, I will now try in lettering some words on some semi-technical econometrics topics with simple explanations. My previous writings were in Indonesian language. Since I know we have a noteworthy amount of interested blog-reader, I will now give a shot in making articles in English.

Most econometric models contain unknown parameters. An estimate of these parameters (in a model) is crucial in knowing the behavior of the variables relating to it. To compute the parameter estimates we need two things: A model describing interaction among variables with certain set of parameters and a sample made up of real observed data. Thus, if the model is correctly specified, it will describe the real-world mechanism which generated the data in our sample.

This process does not come without problems. First, nobody knows, even the smartest econometricians alive, the ‘true’ real world mechanism which generated the sample data.[2] Second, often the reliability of the data mining process from surveys is questionable. I have never tried to find any research concerning Indonesia’s Central Bureau of Statistics (BPS) data quality (may be someone can point me out to certain studies). Actually, there have been some techniques in econometrics for minimizing the bias that comes from ‘real’ data error measurement. But if the bias is severe, there is nothing much we can do.

Population is the base from which a sample is drawn. A model is made for explaining what is going on in the population, using the sample data, in order to make inferences and forecasting. Once upon a time, when statistics was biostatistics, their object of studies was the human population from a specific town, villages or country from which random samples were drawn. The average weight of all members in the population would then be estimated by the sample mean of individual’s weight. The sample mean was an estimate of the population mean. The idea was to represent the population by using the sample that could also save time and money. In contrast, the use of the term population in econometrics is simply a metaphor.

A better way to explain the last statement is by introducing the concept of data-generating process (DGP). By this term, any real-world mechanism that is at work in actual economic activity process, it is precisely the mechanism that our econometric model is supposed to describe. Thus, a DGP is the analog of the population in biostatistics as sample could be drawn from a DGP just as they may be drawn from a population. This seems too technical to be digested. Let just say that if I were the know-all-superman, and I have a magic-super-complex mathematical equation that can explain perfectly about all things that happened in the world describe in the form of parameters, variables and some well-defined stochastic element, I can explain the past, present, and future with remarkable accuracy. It is exactly what we after in building a model: cracking the real ‘true’ world mechanism (with our naïve and limited[3] mathematical and computation ability) as close as we can be.

A model is build to understand the existing phenomena. A class of models may have a general (mathematical) form within which the members of the class are distinguished by values of the parameters. In a model that are not mathematically tractable, computationally intensive methods involving simulations, resamplings, etc may be used to make the desired inferences. The process of model building required continous refinements. The evolution of the models proceeds from vague, tentative models to more complex ones, along with our understanding of the process being modeled. It is not possible to measure bias or variance of a model selection (from any arbritary set of models), except in the relatively simple case of selection from some well-defined and simple set of possible models.

Now, let me explain a bit into the practice of modelling. With our limitation to process all the data in the world, we need to create a reasonable strategy in our modelling process. First, we need to form a solid theory about the phenomena we want to observe. This is critically needed because basically we can throw any variables into our (simplified) model. Do you think a falling leaves in autumn will have an effect to certain stock price? Although some ambitious modeller could believe that this seemingly uncorrelated varibles can actually relate, I doubt that an economist will pursue such modelling strategy. And even if I have a good model that explain elegantly the change in one or some variables in terms of other variables, it does not imply true causation. Let me quote what Gujarati said in his book,”…a statistical relationship per se cannot logically imply causation…”[4]. From this apriori or theoritical considerations we go forward into the ‘jungle of empirical study’. Many of us experience surprising result that mounted into a variety of problems, but as life itself, we have to put up with it and struggle all the way. Thus we have come into what people say of a knowledge that is described more as an ‘art’.

Everyday, we look into the debate of outstanding economists, econometricians, physicists[5] statisticians, and mathematicians with their own economic model that they believe were superior, but at the end of the day the winner is hardly found in the mist of our limitation in comprehending the world perfectly. But we have to acknowledge also the positive result and insight from each of their models that shapes our economic advancement until today. Never forget that the ‘real’ judge is not a bunch of towering scientist that has a privilege to say a model is good or bad. It is the effect of the positive spirit in the model, acknowledge by the real advancement of human beings in all the related aspects, which will make a model superior. Thus as a modeller myself, I will say,”one effective and efficient model for one problem at hand.”

---

[1] For interested (highly) advanced reader, I recommend Russel Davidson and James G. MacKinnon book,”Econometric Theory and Methods”. I quote heavily from the book in the fourth and fifth paragraph.

[2] My Econometric Professor during a class session made this kind of statement. It was one of my most enjoying lecture.

[3] If our mathematical and computation ability were fully perfect, there will be no forecasting error. This statement create a philosophical trait: Is it all things in this world were just merely mathematics?

[4] See Damodar N. Gujarati book,”Basic Econometrics”.

[5] An of research come to be known as physical economics has been going on for some time until today.

A Tribute to David F. Hendry

One of The Great Econometricians

by Dhaniel Ilyas

Sudah cukup lama, saya absen menulis di blog ini karena kesibukan dan ‘mood’ yang tidak kunjung datang. Ini adalah tulisan kedua saya pada blog Kafe Depok ini. Mungkin saja tulisan berikutnya akan berjeda selama tulisan pertama dan kedua ini (enam bulan lebih) ^_^ Mudah-mudahan tulisan yang sederhana ini dapat berkenan di hati para pembacanya. Seperti biasa topik tulisan saya terkait dengan ekonometrika. Kali ini saya ingin mengangkat tulisan mengenai David F. Hendry. Seorang Ahli Ekonometri terkenal yang mempunyai sumbangsih besar dalam perkembangan Ilmu Ekonometri.

Tulisan ini saya mulai dengan kutipan akan kata-kata Joseph A. Schumpeter, seorang ekonom besar sejaman Keynes yang ’kalah pamor’, namun tidak diragukan lagi memiliki kontribusi yang luar biasa.

”The only way to a position in which our science might give positive advice on a large scale to politicians and business men, leads through quantitative work. For as long as we are unable to put our arguments into figures, the voice of our sciences, although occasionally it may help to dispel gross errors, will never be heard by practical men. They are, by instinct, econometricians all of them, in their distrust of anything amenable to exact proof.” (Joseph A. Schumpeter, ‘The Common Sense of Econometrics’, Econometrica, 1 (1933), p.12.)

Disini terlihat salah satu cita-cita awal dari pengembangan ilmu ekonometri. Tapi pada perkembangan selanjutnya terdapat ‘kesulitan-kesulitan’ untuk membentuk ‘exact proof’ ini. Para ahli ekonometri terus menerus mencari teknik-teknik ataupun metode-metode yang dapat semakin menyempurnakan ilmu yang mereka geluti.

Pada ‘Introduction’ dalam bukunya yang berjudul “Dynamic Economics”. Hendry (1987) menawarkan empat ‘golden prescriptions’ dalam ilmu ekonometri sebagai usahanya untuk memberikan ‘arahan’ kepada para praktisi-praktisi yang menggunakan ekonometri dalam menghadapi permasalahan-permasalahan dalam pencarian model yang ‘baik’ tersebut:

1. Think Brilliantly: if you think of the right answer before modeling, then the empirical results will be optimal and, of course, confirm your brilliance. Many conventional textbooks simply assume that the model is correct – we will not do so…, although the methods proposed deliver the right results if this case happens to apply.
2. Be infinitely creative: if you do not think of the correct model before commencing, the next best is to think of it as you proceed. While no valid constructive method can be proposed, data evidence can help guide model development in a systematic manner.
3. Be outstanding lucky: if you do not think of the ‘true model’ before starting nor discover it en route, then luckily stumbling over it before completing the study is the final sufficient condition. This may be the most practical of these suggestions. Failing this last prescription:
4. Stick to doing theory!

(Catatan: Preskripsi ini tidak diterjemahkan ke dalam Bahasa Indonesia untuk memperoleh pemahaman yang lebih optimal dari pemikirannya)

Kurang lebih Hendry mengatakan kepada para ekonom-ekonom yang menggunakan ekonometri untuk berusaha brilian dan kreatif. Ini adalah hal yang saya rasa diperlukan untuk membentuk apapun agar menjadi ‘baik’ dan ‘optimal’. Namun preskripsi yang ketiga cukup mengejutkan saya: Anda harus termasuk orang-orang yang mempunyai peruntungan yang tinggi! Lalu, jika semuanya tidak berhasil, jangan keluar dari teori! Jika teori (ekonometri) yang ada pun tak mampu menghasilkan model yang memuaskan, bagaimana?

Apakah seorang ekonometrisian yang handal harus memiliki peruntungan yang tinggi? Bagaimana jika kita adalah seseorang yang lebih mendekati kepada peruntungannya ‘Donald Bebek dibanding rivalnya si ‘Untung’? ^_^

Ternyata Hendry tidak berhenti sampai disitu… Kurang lebih hampir satu dekade setelah itu dia mengatakan:

“These sufficient conditions are tantamount to the assumption of omniscience of the modeler and we cannot rely on their sustaining a viable methodology. Fortunately, these prescriptions are not necessary… That no realistic sufficient conditions can be established which ensure the discovery of a ‘good’ empirical model, nor are any required for empirical econometrics to progress. However, there are a number of necessary conditions which can rule out many poor models, allowing us to focus on the best remaining candidates.” (Dynamic Econometrics, 1995)

Kita perlu hati-hati dalam menginterpretasikan dan membahasakan ‘exact proof’ yang dicita-citakan Schumpeter di awal perkembangan ilmu ekonometri. Kita memerlukan para ekonom yang mempunyai ‘seni tinggi’ dalam mempresentasikan ‘pendapat-pendapat’-nya yang didasarkan oleh ‘bukti-bukti empiris’ sebagai ‘the best remaining candidates’ yang ada.

Tulisan yang luar biasa menurut saya dari seorang ahli ekonometri besar. Saya amat menghormati ilmuwan-ilmuwan yang terus menjaga ‘kegelisahan’-nya akan ‘pencarian kebenaran’, bukan alih-alih terus mempertahankan ‘kepercayaan-kepercayaannya’. Salah satu contoh klasik adalah Gunnar Myrdal, yang meragukan pemikiran-pemikiran awalnya di masa-masa akhir kehidupannya. Juga Alfred Marshall dalam surat-suratnya. (Hubungi saya jika tertarik mengetahui hal ini.) Seringkali para ekonom hanya membetik satu pemikiran pada satu fase kehidupan para pemikir besar ini untuk mendukung pendapat mereka tanpa berusaha memahami kompleksitas dari proses pemikiran mereka. Saya selalu berusaha memahami para pemikir-pemikir tersebut terkait dengan konteks kerumitannya sesuai dengan ‘proses’ yang mereka jalani dan berusaha menggunakan semua ‘cahaya-cahaya pemikiran’ mereka untuk menyelesaikan ‘permasalahan riil’ yang ada, bukan menjadi pengikut-pengikut salah satu dari mereka dengan ‘buta’.

Mereka adalah orang-orang yang rendah hati akan ‘cahaya kebenaran’

Catatan: Tulisan sederhana ini dibuat penulis akan penghormatannya kepada David F. Henry. Seorang ahli ekonometri besar yang terus menjaga ’kegelisahan’-nya. Sang ekonometrisian yang terus ’mencari’ tanpa henti dalam mengarungi lautan ilmu ekonometri. Sebagian besar isi tulisan ini didasarkan akan bukunya yang berjudul ”Dynamic Econometrics”.

Interpretasi Hasil Analisa Kuantitatif dari Ilmu Ekonomi:

Kesombongan, Percaya Diri, Kejujuran atau Strategi?

Oleh: Dhaniel Ilyas

Kalau kita memulainya dari sudut pandang objek ilmu, terlihat bahwa di dalam ilmu sosial terdapat sebuah permasalahan abadi: ketidakmungkinan mengeneralisasi secara sempurna tingkah laku manusia dari sudut pandang yang paling mikro maupun (interaksi) makro. Ilmu ekonomi sebagai salah satu bagian dari ilmu sosial pun tidak lepas dari hal ini. Kecanggihan dari teknologi memungkinkan kita untuk menggunakan metode-metode analisa yang lebih ‘keras’ dalam kaitannya dengan perkembangan ilmu matematik. Ekonometri merupakan salah satu dari cabang ilmu yang mengkhususkan dirinya pada analisa kuantitatif dari data-data ekonomi yang seiring dengan berjalannya waktu semakin mengkristal manjadi sebuah cabang ilmu yang mapan. Ekonometri dalam kesejarahannya bisa dibilang sebagai cabang ilmu yang masih ‘muda’ namun memegang peranan yang cukup penting dalam perkembangan ilmu ekonomi.

Hampir sebagian besar dari analisis ekonomi baik yang di jurnal akademis maupun analisis kebijakan riil menggunakan metode ekonometri. Analisis dengan menggunakan ‘common sense’ dari teori-teori ekonomi sering dianggap kurang kuat sebagai dasar analisis karena tidak mempunyai dasar empirik yang kuat. Ketersediaan data membuat para ekonom mampu menampilkan analisis-analisis ‘canggih’ yang didasarkan kepada data-data riil dengan menggunakan metode-metode ekonometrik. Menariknya, hasil-hasil analisis yang didasarkan kepada metode-metode ekonometrik dan kuantitatif lainnya ini dalam proses dan penyajiannya dipengaruhi oleh sudut pandang sang peneliti.

Setelah melalui proses analisis dari tahap pengambilan data, membuat proksi data, pembentukan model sampai menjalankan program software ekonometri dan analisis hasil, ditemukanlah model yang dianggap paling efisien secara teoritis. Seringkali setelah kita melihat output yang dihasilkan dari model-model ekonometri tersebut hipotesa awal kita tidak terpenuhi secara sempurna. Terdapat sebagian peneliti yang mencari ‘akal’ agar hasil dari permodelan ekonometri mereka sesuai dengan insting ‘common sense’ yang mereka percayai. Cara-cara mereka ada yang masih di dalam koridor teori-teori ekonometri dan ada pula yang sudah di luar itu dengan memodifikasi sedemikian rupa data yang mereka punya. Ada yang melakukan modifikasi data yang masih di dalam koridor yang dianggap layak dan ada pula yang berusaha menerapkan ‘jalan-jalan’ keras untuk men-fit-kan ‘kepercayaan’ mereka akan sebuah hipotesis tertentu. Ini menimbulkan pertanyaan yang mendasar dari analisis kuantitatif yang kita lakukan ini. Sejauh manakah validasi dari angka-angka tersebut?

Di sisi lain jika seorang peneliti beruntung menemukan sebuah model yang dengan mudah mendukung hipotesis yang mereka percayai, timbulah kepercayaan diri yang tinggi akan analisa yang dihasilkan dan alih-alih ada yang menjadi sombong akan ‘kehebatan’ hasil-hasilnya. Sombong disini berbeda dengan percaya diri. Yang sombong adalah yang merasa memiliki model ekonometri yang paling hebat dalam menghasilkan angka-angka proyeksi maupun simulasi. Hasil-hasilnya seakan-akan menjadi ‘dewa’ dalam pandangan mereka. Dalam pengamatan saya terdapat beberapa ekonom yang dengan menggebu-gebu mempromosikan hasil perhitungannya bahwa variabel ekonomi yang mereka teliti akan mempunyai kepastian dalam mengikuti sebuah ‘tingkah laku dan besaran proyeksi’ tertentu. Seringkali apa yang mereka katakan terbukti bertolak belakang dengan kenyataan yang ada dan orang-orang menjadi lupa akan apa-apa yang mereka katakan dan perdebatkan di publik. Kesalahan seorang dokter dalam menganalisa gejala-gejala yang ada pada seorang pasien akan menghasilkan efek fatal yang dengan mudah terlihat dimana kesalahan seorang ekonom seakan-akan terlupakan dan termaafkan begitu saja.

Kita tidak boleh lupa bahwa hasil-hasil analisa kuantitatif itu hanyalah merupakan ‘kecenderungan’ saja dan merupakan alat untuk membantu pengambilan keputusan. Dalam praktek kita harus mampu menggunakan informasi ini dengan bijaksana. Kepercayaan akan hasil analisis kuantitatif yang baik dapat saja digunakan untuk men-drive ekspektasi para pelaku ekonomi sesuai dengan arah yang kita inginkan dan begitu pula jika kita menghasilkan hasil buruk, hal itu dapat dijadikan ‘signal’ agar kita menjadi berhati-hati. Seyogyanya kita perlu kerendahan hati dalam membicarakan hasil-hasil kuantitatif ini di hadapan publik. Inilah yang dimaksud pula dari sebagian artian ilmu ekonometri sebagai ‘arts’. Kita memerlukan strategi yang matang dalam menampilkan hasil-hasil analisa kuantitatif yang kita lakukan. Seperti seorang ekonom yang mengambil keputusan untuk tidak menampilkan proyeksi yang overconfidence maupun yang underpotential. Hal ini juga bisa terkait ke dalam konstelasi perpolitikan yang merespons angka-angka tersebut sesuai dengan kepentingan masing-masing. Disini terlihat bahwa analisis kuantitatif dalam prakteknya amat terpengaruh dengan sudut pandang sang peneliti dan bahkan interest politik yang berkepentingan. Kita dapat memplesetkan judul buku Gunnar Myrdal yang terkenal menjadi ‘the political element in the development of applied econometrics’.

Seringkali terjadi perdebatan yang tidak kunjung usai di antara para ekonom akan ‘kepercayaan’ mereka masing-masing. Jadi dimana letak tanggung jawab intelektual dan kejujuran hati nurani kita dalam hal ini? Apa yang harus kita lakukan? Secara pribadi dan sebagai seseorang yang mempelajari ilmu ekonometri itu sendiri menurut saya titik awalnya adalah dengan mendudukkan diri kita sebagai seorang ekonom (dan atau ahli ekonometri) yang jujur dan rendah hati. Pre-hipotesis dalam meneliti adalah perlu dan jika hasil yang kita hasilkan tidak ‘make sense’, usaha pencarian hasil model ekonometri yang sesuai dengan ‘common sense’ dan insting kita harus tetap di dalam koridor kaidah-kaidah teori ekonometri yang baku. Jika tidak bisa juga tercapai, kita harus mau jujur mengakui bahwa pre-hipotesis kita tidak memiliki bukti yang kuat dan mengikutkan kemungkinan adanya penjelasan teori ekonomi lain yang lebih baik. Juga harus disadari sepenuh-penuhnya bahwa hasil-hasil ekonometri itu hanyalah ‘kecenderungan’ dan tidak lepas dari tataran konsep ‘probabilita’. Seringkali pula penggunaan metode ekonometri yang hebat dengan teknik algoritma canggih dan sebagainya seakan-akan mengukuhkan hasil yang ‘hebat’. Ini dapat membawa kita kepada kesalahan dalam pengambilan kesimpulan! Ingatlah bahwa ekonometri hanyalah ‘alat bantu’ untuk pengambilan keputusan ataupun analisis ekonomi secara keseluruhan dengan mempertimbangkan pula aspek-aspek lainnya.

“Marilah kita menjadi seorang ekonom (dan ahli ekonometri) yang jujur, rendah hati dan bijaksana dalam mempresentasikan hasil-hasil analisis kita dengan tetap berlapang dada akan kemungkinan kesalahannya dan adanya penjelasan yang lebih baik.”