Repurposing the utilisation of data in Agrobiodiversity Information System
(Pengubahan kegunaan khusus data dalam Sistem Maklumat Agrobiodiversiti)
Abstract
AgrobIS or Agrobiodiversity Information System is a repository system that was developed to store and manage data on genetic resources generated by studies conducted in MARDI. The repository contains data on PGRFA, livestock, biotechnology, arthropods and microbes. These data are not only important for conservation purposes and as a reference for future generations but also essential for developing or producing other systems such as dashboards. Expanding the use of these data to be implemented and integrated in other systems is important as it would highly benefit MARDI in the future. However, repurposing the data for newer decision making information system was difficult and problematic as the data in the database were not properly recorded, formatted and collated which impedes and delays the database querying and retrieval of required data during the data transformation process. Thus, this paper describes the steps taken to enhance the database query and retrieval times during the repurposing of data available in the AgrobIS system which includes the Extract, Transfer and Load (ETL) process and the use of a tool to accommodate the ETL process known as Talend Open Studio for Data Integration. Paddy data was specifically chosen for data transformation as it covered the most accessions available in the AgrobIS database compared to other categories of genetic resources.
Abstrak
AgrobIS atau Sistem Maklumat Agrobiodiversiti merupakan satu sistem repositori yang dibangunkan untuk menyimpan dan mengurus data sumber genetik yang dihasilkan daripada penyelidikan yang dijalankan di MARDI. Sistem repositori tersebut mengandungi data berkaitan PGRFA, ternakan, bioteknologi, artropod dan mikrob. Data ini bukan sahaja penting untuk pemuliharaan dan sebagai rujukan kepada generasi akan datang tetapi juga penting untuk membangunkan atau menghasilkan sistem pembuat keputusan yang baharu. Perluasan penggunaan data ini untuk dilaksanakan dan diintegrasikan ke dalam sistem lain adalah penting kerana ia akan memberi manfaat kepada MARDI pada masa hadapan. Namun, penggunaan semula data sedia ada yang terdapat dalam sistem AgrobIS bagi tujuan pembangunan sistem pembuat keputusan baharu yang lebih kuasa adalah susah dan bermasalah kerana data dalam sistem AgrobIS tidak direkod, diformat atau dikumpul semak dengan sempurna. Keadaan ini akan melengah dan menghalang pertanyaan pangkalan data dan tempoh penerimaan kembali data yang diperlukan dalam proses transformasi data. Artikel ini menerangkan langkah-langkah yang diambil bagi memperkasakan pertanyaan pangkalan data dan tempoh penerimaan kembali data yang diperlukan semasa proses penggunaan semula data dalam sistem AgrobIS seperti peggunaan proses Extract, Transfer and Load (ETL) dan alat Talend Open Studio for Data Integration. Data padi dipilih secara khusus untuk aktiviti transformasi data kerana ia mengandungi paling banyak aksesi dalam pangkalan data AgrobIS berbanding dengan kategori sumber genetik yang lain.