feat(webstatement): implement batch processing in job data handling

- Menambahkan konstanta `CHUNK_SIZE` dengan nilai 1000 untuk memungkinkan pemrosesan data dalam bentuk batch guna mengurangi penggunaan memori.
- Memperkenalkan atribut batch baru (`atmTransactionBatch`, `captureBatch`, `transferBatch`, dan `tellerBatch`) untuk menyimpan data sementara sebelum disimpan ke database.
- Mengganti metode penyimpanan langsung dengan menambahkan data ke batch melalui fungsi baru `addToBatch()`.
- Menambahkan fungsi `saveBatch()` untuk melakukan operasi penyimpanan data dalam jumlah besar (bulk) menggunakan metode `upsert`.
- Memastikan batch akan di-reset setelah penyimpanan, termasuk dalam kasus kegagalan, untuk mencegah reprocessing catatan yang gagal.
- Menambahkan logging tambahan untuk mencatat jumlah batch (chunk) yang telah selesai diproses, memberikan wawasan lebih dalam proses.
- Menambahkan validasi jumlah kolom pada setiap baris data, logging peringatan jika data tidak sesuai, dan mencatat jumlah kesalahan (`errorCount`).
- Secara otomatis menambahkan atribut timestamp (`created_at` dan `updated_at`) pada setiap data sebelum dimasukkan ke dalam batch untuk pelacakan waktu.
- Memodifikasi log error untuk menangani kesalahan pada level yang lebih spesifik, seperti pada baris tertentu dalam file yang diproses.
- Mengoptimalkan pemrosesan data pada job:
  - `ProcessAtmTransactionJob` untuk data transaksi ATM.
  - `ProcessDataCaptureDataJob` untuk data capture.
  - `ProcessFundsTransferDataJob` untuk data transfer dana.
  - `ProcessTellerDataJob` untuk data teller.
- Meningkatkan efisiensi dan skalabilitas dengan menyisipkan data secara bulk, mengurangi overhead database, dan menghindari pengolahan data secara satu per satu.

app/Jobs/ProcessDataCaptureDataJob.php

@@ -20,6 +20,7 @@
         private const MAX_EXECUTION_TIME = 86400; // 24 hours in seconds
         private const FILENAME           = 'ST.DATA.CAPTURE.csv';
         private const DISK_NAME          = 'sftpStatement';
+        private const CHUNK_SIZE         = 1000; // Process data in chunks to reduce memory usage
         private const CSV_HEADERS        = [
             'id',
             'account_number',
@@ -66,6 +67,7 @@
         private string $period = '';
         private int    $processedCount = 0;
         private int    $errorCount     = 0;
+        private array  $captureBatch   = [];
 
         /**
          * Create a new job instance.
@@ -103,6 +105,7 @@
             set_time_limit(self::MAX_EXECUTION_TIME);
             $this->processedCount = 0;
             $this->errorCount     = 0;
+            $this->captureBatch   = [];
         }
 
         private function processPeriod()
@@ -152,6 +155,8 @@
             }
 
             $rowCount = 0;
+            $chunkCount = 0;
+
             while (($row = fgetcsv($handle, 0, self::CSV_DELIMITER)) !== false) {
                 $rowCount++;
 
@@ -161,6 +166,18 @@
                 }
 
                 $this->processRow($row, $rowCount, $filePath);
+
+                // Process in chunks to avoid memory issues
+                if (count($this->captureBatch) >= self::CHUNK_SIZE) {
+                    $this->saveBatch();
+                    $chunkCount++;
+                    Log::info("Processed chunk $chunkCount ({$this->processedCount} records so far)");
+                }
+            }
+
+            // Process any remaining records
+            if (!empty($this->captureBatch)) {
+                $this->saveBatch();
             }
 
             fclose($handle);
@@ -178,7 +195,7 @@
 
             $data = array_combine(self::CSV_HEADERS, $row);
             $this->formatDates($data);
-            $this->saveRecord($data, $rowCount, $filePath);
+            $this->addToBatch($data, $rowCount, $filePath);
         }
 
         private function formatDates(array &$data)
@@ -207,15 +224,21 @@
             }
         }
 
-        private function saveRecord(array $data, int $rowCount, string $filePath)
+        /**
+         * Add record to batch instead of saving immediately
+         */
+        private function addToBatch(array $data, int $rowCount, string $filePath)
         : void
         {
             try {
                 if (!empty($data['id'])) {
-                    DataCapture::updateOrCreate(
-                        ['id' => $data['id']],
-                        $data
-                    );
+                    // Add timestamp fields
+                    $now = now();
+                    $data['created_at'] = $now;
+                    $data['updated_at'] = $now;
+
+                    // Add to capture batch
+                    $this->captureBatch[] = $data;
                     $this->processedCount++;
                 }
             } catch (Exception $e) {
@@ -224,6 +247,32 @@
             }
         }
 
+        /**
+         * Save batched records to the database
+         */
+        private function saveBatch()
+        : void
+        {
+            try {
+                if (!empty($this->captureBatch)) {
+                    // Bulk insert/update data captures
+                    DataCapture::upsert(
+                        $this->captureBatch,
+                        ['id'], // Unique key
+                        array_diff(self::CSV_HEADERS, ['id']) // Update columns
+                    );
+
+                    // Reset capture batch after processing
+                    $this->captureBatch = [];
+                }
+            } catch (Exception $e) {
+                Log::error("Error in saveBatch: " . $e->getMessage());
+                $this->errorCount += count($this->captureBatch);
+                // Reset batch even if there's an error to prevent reprocessing the same failed records
+                $this->captureBatch = [];
+            }
+        }
+
         private function cleanup(string $tempFilePath)
         : void
         {