feat(webstatement): optimalkan proses ekspor statement dengan chunking dan tabel terproses

- Menambahkan penggunaan chunking dalam pemrosesan data `StmtEntry` untuk mengurangi konsumsi memori
- Menghapus data yang telah diproses pada tabel `processed_statements` sebelum memproses ulang data baru
- Menambahkan metode `processStatementData` untuk memproses data transaksi dengan pengelolaan hemisan-memori
- Mengganti mekanisme ekspor CSV agar sesuai dengan data yang sudah diproses; menggunakan chunk pada pembacaan dan penulisan data agar lebih efisien
- Memperkenalkan tabel baru `processed_statements` untuk menyimpan hasil pemrosesan sebagai cache sementara
- Menambahkan log untuk setiap tahap pemrosesan untuk mempermudah debugging dan pelacakan proses
- Menambahkan file model `ProcessedStatement` untuk interaksi dengan tabel `processed_statements`
- Menambahkan file migrasi untuk membuat tabel `processed_statements` di database

Enhancement ini meningkatkan performa aplikasi, terutama saat menangani data besar, dengan mengurangi penggunaan memori dan meningkatkan efisiensi proses ekspor.

Signed-off-by: Daeng Deni Mardaeni <ddeni05@gmail.com>
This commit is contained in:
Daeng Deni Mardaeni
2025-05-22 17:36:55 +07:00
parent 04f6f02702
commit b98408a8d2
3 changed files with 162 additions and 52 deletions

View File

@@ -0,0 +1,41 @@
<?php
use Illuminate\Database\Migrations\Migration;
use Illuminate\Database\Schema\Blueprint;
use Illuminate\Support\Facades\Schema;
return new class extends Migration
{
/**
* Run the migrations.
*/
public function up(): void
{
Schema::create('processed_statements', function (Blueprint $table) {
$table->id();
$table->string('account_number');
$table->string('period');
$table->integer('sequence_no');
$table->string('transaction_date');
$table->string('reference_number');
$table->decimal('transaction_amount', 20, 2);
$table->char('transaction_type', 1);
$table->text('description')->nullable();
$table->decimal('end_balance', 20, 2);
$table->string('actual_date');
$table->timestamps();
// Indeks untuk pencarian cepat
$table->index(['account_number', 'period']);
$table->index('sequence_no');
});
}
/**
* Reverse the migrations.
*/
public function down(): void
{
Schema::dropIfExists('processed_statements');
}
};