Compare commits

...

3 Commits

Author SHA1 Message Date
Daeng Deni Mardaeni
3414fd9414 fix(webstatement): optimize balance assignment in ProcessAccountDataJob
- Mengubah logika assignment nilai balance untuk memanfaatkan operator null coalescing (??).
- Menghapus pengecekan eksplisit untuk `isset` pada `open_actual_bal` dan `open_cleared_bal`.
- Menambahkan default value `0` jika data balance tidak tersedia.

Signed-off-by: Daeng Deni Mardaeni <ddeni05@gmail.com>
2025-05-23 21:42:46 +07:00
Daeng Deni Mardaeni
cb0a248ce5 refactor(webstatement): improve code readability and consistency in ExportStatementJob
- Menambahkan tipe return untuk beberapa method agar lebih eksplisit dan konsisten.
- Memperbaiki indentasi dan alignment parameter untuk meningkatkan keterbacaan.
- Menghapus method `getTransaction` dan memindahkannya ke bagian akhir kode dengan dokumentasi ulang.
- Menambahkan logika untuk menghapus file CSV yang sudah ada sebelum membuat file baru di method `exportToCsv`.
- Mengoreksi format data dan whitespace pada beberapa bagian kode untuk menjaga standar penulisan.
- Memindahkan komentar terkait dokumentasi method ke posisi yang lebih relevan dan terstruktur.
- Memastikan konsistensi penggunaan tanda kurung kurawal dan spasi pada query database agar lebih seragam.

Signed-off-by: Daeng Deni Mardaeni <ddeni05@gmail.com>
2025-05-23 21:30:04 +07:00
Daeng Deni Mardaeni
57463f2429 fix(webstatement): optimasi proses pengelolaan statement dan perbaikan logika pemrosesan data
- Menghilangkan pengecekan data yang sebelumnya diproses dengan memindahkan logika perbandingan jumlah data ke dalam fungsi `processStatementData`.
- Menambahkan beberapa fungsi baru untuk memisahkan logika ke dalam unit yang lebih kecil:
  1. `getTotalEntryCount`: Menghitung total jumlah data berdasarkan kriteria akun dan periode.
  2. `getExistingProcessedCount`: Menghitung jumlah data yang sudah diproses.
  3. `deleteExistingProcessedData`: Menghapus data hasil proses sebelumnya jika ada ketidaksesuaian jumlah.
  4. `processAndSaveStatementEntries`: Memproses dan menyimpan data dalam batch untuk efisiensi memori.
  5. `prepareProcessedData`: Menyiapkan array data hasil pemrosesan sebelum disimpan ke database.
  6. `formatTransactionDate`: Memformat tanggal transaksi dengan logika fallback pada error parsing.
  7. `formatActualDate`: Memformat tanggal aktual dengan fallback dan logging untuk error parsing.
- Memperbaiki logika pemrosesan data statement:
  - Menambahkan validasi jumlah data yang diproses untuk menghindari duplikasi atau penghapusan data yang tidak semestinya.
  - Menghapus semua data hasil proses sebelumnya untuk satu kombinasi akun dan periode hanya jika terjadi ketidaksesuaian jumlah data.
- Menggunakan chunk batch untuk memproses data dengan lebih efisien, mengurangi penggunaan memori, dan meningkatkan kestabilan aplikasi.
- Menyempurnakan logging untuk memberikan informasi lebih rinci terkait proses pemrosesan data dan mengantisipasi error.
- Mengubah format data waktu pada proses narasi dengan fallback yang lebih aman guna mencegah kegagalan parsing.
- Menambahkan penghapusan data lama sebelum proses penyimpanan ulang guna memastikan konsistensi.

Signed-off-by: Daeng Deni Mardaeni <ddeni05@gmail.com>
2025-05-23 21:28:39 +07:00
2 changed files with 120 additions and 78 deletions

View File

@@ -55,15 +55,7 @@
try {
Log::info("Starting export statement job for account: {$this->account_number}, period: {$this->period}");
// Cek apakah data sudah diproses sebelumnya
$existingData = ProcessedStatement::where('account_number', $this->account_number)
->where('period', $this->period)
->exists();
if (!$existingData) {
// Jika belum ada data yang diproses, lakukan pemrosesan
$this->processStatementData();
}
$this->processStatementData();
// Export data yang sudah diproses ke CSV
$this->exportToCsv();
@@ -75,79 +67,129 @@
}
}
/**
* Process statement data and save to database
*/
private function processStatementData()
: void
{
// Hapus data yang mungkin sudah ada untuk kombinasi account dan period yang sama
ProcessedStatement::where('account_number', $this->account_number)
->where('period', $this->period)
->delete();
$accountQuery = [
'account_number' => $this->account_number,
'period' => $this->period
];
$totalCount = $this->getTotalEntryCount($accountQuery);
$existingDataCount = $this->getExistingProcessedCount($accountQuery);
// Hanya proses jika data belum lengkap diproses
if ($existingDataCount !== $totalCount) {
$this->deleteExistingProcessedData($accountQuery);
$this->processAndSaveStatementEntries($totalCount);
}
}
private function getTotalEntryCount(array $criteria)
: int
{
return StmtEntry::where('account_number', $criteria['account_number'])
->where('booking_date', $criteria['period'])
->count();
}
private function getExistingProcessedCount(array $criteria)
: int
{
return ProcessedStatement::where('account_number', $criteria['account_number'])
->where('period', $criteria['period'])
->count();
}
private function deleteExistingProcessedData(array $criteria)
: void
{
ProcessedStatement::where('account_number', $criteria['account_number'])
->where('period', $criteria['period'])
->delete();
}
private function processAndSaveStatementEntries(int $totalCount)
: void
{
$runningBalance = (float) $this->saldo;
$totalCount = StmtEntry::where('account_number', $this->account_number)
->where('booking_date', $this->period)
->count();
$globalSequence = 0;
Log::info("Processing {$totalCount} statement entries for account: {$this->account_number}");
// Track the global sequence number across chunks
$globalSequence = 0;
// Proses data dalam chunk untuk mengurangi penggunaan memori
StmtEntry::with(['ft', 'transaction'])
->where('account_number', $this->account_number)
->where('booking_date', $this->period)
->orderBy('date_time', 'ASC')
->orderBy('trans_reference', 'ASC')
->chunk($this->chunkSize, function ($entries) use (&$runningBalance, &$globalSequence) {
$processedData = [];
$processedData = $this->prepareProcessedData($entries, $runningBalance, $globalSequence);
foreach ($entries as $item) {
$globalSequence++; // Increment the global sequence counter
$runningBalance += (float) $item->amount_lcy;
try {
$transactionDate = Carbon::createFromFormat('YmdHi', $item->booking_date . substr($item->ft?->date_time ?? '0000000000', 6, 4))
->format('d/m/Y H:i');
} catch (Exception $e) {
$transactionDate = Carbon::now()->format('d/m/Y H:i');
Log::warning("Error formatting transaction date: " . $e->getMessage());
}
try {
$actualDate = Carbon::createFromFormat('ymdHi', $item->ft?->date_time ?? '2505120000')
->format('d/m/Y H:i');
} catch (Exception $e) {
$actualDate = Carbon::now()->format('d/m/Y H:i');
Log::warning("Error formatting actual date: " . $e->getMessage());
}
$processedData[] = [
'account_number' => $this->account_number,
'period' => $this->period,
'sequence_no' => $globalSequence,
'transaction_date' => $transactionDate,
'reference_number' => $item->trans_reference,
'transaction_amount' => $item->amount_lcy,
'transaction_type' => $item->amount_lcy < 0 ? 'D' : 'C',
'description' => $this->generateNarrative($item),
'end_balance' => $runningBalance,
'actual_date' => $actualDate,
'created_at' => now(),
'updated_at' => now(),
];
}
// var_dump($processedData);
// Simpan data dalam batch untuk kinerja yang lebih baik
if (!empty($processedData)) {
DB::table('processed_statements')->insert($processedData);
}
});
}
private function prepareProcessedData($entries, &$runningBalance, &$globalSequence)
: array
{
$processedData = [];
foreach ($entries as $item) {
$globalSequence++;
$runningBalance += (float) $item->amount_lcy;
$transactionDate = $this->formatTransactionDate($item);
$actualDate = $this->formatActualDate($item);
$processedData[] = [
'account_number' => $this->account_number,
'period' => $this->period,
'sequence_no' => $globalSequence,
'transaction_date' => $transactionDate,
'reference_number' => $item->trans_reference,
'transaction_amount' => $item->amount_lcy,
'transaction_type' => $item->amount_lcy < 0 ? 'D' : 'C',
'description' => $this->generateNarrative($item),
'end_balance' => $runningBalance,
'actual_date' => $actualDate,
'created_at' => now(),
'updated_at' => now(),
];
}
return $processedData;
}
private function formatTransactionDate($item)
: string
{
try {
return Carbon::createFromFormat(
'YmdHi',
$item->booking_date . substr($item->ft?->date_time ?? '0000000000', 6, 4)
)->format('d/m/Y H:i');
} catch (Exception $e) {
Log::warning("Error formatting transaction date: " . $e->getMessage());
return Carbon::now()->format('d/m/Y H:i');
}
}
private function formatActualDate($item)
: string
{
try {
return Carbon::createFromFormat(
'ymdHi',
$item->ft?->date_time ?? '2505120000'
)->format('d/m/Y H:i');
} catch (Exception $e) {
Log::warning("Error formatting actual date: " . $e->getMessage());
return Carbon::now()->format('d/m/Y H:i');
}
}
/**
* Generate narrative for a statement entry
*/
@@ -247,16 +289,7 @@
}
}
return str_replace('<NL>','',$result);
}
/**
* Get transaction data by reference and field
*/
private function getTransaction($ref, $field)
{
$trans = TempFundsTransfer::where('ref_no', $ref)->first();
return $trans->$field ?? "";
return str_replace('<NL>', '', $result);
}
/**
@@ -265,6 +298,11 @@
private function exportToCsv()
: void
{
// Delete existing file if it exists
if (Storage::disk($this->disk)->exists("statements/{$this->fileName}")) {
Storage::disk($this->disk)->delete("statements/{$this->fileName}");
}
$csvContent = "NO|TRANSACTION.DATE|REFERENCE.NUMBER|TRANSACTION.AMOUNT|TRANSACTION.TYPE|DESCRIPTION|END.BALANCE|ACTUAL.DATE\n";
// Ambil data yang sudah diproses dalam chunk untuk mengurangi penggunaan memori
@@ -292,4 +330,13 @@
Log::info("Statement exported to {$this->disk} disk: statements/{$this->fileName}");
}
/**
* Get transaction data by reference and field
*/
private function getTransaction($ref, $field)
{
$trans = TempFundsTransfer::where('ref_no', $ref)->first();
return $trans->$field ?? "";
}
}

View File

@@ -102,13 +102,8 @@
]);
// Set the balances
if (isset($data['open_actual_bal'])) {
$accountBalance->actual_balance = $data['open_actual_bal'];
}
if (isset($data['open_cleared_bal'])) {
$accountBalance->cleared_balance = $data['open_cleared_bal'];
}
$accountBalance->actual_balance = $data['open_actual_bal'] ?? 0;
$accountBalance->cleared_balance = $data['open_cleared_bal'] ?? 0;
$accountBalance->save();
Log::info("Saved balance for account {$data['account_number']} for period $period");