magyarorszag.hu értesítési tárhely automatizált feldolgozása

Hello,

Ma megvolt az 1.0 beta teszt:)
Varom az epito jellegu kritikakat.

Most latom, hogy a hosszu sorok vege lemarad, ezert tordelem....

-cronbol minden honap 22.-en lefut es listaz.
- Konyvelo lanyok ellenorzik, majd kezzel torlik a sikeresen nyomtatott allomanyokat a mohu oldalon.

Problema:
- sikeresen megszerzem a letoltendo pdf nevet, de az apeh 404 hibaval kidob.

Fejlesztesi iranyok:
-- felvesem a 404 hibaval letolthetetlen file-okat egy hibalistara, majd egy napi cronbol probalgatom toltogetni.
-- a biztosan letoltott pdf-eket automatikusan torlom a mohu oldalon.

ket file a script:

1. const.pl
=========================================
#user's data
$USER="xxxxx";
$PWD="xxxx";

#nyugtak letoltese
$RECEIPT_DOWNLOAD=1;

#visszaigazolasok letoltese
$CONFIRMATION_DOWNLOAD=0;

#nyomtatas parancs (printf formatum)
$PRN_CMD="lp -h localhost:631 -d samsung %s";

#don't touch
$COOKIES="mohu.dat";
$WGET = "/usr/bin/wget";
$WGET_OPTIONS="$WGET --no-check-certificate --keep-session-cookies";
$WGET_CMD_OPTIONS = "$WGET_OPTIONS --load-cookies=$COOKIES";

$BASE_URL="https://www.magyarorszag.hu";
$STOCK_URL="$BASE_URL/allampolgar/szolgaltatasok/tarhely";

#login form
$LOGIN_HIDDEN="loginPage=1";
$LOGIN_USER="username";
$LOGIN_PASSWORD="password";
$LOGIN_CMD="$WGET_OPTIONS --save-cookies=$COOKIES --post-data=\"$LOGIN_HIDDEN&$LOGIN_USER=$USER&$LOGIN_PASSWORD=$PWD\" $BASE_URL/ugyfelkapu/bejelentkezve";
$LOGIN_OK="bejelentkezve";
$LOGIN_ERROR="";

$LOGOUT="$WGET_OPTIONS $BASE_URL:443/allampolgar/szolgaltatasok/tarhely/kijelenkezes?_nfls=false";

#list
$LIST_URL="\'$STOCK_URL?requestsource=kozmuportlet&targetServiceName=".
"FOG/FOGModul/UzenetLista/Beerkezett&elsorekord=#!#FIRST#!#&rekordszam=10\'";
$LIST_OUTPUT="list.html";
$LIST_CMD= "$WGET_CMD_OPTIONS -O $LIST_OUTPUT $LIST_URL";
$LIST_PATTERN="erkeztetesiszam=([0-9]+)";
$RECEIPT_PATTERN="Elfogad.+nyugta";
$CONFIRMATION_PATTERN="Visszaigazol";

#pdf
$PDF_LINK="\'$BASE_URL/ertesitesitarhely/letoltes?requestsource=kozmuportlet&targetServiceName=".
"FOG/FOGModul/UzenetLekerdezes/Ideiglenes&erkeztetesiszam=#!#ESZ#!#\'";
$PDF_CMD="$WGET_CMD_OPTIONS -O #!#PDF_NAME#!#.pdf $PDF_LINK";

$ERROR_LIST="error.txt";

=========================================

2. abevdownload.pl
=========================================

#!/usr/bin/perl 

require "./const.pl";
use HTML::TableExtract; 

open ERROR,">>$ERROR_LIST" or die "nem tudom megnyitni a hibalistat:$!\n";

&login or die "nem tudok bejelentkezni!\n";
&processList or die "nem tudom letolteni a listat\n";
&logout;
close ERROR;
exit 1;

sub login() {
	if ( -e $COOKIES ) {
		unlink($COOKIES);
	}
	#print "lcmd:$LOGIN_CMD\n";
	system("wget $LOGIN_CMD");
	if ( -e  $LOGIN_OK ) {
		unlink ($LOGIN_OK);
		return 1;
	}
	unlink ($LOGIN_ERROR);
	return 0;
}

sub processList() {
	my $page=1;
	while ( &processPage($page) ) {
		$page+=10;
	}
	return 1;
}

sub processPage( \$ ) {
	my $page=shift;
	my $cmd =$LIST_CMD;
	my $result;
	$cmd =~ s/#!#FIRST#!#/$page/;
	if ( -e $LIST_OUTPUT ) {
		unlink ($LIST_OUTPUT);
	}
	print "$cmd\n";
	system($cmd);
	if ( -e $LIST_OUTPUT ) {
		$result = &processHtml($LIST_OUTPUT);
		unlink ( $LIST_OUTPUT);
		return $result;
	}
	return 0;
}

sub processHtml( \$ ) {
	my $fileName=shift;
	my $found=0;
	print "filename:$fileName\n";
	$te = HTML::TableExtract->new( attribs => { class => infotable } );
	$te->parse_file($fileName);	

	foreach $ts ($te->tables) {
		foreach $row ($ts->rows) {
			$_="@$row";
			if ($RECEIPT_DOWNLOAD && /$RECEIPT_PATTERN/) {
				$found=1;
				unless  ( &download ( $_ ) ) {
					return 0;
				}
			}
			if ($CONFIRMATION_DOWNLOAD && /$CONFIRMATION_PATTERN/) {
				$found=1;
				unless (	&download ( $_ ) ) {
					return 0;
				}
			}
		}
	}
	return $found;
}

sub download( \$ ) {
	my $name = shift;
	#print "$name\n";
	my $link = $PDF_CMD;
	if ( /^([^\-]+)\D+(\d{1,4})\.(\d{1,2})\.(\d{1,2})\D+(\d{1,2}):(\d{1,2})\D+(\d+)/ ) {
		$esz ="$1$2$3$4$5$6$7";
		$esz =~ s/\n//g;
		$esz =~ s/ //g;
		print "$esz\n";
		$link =~ s/#!#ESZ#!#/$esz/;
		$link =~ s/#!#PDF_NAME#!#/$esz/;
		#print "pdflink:$link\n";
		system($link);
		sleep 5;
		if (-e "$esz.pdf") {
		    if ( -s "$esz.pdf" > 0) {
			    print "printing:".sprintf($PRN_CMD, "$esz.pdf")."\n";
			    system(sprintf($PRN_CMD, "$esz.pdf"));
			    return 1;
		    }
		    else {
			print ERROR "$esz.pdf 0 hosszú\n";
			return 1;
		    }
		}
		return 0;
	}
}

sub logout() {
	return;
	sleep 15;
	system($LOGOUT);
	if (-e $COOKIES) {
		unlink($COOKIES);
	}
}

1;

=========================================