/[BackupPC]/trunk/bin/BackupPC_updatedb

This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!

Diff of /trunk/bin/BackupPC_updatedb

Parent Directory | Revision Log | View Patch Patch

-revision 27 by dpavlin,
Fri Jul 29 17:31:14 2005 UTC
+revision 57 by dpavlin,
Sun Aug 21 14:25:46 2005 UTC
 Line 1
  #!/usr/local/bin/perl -w
  use strict;
- use DBI;
  use lib "__INSTALLDIR__/lib";
+ use DBI;
  use BackupPC::Lib;
  use BackupPC::View;
  use Data::Dumper;
  use Getopt::Std;
+ use Time::HiRes qw/time/;
+ use File::Pid;
+ use POSIX qw/strftime/;
  use constant BPC_FTYPE_DIR => 5;
+ my $debug = 0;
  $|=1;
+ my $start_t = time();
+ my $pidfile = new File::Pid;
+ if (my $pid = $pidfile->running ) {
+         die "$0 already running: $pid\n";
+ } elsif ($pidfile->pid ne $$) {
+         $pidfile->remove;
+         $pidfile = new File::Pid;
+ }
+ $pidfile->write;
+ print STDERR "$0 using pid ",$pidfile->pid," file ",$pidfile->file,"\n";
+ my $t_fmt = '%Y-%m-%d %H:%M:%S';
  my $hosts;
  my $bpc = BackupPC::Lib->new || die;
  my %Conf = $bpc->Conf();
  my $TopDir = $bpc->TopDir();
  my $beenThere = {};
- my $dsn = "dbi:SQLite:dbname=$TopDir/$Conf{SearchDB}";
+ my $dsn = $Conf{SearchDSN} || die "Need SearchDSN in config.pl\n";
+ my $user = $Conf{SearchUser} || '';
- my $dbh = DBI->connect($dsn, "", "", { RaiseError => 1, AutoCommit => 0 });
+ my $dbh = DBI->connect($dsn, $user, "", { RaiseError => 1, AutoCommit => 0 });
  my %opt;
- if ( !getopts("cdm:", \%opt ) ) {
+ if ( !getopts("cdm:v:", \%opt ) ) {
          print STDERR <<EOF;
- usage: $0 [-c|-d] [-m num]
+ usage: $0 [-c|-d] [-m num] [-v|-v level]
  Options:
          -c      create database on first use
          -d      delete database before import
          -m num  import just num increments for one host
+         -v num  set verbosity (debug) level (default $debug)
  EOF
          exit 1;
  }
-Line 38 
 EOF
+Line 61 
 EOF
  ###################################create tables############################3
  if ($opt{c}) {
+         sub do_index {
+                 my $index = shift || return;
+                 my ($table,$col,$unique) = split(/_/, $index);
+                 $unique ||= '';
+                 $index =~ s/,/_/g;
+                 $dbh->do(qq{ create $unique index $index on $table($col) });
+         }
          print "creating tables...\n";
          $dbh->do(qq{
                  create table hosts (
-                         ID      INTEGER         PRIMARY KEY,
+                         ID      SERIAL          PRIMARY KEY,
                          name    VARCHAR(30)     NOT NULL,
                          IP      VARCHAR(15)
                  );
-Line 50 
 if ($opt{c}) {
+Line 81 
 if ($opt{c}) {
          $dbh->do(qq{
                  create table shares (
-                         ID      INTEGER         PRIMARY KEY,
+                         ID      SERIAL          PRIMARY KEY,
                          hostID  INTEGER         NOT NULL references hosts(id),
                          name    VARCHAR(30)     NOT NULL,
                          share   VARCHAR(200)    NOT NULL,
-Line 62 
 if ($opt{c}) {
+Line 93 
 if ($opt{c}) {
                  create table backups (
                          hostID  INTEGER         NOT NULL references hosts(id),
                          num     INTEGER         NOT NULL,
-                         date    DATE,
+                         date    integer         NOT NULL,
-                         type    CHAR(1),
+                         type    CHAR(4)         not null,
                          PRIMARY KEY(hostID, num)
                  );
          });
+         do_index('backups_hostid,num_unique');
          $dbh->do(qq{
                  create table dvds (
-                         ID      INTEGER         PRIMARY KEY,
+                         ID      SERIAL          PRIMARY KEY,
                          num     INTEGER         NOT NULL,
                          name    VARCHAR(255)    NOT NULL,
                          mjesto  VARCHAR(255)
-Line 79 
 if ($opt{c}) {
+Line 112 
 if ($opt{c}) {
          $dbh->do(qq{
                  create table files (
-                         ID      INTEGER         NOT NULL PRIMARY KEY,
+                         ID      SERIAL          PRIMARY KEY,
                          shareID INTEGER         NOT NULL references shares(id),
-                         backupNum  INTEGER      NOT NULL references backups(num),
+                         backupNum  INTEGER      NOT NULL,
                          name       VARCHAR(255) NOT NULL,
                          path       VARCHAR(255) NOT NULL,
                          fullpath   VARCHAR(255) NOT NULL,
-                         date       TIMESTAMP    NOT NULL,
+                         date       integer      NOT NULL,
                          type       INTEGER      NOT NULL,
                          size       INTEGER      NOT NULL,
                          dvdid      INTEGER      references dvds(id)
                  );
          });
-         print "creating indexes...\n";
+         print "creating indexes:";
          foreach my $index (qw(
                  hosts_name
-Line 106 
 if ($opt{c}) {
+Line 139 
 if ($opt{c}) {
                  files_date
                  files_size
          )) {
-                 my ($table,$col) = split(/_/, $index);
+                 print " $index";
-                 $dbh->do(qq{ create index $index on $table($col) });
+                 do_index($index);
          }
+         print "...\n";
+         $dbh->commit;
  }
  if ($opt{d}) {
          print "deleting ";
-         foreach my $table (qw(hosts shares files dvds backups)) {
+         foreach my $table (qw(files dvds backups shares hosts)) {
                  print "$table ";
                  $dbh->do(qq{ DELETE FROM $table });
          }
          print " done...\n";
+         $dbh->commit;
+ }
+ if ($opt{v}) {
+         print "Debug level at $opt{v}\n";
+         $debug = $opt{v};
  }
  #################################INSERT VALUES#############################
-Line 156 
 INSERT INTO files
+Line 198 
 INSERT INTO files
          VALUES (?,?,?,?,?,?,?,?)
  });
+ sub fmt_time {
+         my $t = shift || return;
+         my $out = "";
+         my ($ss,$mm,$hh) = gmtime($t);
+         $out .= "${hh}h" if ($hh);
+         $out .= sprintf("%02d:%02d", $mm,$ss);
+         return $out;
+ }
  foreach my $host_key (keys %{$hosts}) {
          my $hostname = $hosts->{$host_key}->{'host'} || die "can't find host for $host_key";
-Line 168 
 foreach my $host_key (keys %{$hosts}) {
+Line 219 
 foreach my $host_key (keys %{$hosts}) {
                          $hosts->{$host_key}->{'ip'}
                  );
-                 $hostID = $dbh->func('last_insert_rowid');
+                 $hostID = $dbh->last_insert_id(undef,undef,'hosts',undef);
          }
          print("host ".$hosts->{$host_key}->{'host'}.": ");
-Line 180 
 foreach my $host_key (keys %{$hosts}) {
+Line 231 
 foreach my $host_key (keys %{$hosts}) {
          my $inc_nr = 0;
          foreach my $backup (@backups) {
                  $inc_nr++;
                  last if ($opt{m} && $inc_nr > $opt{m});
                  my $backupNum = $backup->{'num'};
                  my @backupShares = ();
-                 print $hosts->{$host_key}->{'host'},"\t#$backupNum\n";
+                 print $hosts->{$host_key}->{'host'},
+                         "\t#$backupNum\t", $backup->{type} || '?', " ",
+                         $backup->{nFilesNew} || '?', "/", $backup->{nFiles} || '?',
+                         " files (date: ",
+                         strftime($t_fmt,localtime($backup->{startTime})),
+                         " dur: ",
+                         fmt_time($backup->{endTime} - $backup->{startTime}),
+                         ")\n";
                  $sth->{backups_broj}->execute($hostID, $backupNum);
                  my ($broj) = $sth->{backups_broj}->fetchrow_array();
-Line 200 
 foreach my $host_key (keys %{$hosts}) {
+Line 259 
 foreach my $host_key (keys %{$hosts}) {
                  );
                  $dbh->commit();
-                 my $files = BackupPC::View->new($bpc, $hostname, \@backups);
+                 my $files = BackupPC::View->new($bpc, $hostname, \@backups, 1);
                  foreach my $share ($files->shareList($backupNum)) {
-                         print "\t$share";
+                         my $t = time();
+                         print strftime($t_fmt,localtime())," ", $share;
                          $shareID = getShareID($share, $hostID, $hostname);
-                         my ($f, $nf, $d, $nd) = recurseDir($bpc, $hostname, \@backups, $backupNum, $share, "", $shareID);
+                         my ($f, $nf, $d, $nd) = recurseDir($bpc, $hostname, $files, $backupNum, $share, "", $shareID);
-                         print " $nf/$f files $nd/$d dirs\n";
+                         my $dur = (time() - $t) || 1;
+                         printf(" %d/%d files %d/%d dirs [%.2f/s dur: %s]\n",
+                                 $nf, $f, $nd, $d,
+                                 ( ($f+$d) / $dur ),
+                                 fmt_time($dur)
+                         );
                          $dbh->commit();
                  }
          }
  }
  undef $sth;
  $dbh->commit();
  $dbh->disconnect();
+ print "total duration: ",fmt_time(time() - $start_t),"\n";
+ $pidfile->remove;
  sub getShareID() {
          my ($share, $hostID, $hostname) = @_;
-Line 240 
 sub getShareID() {
+Line 311 
 sub getShareID() {
          $drop_down =~ s#//+#/#g;
          $sth->{insert_share}->execute($hostID,$share, $drop_down ,undef);
-         return $dbh->func('last_insert_rowid');
+         return $dbh->last_insert_id(undef,undef,'shares',undef);
  }
  sub found_in_db {
-         my ($shareID,undef,$name,$path,undef,$date,undef,$size) = @_;
+         my @data = @_;
+         shift @data;
+         my ($key, $shareID,undef,$name,$path,undef,$date,undef,$size) = @_;
+         return $beenThere->{$key} if (defined($beenThere->{$key}));
          $sth->{file_in_db} ||= $dbh->prepare(qq{
-                 SELECT count(*) FROM files
+                 SELECT 1 FROM files
                  WHERE shareID = ? and
                          path = ? and
                          name = ? and
-Line 258 
 sub found_in_db {
+Line 334 
 sub found_in_db {
          my @param = ($shareID,$path,$name,$date,$size);
          $sth->{file_in_db}->execute(@param);
-         my ($rows) = $sth->{file_in_db}->fetchrow_array();
+         my $rows = $sth->{file_in_db}->rows;
- #       print STDERR ( $rows ? '+' : '-' ), join(" ",@param), "\n";
+         print STDERR "## found_in_db ",( $rows ? '+' : '-' ), join(" ",@param), "\n" if ($debug >= 3);
+         $beenThere->{$key}++;
+         $sth->{'insert_files'}->execute(@data) unless ($rows);
          return $rows;
  }
-Line 269 
 sub found_in_db {
+Line 349 
 sub found_in_db {
  ####################################################
  sub recurseDir($$$$$$$$) {
-         my ($bpc, $hostname, $backups, $backupNum, $share, $dir, $shareID) = @_;
+         my ($bpc, $hostname, $files, $backupNum, $share, $dir, $shareID) = @_;
-         my ($nr_files, $new_files, $nr_dirs, $new_dirs) = (0,0,0,0);
+         print STDERR "\nrecurse($hostname,$backupNum,$share,$dir,$shareID)\n" if ($debug >= 1);
-         my @stack;
+         my ($nr_files, $new_files, $nr_dirs, $new_dirs) = (0,0,0,0);
          { # scope
+                 my @stack;
-                 my $files = BackupPC::View->new($bpc, $hostname, $backups);
+                 print STDERR "# dirAttrib($backupNum, $share, $dir)\n" if ($debug >= 2);
                  my $filesInBackup = $files->dirAttrib($backupNum, $share, $dir);
- print STDERR "$hostname: $share | $dir | $backupNum\n";
                  # first, add all the entries in current directory
                  foreach my $path_key (keys %{$filesInBackup}) {
                          my @data = (
-Line 305 
 print STDERR "$hostname: $share | $dir |
+Line 384 
 print STDERR "$hostname: $share | $dir |
                          ));
-                         if (! $beenThere->{$key} && ! found_in_db(@data)) {
+                         if (! defined($beenThere->{$key}) && ! found_in_db($key, @data)) {
-                                 $sth->{'insert_files'}->execute(@data);
+                                 print STDERR "# key: $key [", $beenThere->{$key},"]" if ($debug >= 2);
-                                 print STDERR "$key\n";
                                  if ($filesInBackup->{$path_key}->{'type'} == BPC_FTYPE_DIR) {
                                          $new_dirs++;
+                                         print STDERR " dir\n" if ($debug >= 2);
                                  } else {
                                          $new_files++;
+                                         print STDERR " file\n" if ($debug >= 2);
                                  }
                          }
-                         $beenThere->{$key}++;
                          if ($filesInBackup->{$path_key}->{'type'} == BPC_FTYPE_DIR) {
                                  $nr_dirs++;
-                                 push @stack, [ $bpc, $hostname, $backups, $backupNum, $share, $path_key, $shareID ] unless ($beenThere->{$key});
+                                 my $full_path = $dir . '/' . $path_key;
+                                 push @stack, $full_path;
+                                 print STDERR "### store to stack: $full_path\n" if ($debug >= 3);
  #                               my ($f,$nf,$d,$nd) = recurseDir($bpc, $hostname, $backups, $backupNum, $share, $path_key, $shareID) unless ($beenThere->{$key});
  #
  #                               $nr_files += $f;
-Line 332 
 print STDERR "$hostname: $share | $dir |
+Line 415 
 print STDERR "$hostname: $share | $dir |
                          }
                  }
-         }
+                 print STDERR "## STACK ",join(", ", @stack),"\n" if ($debug >= 2);
-         foreach my $r (@stack) {
+                 while ( my $dir = shift @stack ) {
-                 my ($f,$nf,$d,$nd) = recurseDir(@{$r});
+                         my ($f,$nf,$d,$nd) = recurseDir($bpc, $hostname, $files, $backupNum, $share, $dir, $shareID);
-                 $nr_files += $f;
+                         print STDERR "# $dir f: $f nf: $nf d: $d nd: $nd\n" if ($debug >= 1);
-                 $new_files += $nf;
+                         $nr_files += $f;
-                 $nr_dirs += $d;
+                         $new_files += $nf;
-                 $new_dirs += $nd;
+                         $nr_dirs += $d;
+                         $new_dirs += $nd;
+                 }
          }
          return ($nr_files, $new_files, $nr_dirs, $new_dirs);

 Legend:



Removed from v.27
 


changed lines


 
Added in v.57
 Legend:



Removed from v.27
 


changed lines


 
Added in v.57
-Removed from v.27
+Added in v.57

	ViewVC Help
Powered by ViewVC 1.1.26