/[BackupPC]/trunk/bin/BackupPC_updatedb

This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!

Diff of /trunk/bin/BackupPC_updatedb

Parent Directory | Revision Log | View Patch Patch

-revision 235 by dpavlin,
Thu Nov 10 15:07:10 2005 UTC
+revision 306 by dpavlin,
Sat Jan 28 20:42:42 2006 UTC
 Line 12 
 use Time::HiRes qw/time/;
  use File::Pid;
  use POSIX qw/strftime/;
  use BackupPC::SearchLib;
+ use Cwd qw/abs_path/;
  use constant BPC_FTYPE_DIR => 5;
  use constant EST_CHUNK => 100000;
+ # daylight saving time change offset for 1h
+ my $dst_offset = 60 * 60;
  my $debug = 0;
  $|=1;
  my $start_t = time();
- my $pidfile = new File::Pid;
+ my $pid_path = abs_path($0);
+ $pid_path =~ s/\W+/_/g;
+ my $pidfile = new File::Pid({
+         file => "/tmp/$pid_path",
+ });
  if (my $pid = $pidfile->running ) {
          die "$0 already running: $pid\n";
-Line 29 
 if (my $pid = $pidfile->running ) {
+Line 38 
 if (my $pid = $pidfile->running ) {
          $pidfile->remove;
          $pidfile = new File::Pid;
  }
- $pidfile->write;
  print STDERR "$0 using pid ",$pidfile->pid," file ",$pidfile->file,"\n";
+ $pidfile->write;
  my $t_fmt = '%Y-%m-%d %H:%M:%S';
-Line 43 
 my $beenThere = {};
+Line 52 
 my $beenThere = {};
  my $dsn = $Conf{SearchDSN} || die "Need SearchDSN in config.pl\n";
  my $user = $Conf{SearchUser} || '';
- my $use_hest = $Conf{HyperEstraierIndex};
+ my $index_node_url = $Conf{HyperEstraierIndex};
- my ($index_path, $index_node_url) = BackupPC::SearchLib::getHyperEstraier_url($use_hest);
  my $dbh = DBI->connect($dsn, $user, "", { RaiseError => 1, AutoCommit => 0 });
  my %opt;
- if ( !getopts("cdm:v:ij", \%opt ) ) {
+ if ( !getopts("cdm:v:ijf", \%opt ) ) {
          print STDERR <<EOF;
- usage: $0 [-c|-d] [-m num] [-v|-v level] [-i]
+ usage: $0 [-c|-d] [-m num] [-v|-v level] [-i|-j|-f]
  Options:
          -c      create database on first use
-Line 61 
 Options:
+Line 69 
 Options:
          -v num  set verbosity (debug) level (default $debug)
          -i      update Hyper Estraier full text index
          -j      update full text, don't check existing files
+         -f      don't do anything with full text index
  Option -j is variation on -i. It will allow faster initial creation
  of full-text index from existing database.
+ Option -f will create database which is out of sync with full text index. You
+ will have to re-run $0 with -i to fix it.
  EOF
          exit 1;
  }
-Line 72 
 EOF
+Line 84 
 EOF
  if ($opt{v}) {
          print "Debug level at $opt{v}\n";
          $debug = $opt{v};
+ } elsif ($opt{f}) {
+         print "WARNING: disabling full-text index update. You need to re-run $0 -j !\n";
+         $index_node_url = undef;
  }
  #---- subs ----
-Line 89 
 sub curr_time {
+Line 104 
 sub curr_time {
          return strftime($t_fmt,localtime());
  }
- my $hest_db;
  my $hest_node;
- sub signal {
-         my($sig) = @_;
-         if ($hest_db) {
-                 print "\nCaught a SIG$sig--syncing database and shutting down\n";
-                 $hest_db->sync();
-                 $hest_db->close();
-         }
-         exit(0);
- }
- $SIG{'INT'}  = \&signal;
- $SIG{'QUIT'} = \&signal;
  sub hest_update {
          my ($host_id, $share_id, $num) = @_;
          my $skip_check = $opt{j} && print STDERR "Skipping check for existing files -- this should be used only with initital import\n";
-         unless ($use_hest) {
+         unless (defined($index_node_url)) {
                  print STDERR "HyperEstraier support not enabled in configuration\n";
+                 $index_node_url = 0;
                  return;
          }
-         print curr_time," updating HyperEstraier:";
+         print curr_time," updating Hyper Estraier:";
          my $t = time();
          my $offset = 0;
          my $added = 0;
-         print " opening index $use_hest";
+         print " opening index $index_node_url";
-         if ($index_path) {
+         if ($index_node_url) {
-                 $hest_db = HyperEstraier::Database->new();
+                 $hest_node ||= Search::Estraier::Node->new(
-                 $hest_db->open($TopDir . $index_path, $HyperEstraier::Database::DBWRITER | $HyperEstraier::Database::DBCREAT);
+                         url => $index_node_url,
-                 print " directly";
+                         user => 'admin',
-         } elsif ($index_node_url) {
+                         passwd => 'admin',
-                 $hest_node ||= HyperEstraier::Node->new($index_node_url);
+                         croak_on_error => 1,
-                 $hest_node->set_auth('admin', 'admin');
+                 );
                  print " via node URL";
          } else {
-                 die "don't know how to use HyperEstraier Index $use_hest";
+                 die "don't know how to use Hyper Estraier Index $index_node_url";
          }
-         print " increment is " . EST_CHUNK . " files:";
          my $results = 0;
-Line 182 
 sub hest_update {
+Line 183 
 sub hest_update {
                  if ($results == 0) {
                          print " - no new files\n";
-                         last;
+                         return;
+                 } else {
+                         print " - $results files: ";
                  }
                  sub fmt_date {
-Line 198 
 sub hest_update {
+Line 201 
 sub hest_update {
                          my $uri = 'file:///' . $fid;
                          unless ($skip_check) {
-                                 my $id = ($hest_db || $hest_node)->uri_to_id($uri);
+                                 my $id = $hest_node->uri_to_id($uri);
-                                 next unless ($id == -1);
+                                 next if ($id && $id == -1);
                          }
                          # create a document object
-                         my $doc = HyperEstraier::Document->new;
+                         my $doc = Search::Estraier::Document->new;
                          # add attributes to the document object
                          $doc->add_attr('@uri', $uri);
                          foreach my $c (@{ $sth->{NAME} }) {
-                                 $doc->add_attr($c, $row->{$c}) if ($row->{$c});
+                                 print STDERR "attr $c = $row->{$c}\n" if ($debug > 2);
+                                 $doc->add_attr($c, $row->{$c}) if (defined($row->{$c}));
                          }
                          #$doc->add_attr('@cdate', fmt_date($row->{'date'}));
-Line 223 
 sub hest_update {
+Line 227 
 sub hest_update {
                          print STDERR $doc->dump_draft,"\n" if ($debug > 1);
                          # register the document object to the database
-                         if ($hest_db) {
+                         if ($hest_node) {
-                                 $hest_db->put_doc($doc, $HyperEstraier::Database::PDCLEAN);
-                         } elsif ($hest_node) {
                                  $hest_node->put_doc($doc);
                          } else {
                                  die "not supported";
-Line 234 
 sub hest_update {
+Line 236 
 sub hest_update {
                  }
                  print " $added";
-                 $hest_db->sync() if ($index_path);
                  $offset += EST_CHUNK;
          } while ($results == EST_CHUNK);
-         if ($index_path) {
-                 print ", close";
-                 $hest_db->close();
-         }
          my $dur = (time() - $t) || 1;
          printf(" [%.2f/s dur: %s]\n",
                  ( $added / $dur ),
-Line 256 
 sub hest_update {
+Line 252 
 sub hest_update {
  ## update index ##
- if (($opt{i} || $opt{j} || ($index_path && ! -e $index_path)) && !$opt{c}) {
+ if ( ( $opt{i} || $opt{j} ) && !$opt{c} ) {
          # update all
-         print "force update of HyperEstraier index ";
+         print "force update of Hyper Estraier index ";
-         print "importing existing data" unless (-e $index_path);
          print "by -i flag" if ($opt{i});
          print "by -j flag" if ($opt{j});
          print "\n";
-Line 434 
 WHERE hostID=? AND num=? AND shareid=?
+Line 429 
 WHERE hostID=? AND num=? AND shareid=?
  $sth->{insert_backups} = $dbh->prepare(qq{
  INSERT INTO backups (hostID, num, date, type, shareid, size)
- VALUES (?,?,?,?,?,?)
+ VALUES (?,?,?,?,?,-1)
+ });
+ $sth->{update_backups_size} = $dbh->prepare(qq{
+ UPDATE backups SET size = ?
+ WHERE hostID = ? and num = ? and date = ? and type =? and shareid = ?
  });
  $sth->{insert_files} = $dbh->prepare(qq{
 Line 443 
 INSERT INTO files
          VALUES (?,?,?,?,?,?,?)
  });
- foreach my $host_key (keys %{$hosts}) {
+ my @hosts = keys %{$hosts};
+ my $host_nr = 0;
+ foreach my $host_key (@hosts) {
          my $hostname = $hosts->{$host_key}->{'host'} || die "can't find host for $host_key";
-Line 458 
 foreach my $host_key (keys %{$hosts}) {
+Line 461 
 foreach my $host_key (keys %{$hosts}) {
                  $hostID = $dbh->last_insert_id(undef,undef,'hosts',undef);
          }
-         print "host ".$hosts->{$host_key}->{'host'}.": ";
+         $host_nr++;
+         print "host ", $hosts->{$host_key}->{'host'}, " [",
+                 $host_nr, "/", ($#hosts + 1), "]: ";
          # get backups for a host
          my @backups = $bpc->BackupInfoRead($hostname);
-Line 500 
 foreach my $host_key (keys %{$hosts}) {
+Line 505 
 foreach my $host_key (keys %{$hosts}) {
                          # dump some log
                          print curr_time," ", $share;
-                         my ($f, $nf, $d, $nd, $size) = recurseDir($bpc, $hostname, $files, $backupNum, $share, "", $shareID);
                          $sth->{insert_backups}->execute(
                                  $hostID,
                                  $backupNum,
                                  $backup->{'endTime'},
                                  substr($backup->{'type'},0,4),
                                  $shareID,
-                                 $size,
                          );
-                         print " commit";
+                         my ($f, $nf, $d, $nd, $size) = recurseDir($bpc, $hostname, $files, $backupNum, $share, "", $shareID);
-                         $dbh->commit();
+                         eval {
+                                 $sth->{update_backups_size}->execute(
+                                         $size,
+                                         $hostID,
+                                         $backupNum,
+                                         $backup->{'endTime'},
+                                         substr($backup->{'type'},0,4),
+                                         $shareID,
+                                 );
+                                 print " commit";
+                                 $dbh->commit();
+                         };
+                         if ($@) {
+                                 print " rollback";
+                                 $dbh->rollback();
+                         }
                          my $dur = (time() - $t) || 1;
                          printf(" %d/%d files %d/%d dirs %0.2f MB [%.2f/s dur: %s]\n",
-Line 575 
 sub found_in_db {
+Line 593 
 sub found_in_db {
                  SELECT 1 FROM files
                  WHERE shareID = ? and
                          path = ? and
-                         date = ? and
+                         size = ? and
-                         size = ?
+                         ( date = ? or date = ? or date = ? )
                  LIMIT 1
          });
-         my @param = ($shareID,$path,$date,$size);
+         my @param = ($shareID,$path,$size,$date, $date-$dst_offset, $date+$dst_offset);
          $sth->{file_in_db}->execute(@param);
          my $rows = $sth->{file_in_db}->rows;
          print STDERR "## found_in_db($shareID,$path,$date,$size) ",( $rows ? '+' : '-' ), join(" ",@param), "\n" if ($debug >= 3);
-Line 630 
 sub recurseDir($$$$$$$$) {
+Line 648 
 sub recurseDir($$$$$$$$) {
                                  $filesInBackup->{$path_key}->{'size'}
                          ));
+                         my $key_dst_prev = join(" ", (
+                                 $shareID,
+                                 $dir,
+                                 $path_key,
+                                 $filesInBackup->{$path_key}->{'mtime'} - $dst_offset,
+                                 $filesInBackup->{$path_key}->{'size'}
+                         ));
+                         my $key_dst_next = join(" ", (
+                                 $shareID,
+                                 $dir,
+                                 $path_key,
+                                 $filesInBackup->{$path_key}->{'mtime'} + $dst_offset,
+                                 $filesInBackup->{$path_key}->{'size'}
+                         ));
                          my $found;
-                         if (! defined($beenThere->{$key}) && ! ($found = found_in_db($key, @data)) ) {
+                         if (
+                                 ! defined($beenThere->{$key}) &&
+                                 ! defined($beenThere->{$key_dst_prev}) &&
+                                 ! defined($beenThere->{$key_dst_next}) &&
+                                 ! ($found = found_in_db($key, @data))
+                         ) {
                                  print STDERR "# key: $key [", $beenThere->{$key},"]" if ($debug >= 2);
                                  if ($filesInBackup->{$path_key}->{'type'} == BPC_FTYPE_DIR) {

 Legend:



Removed from v.235
 


changed lines


 
Added in v.306
 Legend:



Removed from v.235
 


changed lines


 
Added in v.306
-Removed from v.235
+Added in v.306

	ViewVC Help
Powered by ViewVC 1.1.26