/[BackupPC]/trunk/bin/BackupPC_updatedb

This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!

Diff of /trunk/bin/BackupPC_updatedb

Parent Directory | Revision Log | View Patch Patch

-revision 70 by dpavlin,
Wed Aug 24 17:12:22 2005 UTC
+revision 118 by dpavlin,
Sun Sep 11 14:31:49 2005 UTC
 Line 11 
 use Getopt::Std;
  use Time::HiRes qw/time/;
  use File::Pid;
  use POSIX qw/strftime/;
+ use BackupPC::SearchLib;
  use constant BPC_FTYPE_DIR => 5;
+ use constant EST_CHUNK => 100000;
  my $debug = 0;
  $|=1;
-Line 41 
 my $beenThere = {};
+Line 43 
 my $beenThere = {};
  my $dsn = $Conf{SearchDSN} || die "Need SearchDSN in config.pl\n";
  my $user = $Conf{SearchUser} || '';
+ my $use_hest = $Conf{HyperEstraierIndex};
+ my ($index_path, $index_node_url) = BackupPC::SearchLib::getHyperEstraier_url($use_hest);
  my $dbh = DBI->connect($dsn, $user, "", { RaiseError => 1, AutoCommit => 0 });
  my %opt;
- if ( !getopts("cdm:v:", \%opt ) ) {
+ if ( !getopts("cdm:v:i", \%opt ) ) {
          print STDERR <<EOF;
- usage: $0 [-c|-d] [-m num] [-v|-v level]
+ usage: $0 [-c|-d] [-m num] [-v|-v level] [-i]
  Options:
          -c      create database on first use
          -d      delete database before import
          -m num  import just num increments for one host
          -v num  set verbosity (debug) level (default $debug)
+         -i      update HyperEstraier full text index
  EOF
          exit 1;
  }
- ###################################create tables############################3
+ if ($opt{v}) {
+         print "Debug level at $opt{v}\n";
+         $debug = $opt{v};
+ }
+ #---- subs ----
+ sub fmt_time {
+         my $t = shift || return;
+         my $out = "";
+         my ($ss,$mm,$hh) = gmtime($t);
+         $out .= "${hh}h" if ($hh);
+         $out .= sprintf("%02d:%02d", $mm,$ss);
+         return $out;
+ }
+ sub curr_time {
+         return strftime($t_fmt,localtime());
+ }
+ my $hest_db;
+ my $hest_node;
+ sub signal {
+         my($sig) = @_;
+         if ($hest_db) {
+                 print "\nCaught a SIG$sig--syncing database and shutting down\n";
+                 $hest_db->sync();
+                 $hest_db->close();
+         }
+         exit(0);
+ }
+ $SIG{'INT'}  = \&signal;
+ $SIG{'QUIT'} = \&signal;
+ sub hest_update {
+         my ($host_id, $share_id, $num) = @_;
+         unless ($use_hest) {
+                 print STDERR "HyperEstraier support not enabled in configuration\n";
+                 return;
+         }
+         print curr_time," updating HyperEstraier:";
+         my $t = time();
+         my $offset = 0;
+         my $added = 0;
+         print " opening index $use_hest";
+         if ($index_path) {
+                 $hest_db = HyperEstraier::Database->new();
+                 $hest_db->open($TopDir . $index_path, $HyperEstraier::Database::DBWRITER | $HyperEstraier::Database::DBCREAT);
+                 print " directly";
+         } elsif ($index_node_url) {
+                 $hest_node ||= HyperEstraier::Node->new($index_node_url);
+                 $hest_node->set_auth('admin', 'admin');
+                 print " via node URL";
+         } else {
+                 die "don't know how to use HyperEstraier Index $use_hest";
+         }
+         print " increment is " . EST_CHUNK . " files:";
+         my $results = 0;
+         do {
+                 my $where = '';
+                 my @data;
+                 if ($host_id && $share_id && $num) {
+                         $where = qq{
+                         WHERE
+                                 hosts.id = ? AND
+                                 shares.id = ? AND
+                                 files.backupnum = ?
+                         };
+                         @data = ( $host_id, $share_id, $num );
+                 }
+                 my $limit = sprintf('LIMIT '.EST_CHUNK.' OFFSET %d', $offset);
+                 my $sth = $dbh->prepare(qq{
+                         SELECT
+                                 files.id                        AS fid,
+                                 hosts.name                      AS hname,
+                                 shares.name                     AS sname,
+                                 -- shares.share                 AS sharename,
+                                 files.backupnum                 AS backupnum,
+                                 -- files.name                   AS filename,
+                                 files.path                      AS filepath,
+                                 files.date                      AS date,
+                                 files.type                      AS type,
+                                 files.size                      AS size,
+                                 files.shareid                   AS shareid,
+                                 backups.date                    AS backup_date
+                         FROM files
+                                 INNER JOIN shares       ON files.shareID=shares.ID
+                                 INNER JOIN hosts        ON hosts.ID = shares.hostID
+                                 INNER JOIN backups      ON backups.num = files.backupNum and backups.hostID = hosts.ID AND backups.shareID = shares.ID
+                         $where
+                         $limit
+                 });
+                 $sth->execute(@data);
+                 $results = $sth->rows;
+                 if ($results == 0) {
+                         print " - no new files\n";
+                         last;
+                 }
+                 sub fmt_date {
+                         my $t = shift || return;
+                         my $iso = BackupPC::Lib::timeStamp($t);
+                         $iso =~ s/\s/T/;
+                         return $iso;
+                 }
+                 while (my $row = $sth->fetchrow_hashref()) {
+                         my $fid = $row->{'fid'} || die "no fid?";
+                         my $uri = 'file:///' . $fid;
+                         my $id = ($hest_db || $hest_node)->uri_to_id($uri);
+                         next unless ($id == -1);
+                         # create a document object
+                         my $doc = HyperEstraier::Document->new;
+                         # add attributes to the document object
+                         $doc->add_attr('@uri', $uri);
+                         foreach my $c (@{ $sth->{NAME} }) {
+                                 $doc->add_attr($c, $row->{$c}) if ($row->{$c});
+                         }
+                         #$doc->add_attr('@cdate', fmt_date($row->{'date'}));
+                         # add the body text to the document object
+                         my $path = $row->{'filepath'};
+                         $doc->add_text($path);
+                         $path =~ s/(.)/$1 /g;
+                         $doc->add_hidden_text($path);
+                         print STDERR $doc->dump_draft,"\n" if ($debug > 1);
+                         # register the document object to the database
+                         if ($hest_db) {
+                                 $hest_db->put_doc($doc, $HyperEstraier::Database::PDCLEAN);
+                         } elsif ($hest_node) {
+                                 $hest_node->put_doc($doc);
+                         } else {
+                                 die "not supported";
+                         }
+                         $added++;
+                 }
+                 print " $added";
+                 $hest_db->sync() if ($index_path);
+                 $offset += EST_CHUNK;
+         } while ($results == EST_CHUNK);
+         if ($index_path) {
+                 print ", close";
+                 $hest_db->close();
+         }
+         my $dur = (time() - $t) || 1;
+         printf(" [%.2f/s dur: %s]\n",
+                 ( $added / $dur ),
+                 fmt_time($dur)
+         );
+ }
+ #---- /subs ----
+ ## update index ##
+ if (($opt{i} || ($index_path && ! -e $index_path)) && !$opt{c}) {
+         # update all
+         print "force update of HyperEstraier index ";
+         print "importing existing data" unless (-e $index_path);
+         print "by -i flag" if ($opt{i});
+         print "\n";
+         hest_update();
+ }
+ ## create tables ##
  if ($opt{c}) {
          sub do_index {
                  my $index = shift || return;
-Line 149 
 if ($opt{c}) {
+Line 346 
 if ($opt{c}) {
  }
+ ## delete data before inseting ##
  if ($opt{d}) {
          print "deleting ";
          foreach my $table (qw(files dvds backups shares hosts)) {
-Line 160 
 if ($opt{d}) {
+Line 358 
 if ($opt{d}) {
          $dbh->commit;
  }
- if ($opt{v}) {
+ ## insert new values ##
-         print "Debug level at $opt{v}\n";
-         $debug = $opt{v};
- }
- #################################INSERT VALUES#############################
  # get hosts
  $hosts = $bpc->HostInfoRead();
-Line 199 
 INSERT INTO files
+Line 392 
 INSERT INTO files
          VALUES (?,?,?,?,?,?,?)
  });
- sub fmt_time {
-         my $t = shift || return;
-         my $out = "";
-         my ($ss,$mm,$hh) = gmtime($t);
-         $out .= "${hh}h" if ($hh);
-         $out .= sprintf("%02d:%02d", $mm,$ss);
-         return $out;
- }
  foreach my $host_key (keys %{$hosts}) {
          my $hostname = $hosts->{$host_key}->{'host'} || die "can't find host for $host_key";
-Line 263 
 foreach my $host_key (keys %{$hosts}) {
+Line 447 
 foreach my $host_key (keys %{$hosts}) {
                          next if ($count > 0);
                          # dump some log
-                         print strftime($t_fmt,localtime())," ", $share;
+                         print curr_time," ", $share;
                          my ($f, $nf, $d, $nd, $size) = recurseDir($bpc, $hostname, $files, $backupNum, $share, "", $shareID);
-Line 286 
 foreach my $host_key (keys %{$hosts}) {
+Line 470 
 foreach my $host_key (keys %{$hosts}) {
                                  ( ($f+$d) / $dur ),
                                  fmt_time($dur)
                          );
+                         hest_update($hostID, $shareID, $backupNum) if ($nf + $nd > 0);
                  }
          }
-Line 330 
 sub found_in_db {
+Line 516 
 sub found_in_db {
          my @data = @_;
          shift @data;
-         my ($key, $shareID,undef,$name,$path,undef,$date,undef,$size) = @_;
+         my ($key, $shareID,undef,$name,$path,$date,undef,$size) = @_;
          return $beenThere->{$key} if (defined($beenThere->{$key}));
-Line 340 
 sub found_in_db {
+Line 526 
 sub found_in_db {
                          path = ? and
                          date = ? and
                          size = ?
+                 LIMIT 1
          });
          my @param = ($shareID,$path,$date,$size);
          $sth->{file_in_db}->execute(@param);
          my $rows = $sth->{file_in_db}->rows;
-         print STDERR "## found_in_db ",( $rows ? '+' : '-' ), join(" ",@param), "\n" if ($debug >= 3);
+         print STDERR "## found_in_db($shareID,$path,$date,$size) ",( $rows ? '+' : '-' ), join(" ",@param), "\n" if ($debug >= 3);
          $beenThere->{$key}++;

 Legend:



Removed from v.70
 


changed lines


 
Added in v.118
 Legend:



Removed from v.70
 


changed lines


 
Added in v.118
-Removed from v.70
+Added in v.118

	ViewVC Help
Powered by ViewVC 1.1.26