/[BackupPC]/trunk/bin/BackupPC_updatedb
This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!
ViewVC logotype

Diff of /trunk/bin/BackupPC_updatedb

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 190 by dpavlin, Thu Oct 13 11:43:58 2005 UTC revision 246 by dpavlin, Fri Dec 9 12:49:55 2005 UTC
# Line 16  use BackupPC::SearchLib; Line 16  use BackupPC::SearchLib;
16  use constant BPC_FTYPE_DIR => 5;  use constant BPC_FTYPE_DIR => 5;
17  use constant EST_CHUNK => 100000;  use constant EST_CHUNK => 100000;
18    
19    # daylight saving time change offset for 1h
20    my $dst_offset = 60 * 60;
21    
22  my $debug = 0;  my $debug = 0;
23  $|=1;  $|=1;
24    
# Line 50  my $dbh = DBI->connect($dsn, $user, "", Line 53  my $dbh = DBI->connect($dsn, $user, "",
53    
54  my %opt;  my %opt;
55    
56  if ( !getopts("cdm:v:ij", \%opt ) ) {  if ( !getopts("cdm:v:ijf", \%opt ) ) {
57          print STDERR <<EOF;          print STDERR <<EOF;
58  usage: $0 [-c|-d] [-m num] [-v|-v level] [-i]  usage: $0 [-c|-d] [-m num] [-v|-v level] [-i|-j|-f]
59    
60  Options:  Options:
61          -c      create database on first use          -c      create database on first use
# Line 61  Options: Line 64  Options:
64          -v num  set verbosity (debug) level (default $debug)          -v num  set verbosity (debug) level (default $debug)
65          -i      update Hyper Estraier full text index          -i      update Hyper Estraier full text index
66          -j      update full text, don't check existing files          -j      update full text, don't check existing files
67            -f      don't do anything with full text index
68    
69  Option -j is variation on -i. It will allow faster initial creation  Option -j is variation on -i. It will allow faster initial creation
70  of full-text index from existing database.  of full-text index from existing database.
71    
72    Option -f will create database which is out of sync with full text index. You
73    will have to re-run $0 with -i to fix it.
74    
75  EOF  EOF
76          exit 1;          exit 1;
77  }  }
# Line 72  EOF Line 79  EOF
79  if ($opt{v}) {  if ($opt{v}) {
80          print "Debug level at $opt{v}\n";          print "Debug level at $opt{v}\n";
81          $debug = $opt{v};          $debug = $opt{v};
82    } elsif ($opt{f}) {
83            print "WARNING: disabling full-text index update. You need to re-run $0 -j !\n";
84            ($use_hest, $index_path, $index_node_url) = (undef, undef, undef);
85  }  }
86    
87  #---- subs ----  #---- subs ----
# Line 209  sub hest_update { Line 219  sub hest_update {
219                          $doc->add_attr('@uri', $uri);                          $doc->add_attr('@uri', $uri);
220    
221                          foreach my $c (@{ $sth->{NAME} }) {                          foreach my $c (@{ $sth->{NAME} }) {
222                                  $doc->add_attr($c, $row->{$c}) if ($row->{$c});                                  $doc->add_attr($c, $row->{$c}) if (defined($row->{$c}));
223                          }                          }
224    
225                          #$doc->add_attr('@cdate', fmt_date($row->{'date'}));                          #$doc->add_attr('@cdate', fmt_date($row->{'date'}));
# Line 256  sub hest_update { Line 266  sub hest_update {
266    
267    
268  ## update index ##  ## update index ##
269  if (($opt{i} || $opt{j} || ($index_path && ! -e $index_path)) && !$opt{c}) {  if (($opt{i} || $opt{j} || ($index_path && ! -e $TopDir . $index_path)) && !$opt{c}) {
270          # update all          # update all
271          print "force update of HyperEstraier index ";          print "force update of HyperEstraier index ";
272          print "importing existing data" unless (-e $index_path);          print "importing existing data" unless (-e $TopDir . $index_path);
273          print "by -i flag" if ($opt{i});          print "by -i flag" if ($opt{i});
274          print "by -j flag" if ($opt{j});          print "by -j flag" if ($opt{j});
275          print "\n";          print "\n";
# Line 310  if ($opt{c}) { Line 320  if ($opt{c}) {
320                          size    bigint          not null,                          size    bigint          not null,
321                          inc_size bigint         not null default -1,                          inc_size bigint         not null default -1,
322                          inc_deleted boolean     default false,                          inc_deleted boolean     default false,
323                            parts   integer         not null default 1,
324                          PRIMARY KEY(id)                          PRIMARY KEY(id)
325                  );                              );            
326    
# Line 342  if ($opt{c}) { Line 353  if ($opt{c}) {
353                  );                  );
354    
355                  create table archive_burned (                  create table archive_burned (
356                          archive_id int references archive(id),                          archive_id      int references archive(id),
357                          date date default now(),                          date            timestamp default now(),
358                          iso_size int default -1                          part            int not null default 1,
359                            copy            int not null default 1,
360                            iso_size bigint default -1
361                  );                  );
362    
363                    create table backup_parts (
364                            id serial,
365                            backup_id int references backups(id),
366                            part_nr int not null check (part_nr > 0),
367                            tar_size bigint not null check (tar_size > 0),
368                            size bigint not null check (size > 0),
369                            md5 text not null,
370                            items int not null check (items > 0),
371                            date timestamp default now(),
372                            primary key(id)
373                    );
374          });          });
375    
376          print "creating indexes: ";          print "creating indexes: ";
# Line 365  if ($opt{c}) { Line 389  if ($opt{c}) {
389                  files:size                  files:size
390                  archive:dvd_nr                  archive:dvd_nr
391                  archive_burned:archive_id                  archive_burned:archive_id
392                    backup_parts:backup_id,part_nr
393          )) {          )) {
394                  do_index($index);                  do_index($index);
395          }          }
# Line 419  WHERE hostID=? AND num=? AND shareid=? Line 444  WHERE hostID=? AND num=? AND shareid=?
444    
445  $sth->{insert_backups} = $dbh->prepare(qq{  $sth->{insert_backups} = $dbh->prepare(qq{
446  INSERT INTO backups (hostID, num, date, type, shareid, size)  INSERT INTO backups (hostID, num, date, type, shareid, size)
447  VALUES (?,?,?,?,?,?)  VALUES (?,?,?,?,?,-1)
448    });
449    
450    $sth->{update_backups_size} = $dbh->prepare(qq{
451    UPDATE backups SET size = ?
452    WHERE hostID = ? and num = ? and date = ? and type =? and shareid = ?
453  });  });
454    
455  $sth->{insert_files} = $dbh->prepare(qq{  $sth->{insert_files} = $dbh->prepare(qq{
# Line 485  foreach my $host_key (keys %{$hosts}) { Line 515  foreach my $host_key (keys %{$hosts}) {
515                          # dump some log                          # dump some log
516                          print curr_time," ", $share;                          print curr_time," ", $share;
517    
                         my ($f, $nf, $d, $nd, $size) = recurseDir($bpc, $hostname, $files, $backupNum, $share, "", $shareID);  
   
518                          $sth->{insert_backups}->execute(                          $sth->{insert_backups}->execute(
519                                  $hostID,                                  $hostID,
520                                  $backupNum,                                  $backupNum,
521                                  $backup->{'endTime'},                                  $backup->{'endTime'},
522                                  substr($backup->{'type'},0,4),                                  substr($backup->{'type'},0,4),
523                                  $shareID,                                  $shareID,
524                            );
525    
526                            my ($f, $nf, $d, $nd, $size) = recurseDir($bpc, $hostname, $files, $backupNum, $share, "", $shareID);
527    
528                            $sth->{update_backups_size}->execute(
529                                  $size,                                  $size,
530                                    $hostID,
531                                    $backupNum,
532                                    $backup->{'endTime'},
533                                    substr($backup->{'type'},0,4),
534                                    $shareID,
535                          );                          );
536    
537                          print " commit";                          print " commit";
# Line 560  sub found_in_db { Line 598  sub found_in_db {
598                  SELECT 1 FROM files                  SELECT 1 FROM files
599                  WHERE shareID = ? and                  WHERE shareID = ? and
600                          path = ? and                          path = ? and
601                          date = ? and                          size = ? and
602                          size = ?                          ( date = ? or date = ? or date = ? )
603                  LIMIT 1                  LIMIT 1
604          });          });
605    
606          my @param = ($shareID,$path,$date,$size);          my @param = ($shareID,$path,$size,$date, $date-$dst_offset, $date+$dst_offset);
607          $sth->{file_in_db}->execute(@param);          $sth->{file_in_db}->execute(@param);
608          my $rows = $sth->{file_in_db}->rows;          my $rows = $sth->{file_in_db}->rows;
609          print STDERR "## found_in_db($shareID,$path,$date,$size) ",( $rows ? '+' : '-' ), join(" ",@param), "\n" if ($debug >= 3);          print STDERR "## found_in_db($shareID,$path,$date,$size) ",( $rows ? '+' : '-' ), join(" ",@param), "\n" if ($debug >= 3);
# Line 615  sub recurseDir($$$$$$$$) { Line 653  sub recurseDir($$$$$$$$) {
653                                  $filesInBackup->{$path_key}->{'size'}                                  $filesInBackup->{$path_key}->{'size'}
654                          ));                          ));
655    
656                            my $key_dst_prev = join(" ", (
657                                    $shareID,
658                                    $dir,
659                                    $path_key,
660                                    $filesInBackup->{$path_key}->{'mtime'} - $dst_offset,
661                                    $filesInBackup->{$path_key}->{'size'}
662                            ));
663    
664                            my $key_dst_next = join(" ", (
665                                    $shareID,
666                                    $dir,
667                                    $path_key,
668                                    $filesInBackup->{$path_key}->{'mtime'} + $dst_offset,
669                                    $filesInBackup->{$path_key}->{'size'}
670                            ));
671    
672                          my $found;                          my $found;
673                          if (! defined($beenThere->{$key}) && ! ($found = found_in_db($key, @data)) ) {                          if (
674                                    ! defined($beenThere->{$key}) &&
675                                    ! defined($beenThere->{$key_dst_prev}) &&
676                                    ! defined($beenThere->{$key_dst_next}) &&
677                                    ! ($found = found_in_db($key, @data))
678                            ) {
679                                  print STDERR "# key: $key [", $beenThere->{$key},"]" if ($debug >= 2);                                  print STDERR "# key: $key [", $beenThere->{$key},"]" if ($debug >= 2);
680    
681                                  if ($filesInBackup->{$path_key}->{'type'} == BPC_FTYPE_DIR) {                                  if ($filesInBackup->{$path_key}->{'type'} == BPC_FTYPE_DIR) {
Legend:
Removed from v.190  
changed lines
  Added in v.246
  ViewVC Help
Powered by ViewVC 1.1.26