/[BackupPC]/trunk/lib/BackupPC/SearchLib.pm
This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!
ViewVC logotype

Diff of /trunk/lib/BackupPC/SearchLib.pm

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 85 by dpavlin, Sun Aug 28 10:45:51 2005 UTC revision 91 by dpavlin, Sun Aug 28 17:53:46 2005 UTC
# Line 15  my $pager_pages = 10; Line 15  my $pager_pages = 10;
15  my $dsn = $Conf{SearchDSN};  my $dsn = $Conf{SearchDSN};
16  my $db_user = $Conf{SearchUser} || '';  my $db_user = $Conf{SearchUser} || '';
17    
18    my $index_path = $Conf{HyperEstraierIndex};
19    if ($index_path) {
20            $index_path = $TopDir . '/' . $index_path;
21            $index_path =~ s#//#/#g;
22    }
23    
24  my $dbh;  my $dbh;
25    
26  sub get_dbh {  sub get_dbh {
# Line 26  sub getUnits() { Line 32  sub getUnits() {
32          my @ret;          my @ret;
33    
34          my $dbh = get_dbh();          my $dbh = get_dbh();
35          my $sth = $dbh->prepare(qq{ SELECT id, share FROM shares ORDER BY share} );          my $sth = $dbh->prepare(qq{
36                    SELECT
37                            shares.id       as id,
38                            hosts.name || ':' || shares.name as share
39                    FROM shares
40                    JOIN hosts on hostid = hosts.id
41                    ORDER BY share
42            } );
43          $sth->execute();          $sth->execute();
44          push @ret, { 'id' => '', 'share' => '-'};       # dummy any          push @ret, { 'id' => '', 'share' => '-'};       # dummy any
45    
# Line 38  sub getUnits() { Line 51  sub getUnits() {
51    
52  sub epoch_to_iso {  sub epoch_to_iso {
53          my $t = shift || return;          my $t = shift || return;
54          my $iso = BackupPC::Lib::timeStamp($t);          my $iso = BackupPC::Lib::timeStamp(undef, $t);
55          $iso =~ s/\s/ /g;          $iso =~ s/\s/ /g;
56          return $iso;          return $iso;
57  }  }
# Line 49  sub dates_from_form($) { Line 62  sub dates_from_form($) {
62          sub mk_epoch_date($$) {          sub mk_epoch_date($$) {
63                  my ($name,$suffix) = @_;                  my ($name,$suffix) = @_;
64    
65                  my $yyyy = $param->{ $name . '_year_' . $suffix} || return;                  my $yyyy = $param->{ $name . '_year_' . $suffix} || return undef;
66                  my $mm .= $param->{ $name . '_month_' . $suffix} ||                  my $mm .= $param->{ $name . '_month_' . $suffix} ||
67                          ( $suffix eq 'from' ? 1 : 12);                          ( $suffix eq 'from' ? 1 : 12);
68                  my $dd .= $param->{ $name . '_day_' . $suffix} ||                  my $dd .= $param->{ $name . '_day_' . $suffix} ||
69                          ( $suffix eq 'from' ? 1 : 31);                          ( $suffix eq 'from' ? 1 : 31);
70    
71                    $yyyy =~ s/\D//g;
72                    $mm =~ s/\D//g;
73                    $dd =~ s/\D//g;
74    
75                  my $dt = new DateTime(                  my $dt = new DateTime(
76                          year => $yyyy,                          year => $yyyy,
77                          month => $mm,                          month => $mm,
78                          day => $dd                          day => $dd
79                  );                  );
80                    print STDERR "mk_epoch_date($name,$suffix) [$yyyy-$mm-$dd] = " . $dt->ymd . " " . $dt->hms . "\n";
81                  return $dt->epoch || 'NULL';                  return $dt->epoch || 'NULL';
82          }          }
83    
84          return (          my @ret = (
85                  mk_epoch_date('search_backup', 'from'),                  mk_epoch_date('search_backup', 'from'),
86                  mk_epoch_date('search_backup', 'to'),                  mk_epoch_date('search_backup', 'to'),
87                  mk_epoch_date('search', 'from'),                  mk_epoch_date('search', 'from'),
88                  mk_epoch_date('search', 'to'),                  mk_epoch_date('search', 'to'),
89          );          );
90    
91            return @ret;
92    
93  }  }
94    
95    
# Line 91  sub getWhere($) { Line 113  sub getWhere($) {
113  }  }
114    
115    
116  sub getFiles($$) {  sub getFiles($) {
117          my ($param, $offset) = @_;          my ($param) = @_;
118    
119            my $offset = $param->{'offset'} || 0;
120            $offset *= $on_page;
121    
122          my $dbh = get_dbh();          my $dbh = get_dbh();
123    
# Line 100  sub getFiles($$) { Line 125  sub getFiles($$) {
125                  files.id                        AS fid,                  files.id                        AS fid,
126                  hosts.name                      AS hname,                  hosts.name                      AS hname,
127                  shares.name                     AS sname,                  shares.name                     AS sname,
128                  shares.share                    AS sharename,                  files.backupnum                 AS backupnum,
                 files.backupNum                 AS backupNum,  
                 files.name                      AS filename,  
129                  files.path                      AS filepath,                  files.path                      AS filepath,
130                  files.date                      AS date,                  files.date                      AS date,
131                  files.type                      AS filetype,                  files.type                      AS type,
132                  files.size                      AS size,                  files.size                      AS size
                 -- dvds.name                    AS dvd  
                 null                            AS dvd  
133          };          };
134    
135          my $sql_from = qq{          my $sql_from = qq{
136                  FROM files                  FROM files
137                          INNER JOIN shares       ON files.shareID=shares.ID                          INNER JOIN shares       ON files.shareID=shares.ID
138                          INNER JOIN hosts        ON hosts.ID = shares.hostID                          INNER JOIN hosts        ON hosts.ID = shares.hostID
139                          INNER JOIN backups      ON backups.num = files.backupNum and backups.hostID = hosts.ID AND backups.shareID = shares.ID                          INNER JOIN backups      ON backups.num = files.backupnum and backups.hostID = hosts.ID AND backups.shareID = files.shareID
         };  
   
         my $sql_dvd_from = qq{  
                         -- LEFT  JOIN dvds              ON dvds.ID = files.dvdid  
140          };          };
141    
142          my $sql_where;          my $sql_where;
# Line 133  sub getFiles($$) { Line 150  sub getFiles($$) {
150          };          };
151    
152          my $sql_count = qq{ select count(files.id) $sql_from $sql_where };          my $sql_count = qq{ select count(files.id) $sql_from $sql_where };
153          my $sql_results = qq{ select $sql_cols $sql_from $sql_dvd_from $sql_where $sql_order };          my $sql_results = qq{ select $sql_cols $sql_from $sql_where $sql_order };
   
         $offset ||= 0;  
         $offset = ($offset * $on_page);  
154    
155          my $sth = $dbh->prepare($sql_count);          my $sth = $dbh->prepare($sql_count);
156          $sth->execute();          $sth->execute();
# Line 154  sub getFiles($$) { Line 168  sub getFiles($$) {
168          my @ret;          my @ret;
169                
170          while (my $row = $sth->fetchrow_hashref()) {          while (my $row = $sth->fetchrow_hashref()) {
171                  push(@ret, {                  push @ret, $row;
                         'hname'         => $row->{'hname'},  
                         'sname'         => $row->{'sname'},  
                         'sharename'     => $row->{'sharename'},  
                         'backupno'      => $row->{'backupnum'},  
                         'fname'         => $row->{'filename'},  
                         'fpath'         => $row->{'filepath'},  
                         'networkpath'   => $row->{'networkpath'},  
                         'date'          => $row->{'date'},  
                         'type'          => $row->{'filetype'},  
                         'size'          => $row->{'size'},  
                         'id'            => $row->{'fid'},  
                         'dvd'           => $row->{'dvd'}  
                 });  
172          }          }
173            
174          $sth->finish();          $sth->finish();
175          return ($results, \@ret);          return ($results, \@ret);
176  }  }
177    
178    sub getFilesHyperEstraier($) {
179            my ($param) = @_;
180    
181            my $offset = $param->{'offset'} || 0;
182            $offset *= $on_page;
183    
184            die "no index_path?" unless ($index_path);
185    
186            use HyperEstraier;
187    
188            # open the database
189            my $db = HyperEstraier::Database->new();
190            $db->open($index_path, $HyperEstraier::ESTDBREADER);
191    
192            # create a search condition object
193            my $cond = HyperEstraier::Condition->new();
194    
195            my $q = $param->{'search_filename'};
196            my $shareid = $param->{'search_share'};
197    
198            if (length($q) > 0) {
199                    # exact match
200                    $cond->add_attr("filepath ISTRINC $q");
201    
202                    $q =~ s/(.)/$1 /g;
203                    # set the search phrase to the search condition object
204                    $cond->set_phrase($q);
205            }
206    
207            my ($backup_from, $backup_to, $files_from, $files_to) = dates_from_form($param);
208    
209            $cond->add_attr("backup_date NUMGE $backup_from") if ($backup_from);
210            $cond->add_attr("backup_date NUMLE $backup_to") if ($backup_to);
211    
212            $cond->add_attr("date NUMGE $files_from") if ($files_from);
213            $cond->add_attr("date NUMLE $files_to") if ($files_to);
214    
215            $cond->add_attr("shareid NUMEQ $shareid") if ($shareid);
216    
217    #       $cond->set_max( $offset + $on_page );
218            $cond->set_options( $HyperEstraier::Condition::SURE );
219            $cond->set_order( 'date NUMA' );
220    
221            # get the result of search
222            my $result = $db->search($cond, 0);
223    
224            my @res;
225            my $hits = $result->size;
226    
227            # for each document in result
228            for my $i ($offset .. ($offset + $on_page - 1)) {
229                    last if ($i >= $hits);
230    
231                    my $id = $result->get($i);
232                    my $doc = $db->get_doc($id, 0);
233    
234                    my $row;
235                    foreach my $c (qw/fid hname sname backupnum fiilename filepath date type size/) {
236                            $row->{$c} = $doc->attr($c);
237                    }
238                    push @res, $row;
239            }
240    
241            return ($hits, \@res);
242    }
243    
244  sub getBackupsNotBurned() {  sub getBackupsNotBurned() {
245    
246          my $dbh = get_dbh();          my $dbh = get_dbh();
# Line 181  sub getBackupsNotBurned() { Line 248  sub getBackupsNotBurned() {
248          SELECT          SELECT
249                  backups.hostID          AS hostid,                  backups.hostID          AS hostid,
250                  min(hosts.name)         AS host,                  min(hosts.name)         AS host,
251                  backups.num             AS backupno,                  backups.num             AS backupnum,
252                  min(backups.type)       AS type,                  min(backups.type)       AS type,
253                  min(backups.date)       AS date,                  min(backups.date)       AS date,
254                  min(backups.size)       AS size                  min(backups.size)       AS size
255          FROM files          FROM files
256                  INNER JOIN shares       ON files.shareID=shares.ID                  INNER JOIN shares       ON files.shareID=shares.ID
257                  INNER JOIN hosts        ON hosts.ID = shares.hostID                  INNER JOIN hosts        ON hosts.ID = shares.hostID
258                  INNER JOIN backups      ON backups.num = files.backupNum and backups.hostID = hosts.ID AND backups.shareID = shares.ID                  INNER JOIN backups      ON backups.num = files.backupnum and backups.hostID = hosts.ID AND backups.shareID = shares.ID
         WHERE  
                 files.dvdid     IS NULL  
259          GROUP BY          GROUP BY
260                  backups.hostID, backups.num                  backups.hostID, backups.num
261          ORDER BY min(backups.date)          ORDER BY min(backups.date)
# Line 276  EOF3 Line 341  EOF3
341                  $retHTML .= "<tr>";                  $retHTML .= "<tr>";
342                  if ($addForm) {                  if ($addForm) {
343                          $retHTML .= '<td class="fview"><input type="checkbox" name="fcb' .                          $retHTML .= '<td class="fview"><input type="checkbox" name="fcb' .
344                                  $backup->{'hostid'}.'_'.$backup->{'backupno'} .                                  $backup->{'hostid'}.'_'.$backup->{'backupnum'} .
345                                  '" value="' . $backup->{'hostid'}.'_'.$backup->{'backupno'} .                                  '" value="' . $backup->{'hostid'}.'_'.$backup->{'backupnum'} .
346                                  '"></td>';                                  '"></td>';
347                  }                            }          
348                            
349                  $retHTML .= '<td class="fviewborder">' . $backup->{'host'} . '</td>' .                  $retHTML .= '<td class="fviewborder">' . $backup->{'host'} . '</td>' .
350                          '<td class="fviewborder">' . $backup->{'backupno'} . '</td>' .                          '<td class="fviewborder">' . $backup->{'backupnum'} . '</td>' .
351                          '<td class="fviewborder">' . $backup->{'type'} . '</td>' .                          '<td class="fviewborder">' . $backup->{'type'} . '</td>' .
352                          '<td class="fviewborder">' . epoch_to_iso( $backup->{'date'} ) . '</td>' .                          '<td class="fviewborder">' . epoch_to_iso( $backup->{'date'} ) . '</td>' .
353                          '<td class="fviewborder">' . $backup->{'age'} . '</td>' .                          '<td class="fviewborder">' . $backup->{'age'} . '</td>' .
# Line 299  EOF3 Line 364  EOF3
364          return $retHTML;          return $retHTML;
365  }        }      
366    
367  sub displayGrid($$) {  sub displayGrid($) {
368          my ($param, $addForm) = @_;          my ($param) = @_;
369    
370          my $offset = $param->{'offset'};          my $offset = $param->{'offset'};
371          my $hilite = $param->{'search_filename'};          my $hilite = $param->{'search_filename'};
# Line 309  sub displayGrid($$) { Line 374  sub displayGrid($$) {
374    
375          my $start_t = time();          my $start_t = time();
376    
377          my ($results, $files) = getFiles($param, $offset);          my ($results, $files);
378            if ($param->{'use_hest'} && length($hilite) > 0) {
379                    ($results, $files) = getFilesHyperEstraier($param);
380            } else {
381                    ($results, $files) = getFiles($param);
382            }
383    
384          my $dur_t = time() - $start_t;          my $dur_t = time() - $start_t;
385          my $dur = sprintf("%0.4fs", $dur_t);          my $dur = sprintf("%0.4fs", $dur_t);
# Line 328  sub displayGrid($$) { Line 398  sub displayGrid($$) {
398          }          }
399    
400    
         if ($addForm) {  
                 $retHTML .= qq{<form name="forma" method="GET" action="$MyURL">};  
                 $retHTML.= qq{<input type="hidden" value="search" name="action">};  
                 $retHTML .= qq{<input type="hidden" value="results" name="search_results">};  
         }  
   
   
401          $retHTML .= qq{          $retHTML .= qq{
402          <div>          <div>
403          Found <b>$results files</b> showing <b>$from - $to</b> (took $dur)          Found <b>$results files</b> showing <b>$from - $to</b> (took $dur)
404          </div>          </div>
405          <table style="fview" width="100%" border="0" cellpadding="2" cellspacing="0">          <table style="fview" width="100%" border="0" cellpadding="2" cellspacing="0">
406                  <tr class="fviewheader">                  <tr class="fviewheader">
407                    <td></td>
408                  <td align="center">Share</td>                  <td align="center">Share</td>
409                  <td align="center">Type and Name</td>                  <td align="center">Type and Name</td>
410                  <td align="center">#</td>                  <td align="center">#</td>
# Line 365  sub displayGrid($$) { Line 429  sub displayGrid($$) {
429                  return sprintf(qq{<a href="?action=%s&host=%s&num=%d&share=%s&dir=%s">%s</a>}, $action, @_);                  return sprintf(qq{<a href="?action=%s&host=%s&num=%d&share=%s&dir=%s">%s</a>}, $action, @_);
430          }          }
431    
432            my $i = $offset * $on_page;
433    
434          foreach $file (@{ $files }) {          foreach $file (@{ $files }) {
435                    $i++;
436    
437                  my $typeStr  = BackupPC::Attrib::fileType2Text(undef, $file->{'type'});                  my $typeStr  = BackupPC::Attrib::fileType2Text(undef, $file->{'type'});
438                  $retHTML .= qq{<tr class="fviewborder">};                  $retHTML .= qq{<tr class="fviewborder">};
439    
440                    $retHTML .= qq{<td class="fviewborder">$i</td>};
441    
442                  $retHTML .=                  $retHTML .=
443                          qq{<td class="fviewborder" align="right">} . $file->{'sharename'} . qq{</td>} .                          qq{<td class="fviewborder" align="right">} . $file->{'hname'} . ':' . $file->{'sname'} . qq{</td>} .
444                          qq{<td class="fviewborder"><img src="$Conf{CgiImageDirURL}/icon-$typeStr.gif" alt="$typeStr" align="middle">&nbsp;} . hilite_html( $file->{'fpath'}, $hilite ) . qq{</td>} .                          qq{<td class="fviewborder"><img src="$Conf{CgiImageDirURL}/icon-$typeStr.gif" alt="$typeStr" align="middle">&nbsp;} . hilite_html( $file->{'filepath'}, $hilite ) . qq{</td>} .
445                          qq{<td class="fviewborder" align="center">} . restore_link( $typeStr, ${EscURI( $file->{'hname'} )}, $file->{'backupno'}, ${EscURI( $file->{'sname'})}, ${EscURI( $file->{'fpath'} )}, $file->{'backupno'} ) . qq{</td>} .                          qq{<td class="fviewborder" align="center">} . restore_link( $typeStr, ${EscURI( $file->{'hname'} )}, $file->{'backupnum'}, ${EscURI( $file->{'sname'})}, ${EscURI( $file->{'filepath'} )}, $file->{'backupnum'} ) . qq{</td>} .
446                          qq{<td class="fviewborder" align="right">} . $file->{'size'} . qq{</td>} .                          qq{<td class="fviewborder" align="right">} . $file->{'size'} . qq{</td>} .
447                          qq{<td class="fviewborder">} . epoch_to_iso( $file->{'date'} ) . qq{</td>} .                          qq{<td class="fviewborder">} . epoch_to_iso( $file->{'date'} ) . qq{</td>} .
448                          qq{<td class="fviewborder">} . $file->{'dvd'} . qq{</td>};                          qq{<td class="fviewborder">} . '?' . qq{</td>};
449    
450                  $retHTML .= "</tr>";                  $retHTML .= "</tr>";
451          }          }
# Line 439  sub displayGrid($$) { Line 509  sub displayGrid($$) {
509    
510          $retHTML .= "</div>";          $retHTML .= "</div>";
511    
         $retHTML .= "</form>" if ($addForm);  
   
512          return $retHTML;          return $retHTML;
513  }  }
514    
Legend:
Removed from v.85  
changed lines
  Added in v.91
  ViewVC Help
Powered by ViewVC 1.1.26