/[webpac]/trunk/all2xml.pl
This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!
ViewVC logotype

Diff of /trunk/all2xml.pl

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 81 by dpavlin, Tue Jul 8 22:13:56 2003 UTC revision 136 by dpavlin, Wed Oct 29 22:46:49 2003 UTC
# Line 82  sub data2xml { Line 82  sub data2xml {
82    
83          # sort subrouting using order="" attribute          # sort subrouting using order="" attribute
84          sub by_order {          sub by_order {
85                  return 0 if (! $config->{indexer}->{$a}->{order});                  my $va = $config->{indexer}->{$a}->{order} ||
86                  return 0 if (! $config->{indexer}->{$b}->{order});                          $config->{indexer}->{$a};
87                    my $vb = $config->{indexer}->{$b}->{order} ||
88                            $config->{indexer}->{$b};
89    
90                  return $config->{indexer}->{$a}->{order} <=>                  return $va <=> $vb;
                         $config->{indexer}->{$b}->{order} ;  
91          }          }
92    
93          foreach my $field (sort by_order keys %{$config->{indexer}}) {          foreach my $field (sort by_order keys %{$config->{indexer}}) {
94    
95                  $field=x($field);                  $field=x($field);
   
96                  $field_usage{$field}++;                  $field_usage{$field}++;
97    
98                  my $swish_data = "";                  my $swish_data = "";
# Line 124  sub data2xml { Line 124  sub data2xml {
124                          # init vars so that we go into while...                          # init vars so that we go into while...
125                          ($swish,$display) = (1,1);                          ($swish,$display) = (1,1);
126    
127                          if ($swish || $display) {                          # placeholder for all repeatable entries for index
128                            my @index_data;
129                            my $index_filter;
130    
131                            # while because of repeatable fields
132                            while ($swish || $display) {
133                                  ($swish,$display) = parse_format($type, $format,$row,$repeat_off++,$import2cp);                                  ($swish,$display) = parse_format($type, $format,$row,$repeat_off++,$import2cp);
134                                    if ($repeat_off > 1000) {
135                                            print STDERR "loop (more than 1000 repeatable fields) deteced in $row, $format\n";
136                                            last;
137                                    }
138                                    
139                                  # filter="name" ; filter this field through                                  # filter="name" ; filter this field through
140                                  # filter/[name].pm                                  # filter/[name].pm
141                                  my $filter = $x->{filter};                                  my $filter = $x->{filter};
# Line 150  sub data2xml { Line 160  sub data2xml {
160                                          }                                          }
161                                          if ($filter) {                                          if ($filter) {
162                                                  no strict 'refs';                                                  no strict 'refs';
163                                                  $display_data .= join($delimiter,&$filter($display));                                                  $display_data .= $delimiter.&$filter($display);
164                                          } else {                                          } else {
165                                                  if ($display_data) {                                                  $display_data .= $delimiter.$display;
                                                         $display_data .= $delimiter.$display;  
                                                 } else {  
                                                         $display_data .= $display;  
                                                 }  
166                                          }                                          }
167                                  }                                  }
168                                                                                                    
169                                  # type="index" ; insert into index                                  # type="index" ; insert into index
170                                  if ($i && $display) {                                  if ($i && $display) {
171                                          my $index_data = $display;                                          push @index_data, $display;
172                                          if ($filter) {                                          $index_filter = $filter if ($filter);
173                                                  no strict 'refs';                                  }
174                                                  foreach my $d (&$filter($index_data)) {                          }
175                                                          $index->insert($field, $d, $path);  
176                                                  }                          # fill data in index
177                                          } else {                          if (@index_data) {
178                                                  $index->insert($field, $index_data, $path);                                  if ($index_filter) {
179                                            no strict 'refs';
180                                            foreach my $d (@index_data) {
181                                                    $index->insert($field, &$index_filter($d), $path);
182                                            }
183                                    } else {
184                                            foreach my $d (@index_data) {
185                                                    $index->insert($field, $d, $path);
186                                          }                                          }
187                                  }                                  }
188                          }                          }
# Line 259  $index = new index_DBI( Line 272  $index = new index_DBI(
272                  $cfg_global->val('global', 'dbi_passwd') || '',                  $cfg_global->val('global', 'dbi_passwd') || '',
273          );          );
274    
275    my $show_progress = $cfg_global->val('global', 'show_progress');
276    
277  foreach my $database ($cfg->Sections) {  foreach my $database ($cfg->Sections) {
278    
279          my $type = lc($cfg -> val($database, 'type')) || die "$database doesn't have 'type' defined";          my $type = lc($cfg -> val($database, 'type')) || die "$database doesn't have 'type' defined";
# Line 275  print STDERR "reading ./import_xml/$type Line 290  print STDERR "reading ./import_xml/$type
290          # output current progress indicator          # output current progress indicator
291          my $last_p = 0;          my $last_p = 0;
292          sub progress {          sub progress {
293                  #return if (! $opts{q});        # FIXME                  return if (! $show_progress);
294                  my $current = shift;                  my $current = shift;
295                  my $total = shift || 1;                  my $total = shift || 1;
296                  my $p = int($current * 100 / $total);                  my $p = int($current * 100 / $total);
# Line 287  print STDERR "reading ./import_xml/$type Line 302  print STDERR "reading ./import_xml/$type
302    
303          my $fake_dir = 1;          my $fake_dir = 1;
304          sub fakeprogress {          sub fakeprogress {
305                    return if (! $show_progress);
306                  my $current = shift @_;                  my $current = shift @_;
307    
308                  my @ind = ('-','\\','|','/','-','\\','|','/', '-');                  my @ind = ('-','\\','|','/','-','\\','|','/', '-');
# Line 308  print STDERR "using: $type...\n"; Line 324  print STDERR "using: $type...\n";
324                  $import2cp = Text::Iconv->new($config->{isis_codepage},$codepage);                  $import2cp = Text::Iconv->new($config->{isis_codepage},$codepage);
325                  my $db = OpenIsis::open( $isis_db );                  my $db = OpenIsis::open( $isis_db );
326    
327                    # check if .txt database for OpenIsis is zero length,
328                    # if so, erase it and re-open database
329                    sub check_txt_db {
330                            my $isis_db = shift || die "need isis database name";
331                            my $reopen = 0;
332    
333                            if (-e $isis_db.".TXT") {
334                                    print STDERR "WARNING: removing $isis_db.TXT OpenIsis database...\n";
335                                    unlink $isis_db.".TXT" || warn "FATAL: unlink error on '$isis_db.TXT': $!";
336                                    $reopen++;
337                            }
338                            if (-e $isis_db.".PTR") {
339                                    print STDERR "WARNING: removing $isis_db.PTR OpenIsis database...\n";
340                                    unlink $isis_db.".PTR" || warn "FATAL: unlink error on '$isis_db.PTR': $!";
341                                    $reopen++;
342                            }
343                            return OpenIsis::open( $isis_db ) if ($reopen);
344                    }
345    
346                    # EOF error
347                    if ($db == -1) {
348                            $db = check_txt_db($isis_db);
349                            if ($db == -1) {
350                                    print STDERR "FATAL: OpenIsis can't open zero size file $isis_db\n";
351                                    next;
352                            }
353                    }
354    
355                    # OpenIsis::ERR_BADF
356                    if ($db == -4) {
357                            print STDERR "FATAL: OpenIsis can't find file $isis_db\n";
358                            next;
359                    # OpenIsis::ERR_IO
360                    } elsif ($db == -5) {
361                            print STDERR "FATAL: OpenIsis can't access file $isis_db\n";
362                            next;
363                    } elsif ($db < 0) {
364                            print STDERR "FATAL: OpenIsis unknown error $db with file $isis_db\n";
365                            next;
366                    }
367    
368                  my $max_rowid = OpenIsis::maxRowid( $db );                  my $max_rowid = OpenIsis::maxRowid( $db );
369    
370                    # if 0 records, try to rease isis .txt database
371                    if ($max_rowid == 0) {
372                            # force removal of database
373                            $db = check_txt_db($isis_db);
374                            $max_rowid = OpenIsis::maxRowid( $db );
375                    }
376    
377                  print STDERR "Reading database: $isis_db [$max_rowid rows]\n";                  print STDERR "Reading database: $isis_db [$max_rowid rows]\n";
378    
379                  my $path = $database;                  my $path = $database;
# Line 331  print STDERR "using: $type...\n"; Line 395  print STDERR "using: $type...\n";
395                                  }                                  }
396                          }                          }
397                  }                  }
398                    # for this to work with current version of OpenIsis (0.9.0)
399                    # you might need my patch from
400                    # http://www.rot13.org/~dpavlin/projects/openisis-0.9.0-perl_close.diff
401                    OpenIsis::close($db);
402                  print STDERR "\n";                  print STDERR "\n";
403    
404          } elsif ($type_base eq "excel") {          } elsif ($type_base eq "excel") {

Legend:
Removed from v.81  
changed lines
  Added in v.136

  ViewVC Help
Powered by ViewVC 1.1.26