/[webpac]/trunk/all2xml.pl
This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!
ViewVC logotype

Diff of /trunk/all2xml.pl

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 256 by dpavlin, Tue Mar 9 12:18:17 2004 UTC revision 619 by dpavlin, Fri Dec 31 04:22:49 2004 UTC
# Line 1  Line 1 
1  #!/usr/bin/perl -w  #!/usr/bin/perl -w
2    
3  use strict;  use strict;
4  use OpenIsis;  use IsisDB;
5  use Getopt::Std;  use Getopt::Std;
6  use Data::Dumper;  use Data::Dumper;
7  use XML::Simple;  use XML::Simple;
 use Text::Unaccent 1.02;        # 1.01 won't compile on my platform,  
8  use Text::Iconv;  use Text::Iconv;
9  use Config::IniFiles;  use Config::IniFiles;
10  use Encode;  use Encode;
# Line 17  $|=1; Line 16  $|=1;
16    
17  my $config_file = $0;  my $config_file = $0;
18  $config_file =~ s/\.pl$/.conf/;  $config_file =~ s/\.pl$/.conf/;
19    $config_file = $ARGV[0] if ($ARGV[0] && -f $ARGV[0]);
20  die "FATAL: can't find configuration file '$config_file'" if (! -e $config_file);  die "FATAL: can't find configuration file '$config_file'" if (! -e $config_file);
21    
22  my $config;  my $config;
# Line 139  sub data2xml { Line 139  sub data2xml {
139                  } else {                  } else {
140                          print STDERR "WARNING: field '$field' doesn't have 'name' attribute!";                          print STDERR "WARNING: field '$field' doesn't have 'name' attribute!";
141                  }                  }
142    
143                  if ($field_name) {                  if ($field_name) {
144                            $field_name = x($field_name);
145                          if (! $last_field_name) {                          if (! $last_field_name) {
146                                  $last_field_name = x($field_name);                                  $last_field_name = $field_name;
147                                  return $last_field_name;                                  return $last_field_name;
148                          } elsif ($field_name ne $last_field_name) {                          } elsif ($field_name ne $last_field_name) {
149                                  $last_field_name = x($field_name);                                  $last_field_name = $field_name;
150                                  return $last_field_name;                                  return $last_field_name;
151                          }                          }
152                  }                  }
153          }          }
154    
155    
156            # init variables for different types
157            sub init_visible_type($) {
158                    my $type = shift;
159    
160                    # swish, swish_exact, display, index, index_lookup
161                    # swish and display defaults
162                    my ($s,$se,$d,$i,$il) = (1,0,1,0,0);
163                    if (lc($type) eq "display") {
164                            $s = 0;
165                    } elsif (lc($type) eq "swish") {
166                            $d = 0;
167                    } elsif (lc($type) eq "index") {
168                            ($s,$se,$d,$i) = (0,1,0,1);
169                    } elsif (lc($type) eq "swish_exact") {
170                            ($s,$se,$d,$i) = (0,1,0,0);
171                    } elsif (lc($type) =~ /^lookup/) {
172                            ($s,$se,$d,$i,$il) = (0,1,0,0,1);
173                    } elsif ($type) {
174                            print STDERR "WARNING: unknown type: $type\n";
175                    }
176                    return ($s,$se,$d,$i,$il);
177            }
178    
179    
180            # convert
181            #
182            # <tag>
183            #  <delimiter>, </delimiter>
184            #  <value>200a</value>
185            # </tag>
186            #
187            # to
188            #
189            # <tag delimiter=", ">200a</tag>
190            #
191            # but without loosing spaces in delimiter (becasue
192            # new XML::Simple strips spaces in attribute values
193            # as defined in XML specification)
194            #
195            sub unroll_x($) {
196                    my $x = shift;
197    
198                    if (defined $x->{value}) {
199                            my ($v,$d) = ($x->{value}->{content}, $x->{delimiter}->{content});
200                            delete $x->{value};
201                            delete $x->{delimiter};
202                            $x->{content} = $v;
203                            $x->{delimiter} = $d;
204                    }
205                    return $x;
206            }
207    
208          # begin real work: go field by field          # begin real work: go field by field
209          foreach my $field (@sorted_tags) {          foreach my $field (@sorted_tags) {
210    
# Line 184  sub data2xml { Line 238  sub data2xml {
238    
239                  foreach my $x (@{$config->{indexer}->{$field}->{$tag}}) {                  foreach my $x (@{$config->{indexer}->{$field}->{$tag}}) {
240    
241                            $x = unroll_x($x);
242    
243                          my $format = x($x->{content});                          my $format = x($x->{content});
244                          my $delimiter = x($x->{delimiter}) || ' ';                          my $delimiter = x($x->{delimiter}) || ' ';
245    
246                          my $repeat_off = 0;     # init repeatable offset                          my $repeat_off = 0;     # init repeatable offset
247    
248                          # swish, swish_exact, display, index, index_lookup                          my ($s,$se,$d,$i,$il) = init_visible_type($x->{type});
                         # swish and display defaults  
                         my ($s,$se,$d,$i,$il) = (1,0,1,0,0);  
                         $s = 0 if (lc($x->{type}) eq "display");  
                         $d = 0 if (lc($x->{type}) eq "swish");  
                         ($s,$se,$d,$i) = (0,1,0,1) if (lc($x->{type}) eq "index");  
                         ($s,$se,$d,$i) = (0,1,0,0) if (lc($x->{type}) eq "swish_exact");  
                         ($s,$se,$d,$i,$il) = (0,1,0,0,1) if (lc($x->{type}) =~ /^lookup/);  
249    
250                          # what will separate last line from this one?                          # what will separate last line from this one?
251                          if ($display_data && $x->{append}) {                          if ($display_data && $x->{append}) {
252                                  $line_delimiter = ' ';                                  $line_delimiter = $delimiter;
253                          } elsif ($display_data) {                          } elsif ($display_data) {
254                                  $line_delimiter = '<br/>';                                  $line_delimiter = '<br/>';
255                          }                          }
# Line 210  sub data2xml { Line 259  sub data2xml {
259    
260                          # placeholder for all repeatable entries for index                          # placeholder for all repeatable entries for index
261    
                         sub chk_eval($) {  
                                 my $data = shift;  
                                 return if (! defined($data));  
                                 if ($data && $data =~ s/\s*eval{([^}]+)}\s*//) {  
                                         if (eval "$1") {  
                                                 return $data;  
                                         } else {  
                                                 return undef;  
                                         }  
                                 } else {  
                                         return $data;  
                                 }  
                         }  
   
262                          sub mkformat($$) {                          sub mkformat($$) {
263                                  my $x = shift || die "mkformat needs tag reference";                                  my $x = shift || die "mkformat needs tag reference";
264                                  my $data = shift || return;                                  my $data = shift || return;
265                                  my $format_name = x($x->{format_name}) || return chk_eval($data);                                  my $format_name = x($x->{format_name}) || return $data;
266                                  my $fmt = x($config->{format}->{$format_name}->{content}) || die "<format name=\"$format_name\"> is not defined!";                                  my $fmt = x($config->{format}->{$format_name}->{content}) || die "<format name=\"$format_name\"> is not defined!";
267                                  my $format_delimiter = x($x->{format_delimiter});                                  my $format_delimiter = x($x->{format_delimiter});
268                                  my @data;                                  my @data;
# Line 240  sub data2xml { Line 275  sub data2xml {
275                                  if ($fmt) {                                  if ($fmt) {
276                                          my $nr = scalar $fmt =~ s/%s/%s/g;                                          my $nr = scalar $fmt =~ s/%s/%s/g;
277                                          if (($#data+1) == $nr) {                                          if (($#data+1) == $nr) {
278                                                  return chk_eval(sprintf($fmt,@data));                                                  return sprintf($fmt,@data);
279                                          } else {                                          } else {
280                                                  #print STDERR "mkformat: [$data] can't be split on [$format_delimiter] to $nr fields!\n";                                                  #print STDERR "mkformat: [$data] can't be split on [$format_delimiter] to $nr fields!\n";
281                                                  return chk_eval($data);                                                  return $data;
282                                          }                                          }
283                                  } else {                                  } else {
284                                          print STDERR "usage of link '$format_name' without defined format (<link> tag)\n";                                          print STDERR "usage of link '$format_name' without defined format (<link> tag)\n";
# Line 292  sub data2xml { Line 327  sub data2xml {
327                                  }                                  }
328                                  # type="swish" ; field for swish                                  # type="swish" ; field for swish
329                                  if ($swish) {                                  if ($swish) {
330                                          my $tmp;                                          my $tmp = $swish;
331                                          if ($filter && ($s || $se)) {                                          if ($filter && ($s || $se)) {
332                                                  no strict 'refs';                                                  no strict 'refs';
333                                                  $tmp = join(" ",&$filter($swish)) if ($s || $se);                                                  $tmp = join(" ",&$filter($tmp)) if ($s || $se);
334                                          }                                          }
335    
                                         $tmp = chk_eval($tmp);  
336                                          $swish_data .= $tmp if ($s && $tmp);                                          $swish_data .= $tmp if ($s && $tmp);
337                                          $swish_exact_data .= "xxbxx $tmp xxexx " if ($tmp && $tmp ne "" && $se);                                          $swish_exact_data .= "xxbxx $tmp xxexx " if ($tmp && $tmp ne "" && $se);
338                                  }                                  }
# Line 333  sub data2xml { Line 367  sub data2xml {
367                                                  no strict 'refs';                                                  no strict 'refs';
368                                                  $idisplay = &$filter($idisplay);                                                  $idisplay = &$filter($idisplay);
369                                          }                                          }
                                         $idisplay = chk_eval($idisplay);  
370                                          push @index_data, $idisplay if ($idisplay && !$iterate_by_page);                                          push @index_data, $idisplay if ($idisplay && !$iterate_by_page);
371                                  }                                  }
372    
# Line 433  sub data2xml { Line 466  sub data2xml {
466                  # now try to parse variables from configuration file                  # now try to parse variables from configuration file
467                  foreach my $x (@{$config->{indexer}->{$field}->{'config'}}) {                  foreach my $x (@{$config->{indexer}->{$field}->{'config'}}) {
468    
469                            $x = unroll_x($x);
470    
471                          my $delimiter = x($x->{delimiter}) || ' ';                          my $delimiter = x($x->{delimiter}) || ' ';
472                          my $val = $cfg->val($database, x($x->{content}));                          my $val = $cfg->val($database, x($x->{content}));
473    
474                          my ($s,$d,$i) = (1,1,0);        # swish, display default                          # FIXME index_lookup is not supported!
475                          $s = 0 if (lc($x->{type}) eq "display");                          my ($s,$se,$d,$i,$il) = init_visible_type($x->{type});
                         $d = 0 if (lc($x->{type}) eq "swish");  
                         # no support for swish exact in config.  
                         # IMHO, it's useless  
                         ($s,$d,$i) = (0,0,1) if (lc($x->{type}) eq "index");  
476    
477                          if ($val) {                          if ($val) {
478                                  $display_data .= $delimiter.$val if ($d);                                  $display_data .= $delimiter.$val if ($d);
479                                  $swish_data .= $val if ($s);                                  $swish_data .= " ".$val if ($s);
480                                  $index->insert($field, $val, $path) if ($i);                                  $index->insert($field, $val, $path) if ($i);
481                          }                          }
482    
# Line 498  sub data2xml { Line 529  sub data2xml {
529                                          $swish_data =~ s/ +/ /g;                                          $swish_data =~ s/ +/ /g;
530                                          $swish_data =~ s/ +$//g;                                          $swish_data =~ s/ +$//g;
531    
532                                          $xml .= xmlify($field."_swish", unac_string($codepage,$swish_data));                                          $xml .= xmlify($field."_swish", my_unac_string($codepage,$swish_data));
533                                  }                                  }
534    
535                                  my $swish_exact_data = $cache->{swish_exact_data}->{$field}->[$page];                                  my $swish_exact_data = $cache->{swish_exact_data}->{$field}->[$page];
# Line 508  sub data2xml { Line 539  sub data2xml {
539    
540                                          # add delimiters before and after word.                                          # add delimiters before and after word.
541                                          # That is required to produce exact match                                          # That is required to produce exact match
542                                          $xml .= xmlify($field."_swish_exact", unac_string($codepage,$swish_exact_data));                                          $xml .= xmlify($field."_swish_exact", my_unac_string($codepage,$swish_exact_data));
543                                  }                                  }
544                                                                    
545                                  my $idel = $cache->{index_delimiter}->{$field};                                  my $idel = $cache->{index_delimiter}->{$field};
# Line 541  sub data2xml { Line 572  sub data2xml {
572                                  $swish_data =~ s/ +/ /g;                                  $swish_data =~ s/ +/ /g;
573                                  $swish_data =~ s/ +$//g;                                  $swish_data =~ s/ +$//g;
574    
575                                  $xml .= xmlify($field."_swish", unac_string($codepage,$swish_data));                                  $xml .= xmlify($field."_swish", my_unac_string($codepage,$swish_data));
576                          }                          }
577    
578                          if ($swish_exact_data) {                          if ($swish_exact_data) {
# Line 550  sub data2xml { Line 581  sub data2xml {
581    
582                                  # add delimiters before and after word.                                  # add delimiters before and after word.
583                                  # That is required to produce exact match                                  # That is required to produce exact match
584                                  $xml .= xmlify($field."_swish_exact", unac_string($codepage,$swish_exact_data));                                  $xml .= xmlify($field."_swish_exact", my_unac_string($codepage,$swish_exact_data));
585                          }                          }
586                  }                  }
587          }          }
# Line 587  $index = new index_DBI( Line 618  $index = new index_DBI(
618    
619  my $show_progress = $cfg_global->val('global', 'show_progress');  my $show_progress = $cfg_global->val('global', 'show_progress');
620    
621  my $unac_filter = $cfg_global->val('global', 'unac_filter');  my $my_unac_filter = $cfg_global->val('global', 'my_unac_filter');
622  if ($unac_filter) {  if ($my_unac_filter) {
623          require $unac_filter;          print STDERR "using $my_unac_filter to filter characters for search\n";
624            require $my_unac_filter;
625    } else {
626            print STDERR "### fallback to default my_unac_string!\n";
627            eval q{
628            sub main::my_unac_string($$) {
629                    my ($charset, $string) = (@_);
630                    return $string;
631            }
632            };
633  }  }
634    
635  foreach my $database ($cfg->Sections) {  foreach my $database ($cfg->Sections) {
# Line 601  foreach my $database ($cfg->Sections) { Line 641  foreach my $database ($cfg->Sections) {
641          my $lookup_file = $cfg -> val($database, 'lookup_newfile'); # optional          my $lookup_file = $cfg -> val($database, 'lookup_newfile'); # optional
642          if ($lookup_file) {          if ($lookup_file) {
643                  #tie %lhash, 'GDBM_File', $lookup_file, &GDBM_NEWDB, 0644;                  #tie %lhash, 'GDBM_File', $lookup_file, &GDBM_NEWDB, 0644;
644                    if (! -e $lookup_file) {
645                            open(LOOKUP, "> $lookup_file") || die "can't create $lookup_file': $!";
646                            close(LOOKUP);
647                    }
648                  tie %lhash, 'TDB_File', $lookup_file, TDB_CLEAR_IF_FIRST, O_RDWR, 0644;                  tie %lhash, 'TDB_File', $lookup_file, TDB_CLEAR_IF_FIRST, O_RDWR, 0644;
649                  print STDERR "creating lookup file '$lookup_file'\n";                  print STDERR "creating lookup file '$lookup_file'\n";
650                  # delete memory cache for lookup file                  # delete memory cache for lookup file
# Line 621  print STDERR "reading ./import_xml/$type Line 665  print STDERR "reading ./import_xml/$type
665          my $type_base = $type;          my $type_base = $type;
666          $type_base =~ s/_.+$//g;          $type_base =~ s/_.+$//g;
667    
668          $config=XMLin("./import_xml/$type.xml", forcearray => [ $type2tag{$type_base}, 'config', 'format' ], forcecontent => 1);          $config=XMLin("./import_xml/$type.xml", ForceArray => [ $type2tag{$type_base}, 'config', 'format' ], ForceContent => 1 );
669    
670            # helper for progress bar
671            sub fmt_time {
672                    my $t = shift || 0;
673                    my $out = "";
674    
675                    my ($ss,$mm,$hh) = gmtime($t);
676                    $out .= "${hh}h" if ($hh);
677                    $out .= sprintf("%02d:%02d", $mm,$ss);
678                    $out .= "  " if ($hh == 0);
679                    return $out;
680            }
681    
682          # output current progress indicator          # output current progress indicator
683          my $last_p = 0;          my $last_p = 0;
684            my $start_t = time();
685          sub progress {          sub progress {
686                  return if (! $show_progress);                  return if (! $show_progress);
687                  my $current = shift;                  my $current = shift || 1;
688                  my $total = shift || 1;                  my $total = shift || 1;
689                  my $p = int($current * 100 / $total);                  my $p = int($current * 100 / $total);
690                  if ($p != $last_p) {                  if ($p != $last_p) {
691                          printf STDERR ("%5d / %5d [%-51s] %-2d %% \r",$current,$total,"=" x ($p/2).">", $p );                          my $rate = ($current / (time() - $start_t || 1));
692                            my $eta = ($total-$current) / ($rate || 1);
693                            printf STDERR ("%5d [%-38s] %-5d %0.1f/s %s\r",$current,"=" x ($p/3)."$p%>", $total, $rate, fmt_time($eta));
694                          $last_p = $p;                          $last_p = $p;
695                  }                  }
696          }          }
# Line 661  print STDERR "using: $type...\n"; Line 720  print STDERR "using: $type...\n";
720                  my $isis_db = $cfg -> val($database, 'isis_db') || die "$database doesn't have 'isis_db' defined!";                  my $isis_db = $cfg -> val($database, 'isis_db') || die "$database doesn't have 'isis_db' defined!";
721    
722                  $import2cp = Text::Iconv->new($config->{isis_codepage},$codepage);                  $import2cp = Text::Iconv->new($config->{isis_codepage},$codepage);
723                  my $db = OpenIsis::open( $isis_db );                  my $db = new IsisDB( isisdb => $isis_db );
   
                 # check if .txt database for OpenIsis is zero length,  
                 # if so, erase it and re-open database  
                 sub check_txt_db {  
                         my $isis_db = shift || die "need isis database name";  
                         my $reopen = 0;  
   
                         if (-e $isis_db.".TXT") {  
                                 print STDERR "WARNING: removing $isis_db.TXT OpenIsis database...\n";  
                                 unlink $isis_db.".TXT" || warn "FATAL: unlink error on '$isis_db.TXT': $!";  
                                 $reopen++;  
                         }  
                         if (-e $isis_db.".PTR") {  
                                 print STDERR "WARNING: removing $isis_db.PTR OpenIsis database...\n";  
                                 unlink $isis_db.".PTR" || warn "FATAL: unlink error on '$isis_db.PTR': $!";  
                                 $reopen++;  
                         }  
                         return OpenIsis::open( $isis_db ) if ($reopen);  
                 }  
   
                 # EOF error  
                 if ($db == -1) {  
                         $db = check_txt_db($isis_db);  
                         if ($db == -1) {  
                                 print STDERR "FATAL: OpenIsis can't open zero size file $isis_db\n";  
                                 next;  
                         }  
                 }  
724    
725                  # OpenIsis::ERR_BADF                  my $max_rowid = $db->{'maxmfn'} || die "can't find maxmfn";
                 if ($db == -4) {  
                         print STDERR "FATAL: OpenIsis can't find file $isis_db\n";  
                         next;  
                 # OpenIsis::ERR_IO  
                 } elsif ($db == -5) {  
                         print STDERR "FATAL: OpenIsis can't access file $isis_db\n";  
                         next;  
                 } elsif ($db < 0) {  
                         print STDERR "FATAL: OpenIsis unknown error $db with file $isis_db\n";  
                         next;  
                 }  
   
                 my $max_rowid = OpenIsis::maxRowid( $db );  
   
                 # if 0 records, try to rease isis .txt database  
                 if ($max_rowid == 0) {  
                         # force removal of database  
                         $db = check_txt_db($isis_db);  
                         $max_rowid = OpenIsis::maxRowid( $db );  
                 }  
726    
727                  print STDERR "Reading database: $isis_db [$max_rowid rows]\n";                  print STDERR "Reading database: $isis_db [$max_rowid rows]\n";
728    
729                  my $path = $database;                  my $path = $database;
730    
731                  for (my $row_id = 1; $row_id <= $max_rowid; $row_id++ ) {                  for (my $row_id = 1; $row_id <= $max_rowid; $row_id++ ) {
732                          my $row = OpenIsis::read( $db, $row_id );                          my $row = $db->to_hash( $row_id );
733                          if ($row && $row->{mfn}) {                          if ($row) {
734            
735                                    $row->{mfn} = $row_id;
736                                    $row->{record} = $db->{record};
737    
738                                  progress($row->{mfn}, $max_rowid);                                  progress($row->{mfn}, $max_rowid);
739    
740                                  my $swishpath = $path."#".int($row->{mfn});                                  my $swishpath = $path."#".int($row->{mfn});
# Line 734  print STDERR "using: $type...\n"; Line 748  print STDERR "using: $type...\n";
748                                  }                                  }
749                          }                          }
750                  }                  }
                 # for this to work with current version of OpenIsis (0.9.0)  
                 # you might need my patch from  
                 # http://www.rot13.org/~dpavlin/projects/openisis-0.9.0-perl_close.diff  
                 OpenIsis::close($db);  
751                  print STDERR "\n";                  print STDERR "\n";
752    
753          } elsif ($type_base eq "excel") {          } elsif ($type_base eq "excel") {
# Line 771  print STDERR "using: $type...\n"; Line 781  print STDERR "using: $type...\n";
781                          for(my $iC = $oWorksheet->{MinCol} ; defined $oWorksheet->{MaxCol} && $iC <= $oWorksheet->{MaxCol} ; $iC++) {                          for(my $iC = $oWorksheet->{MinCol} ; defined $oWorksheet->{MaxCol} && $iC <= $oWorksheet->{MaxCol} ; $iC++) {
782                                  my $cell = $oWorksheet->{Cells}[$iR][$iC];                                  my $cell = $oWorksheet->{Cells}[$iR][$iC];
783                                  if ($cell) {                                  if ($cell) {
784                                          $row->{int2col($iC)} = $cell->Value;                                          # this conversion is a cludge.
785                                            # Files from Excell could have
786                                            # characters which don't fit into
787                                            # destination encoding.
788                                            $row->{int2col($iC)} = $utf2cp->convert($cell->Value) || $cell->Value;
789                                  }                                  }
790                          }                          }
791    
# Line 891  __END__ Line 905  __END__
905    
906  all2xml.pl - read various file formats and dump XML for SWISH-E  all2xml.pl - read various file formats and dump XML for SWISH-E
907    
908    =head1 SYNOPSYS
909    
910     $ all2xml.pl [test.conf]
911    
912  =head1 DESCRIPTION  =head1 DESCRIPTION
913    
914  This command will read ISIS data file using OpenIsis perl module, MARC  This command will read ISIS data file using OpenIsis perl module, MARC
# Line 899  create one XML file for usage with I<SWI Line 917  create one XML file for usage with I<SWI
917  this script B<isn't general xml generator> from isis files (isis allready  this script B<isn't general xml generator> from isis files (isis allready
918  has something like that). Output of this script is tailor-made for SWISH-E.  has something like that). Output of this script is tailor-made for SWISH-E.
919    
920    If no configuration file is specified, it will use default one called
921    C<all2xml.conf>.
922    
923  =head1 BUGS  =head1 BUGS
924    
925  Documentation is really lacking. However, in true Open Source spirit, source  Documentation is really lacking. However, in true Open Source spirit, source

Legend:
Removed from v.256  
changed lines
  Added in v.619

  ViewVC Help
Powered by ViewVC 1.1.26