/[webpac]/trunk/all2xml.pl
This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!
ViewVC logotype

Diff of /trunk/all2xml.pl

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 279 by dpavlin, Sun Mar 14 14:59:43 2004 UTC revision 488 by dpavlin, Wed Sep 29 17:22:24 2004 UTC
# Line 5  use OpenIsis; Line 5  use OpenIsis;
5  use Getopt::Std;  use Getopt::Std;
6  use Data::Dumper;  use Data::Dumper;
7  use XML::Simple;  use XML::Simple;
 use Text::Unaccent 1.02;        # 1.01 won't compile on my platform,  
8  use Text::Iconv;  use Text::Iconv;
9  use Config::IniFiles;  use Config::IniFiles;
10  use Encode;  use Encode;
# Line 17  $|=1; Line 16  $|=1;
16    
17  my $config_file = $0;  my $config_file = $0;
18  $config_file =~ s/\.pl$/.conf/;  $config_file =~ s/\.pl$/.conf/;
19    $config_file = $ARGV[0] if ($ARGV[0] && -f $ARGV[0]);
20  die "FATAL: can't find configuration file '$config_file'" if (! -e $config_file);  die "FATAL: can't find configuration file '$config_file'" if (! -e $config_file);
21    
22  my $config;  my $config;
# Line 168  sub data2xml { Line 168  sub data2xml {
168                          ($s,$se,$d,$i) = (0,1,0,0);                          ($s,$se,$d,$i) = (0,1,0,0);
169                  } elsif (lc($type) =~ /^lookup/) {                  } elsif (lc($type) =~ /^lookup/) {
170                          ($s,$se,$d,$i,$il) = (0,1,0,0,1);                          ($s,$se,$d,$i,$il) = (0,1,0,0,1);
171                    } elsif ($type) {
172                            print STDERR "WARNING: unknown type: $type\n";
173                  }                  }
174                  return ($s,$se,$d,$i,$il);                  return ($s,$se,$d,$i,$il);
175          }          }
# Line 245  sub data2xml { Line 247  sub data2xml {
247    
248                          # what will separate last line from this one?                          # what will separate last line from this one?
249                          if ($display_data && $x->{append}) {                          if ($display_data && $x->{append}) {
250                                  $line_delimiter = ' ';                                  $line_delimiter = $delimiter;
251                          } elsif ($display_data) {                          } elsif ($display_data) {
252                                  $line_delimiter = '<br/>';                                  $line_delimiter = '<br/>';
253                          }                          }
# Line 525  sub data2xml { Line 527  sub data2xml {
527                                          $swish_data =~ s/ +/ /g;                                          $swish_data =~ s/ +/ /g;
528                                          $swish_data =~ s/ +$//g;                                          $swish_data =~ s/ +$//g;
529    
530                                          $xml .= xmlify($field."_swish", unac_string($codepage,$swish_data));                                          $xml .= xmlify($field."_swish", my_unac_string($codepage,$swish_data));
531                                  }                                  }
532    
533                                  my $swish_exact_data = $cache->{swish_exact_data}->{$field}->[$page];                                  my $swish_exact_data = $cache->{swish_exact_data}->{$field}->[$page];
# Line 535  sub data2xml { Line 537  sub data2xml {
537    
538                                          # add delimiters before and after word.                                          # add delimiters before and after word.
539                                          # That is required to produce exact match                                          # That is required to produce exact match
540                                          $xml .= xmlify($field."_swish_exact", unac_string($codepage,$swish_exact_data));                                          $xml .= xmlify($field."_swish_exact", my_unac_string($codepage,$swish_exact_data));
541                                  }                                  }
542                                                                    
543                                  my $idel = $cache->{index_delimiter}->{$field};                                  my $idel = $cache->{index_delimiter}->{$field};
# Line 568  sub data2xml { Line 570  sub data2xml {
570                                  $swish_data =~ s/ +/ /g;                                  $swish_data =~ s/ +/ /g;
571                                  $swish_data =~ s/ +$//g;                                  $swish_data =~ s/ +$//g;
572    
573                                  $xml .= xmlify($field."_swish", unac_string($codepage,$swish_data));                                  $xml .= xmlify($field."_swish", my_unac_string($codepage,$swish_data));
574                          }                          }
575    
576                          if ($swish_exact_data) {                          if ($swish_exact_data) {
# Line 577  sub data2xml { Line 579  sub data2xml {
579    
580                                  # add delimiters before and after word.                                  # add delimiters before and after word.
581                                  # That is required to produce exact match                                  # That is required to produce exact match
582                                  $xml .= xmlify($field."_swish_exact", unac_string($codepage,$swish_exact_data));                                  $xml .= xmlify($field."_swish_exact", my_unac_string($codepage,$swish_exact_data));
583                          }                          }
584                  }                  }
585          }          }
# Line 614  $index = new index_DBI( Line 616  $index = new index_DBI(
616    
617  my $show_progress = $cfg_global->val('global', 'show_progress');  my $show_progress = $cfg_global->val('global', 'show_progress');
618    
619  my $unac_filter = $cfg_global->val('global', 'unac_filter');  my $my_unac_filter = $cfg_global->val('global', 'my_unac_filter');
620  if ($unac_filter) {  if ($my_unac_filter) {
621          require $unac_filter;          print STDERR "using $my_unac_filter to filter characters for search\n";
622            require $my_unac_filter;
623    } else {
624            print STDERR "### fallback to default my_unac_string!\n";
625            eval q{
626            sub main::my_unac_string($$) {
627                    my ($charset, $string) = (@_);
628                    return $string;
629            }
630            };
631  }  }
632    
633  foreach my $database ($cfg->Sections) {  foreach my $database ($cfg->Sections) {
# Line 628  foreach my $database ($cfg->Sections) { Line 639  foreach my $database ($cfg->Sections) {
639          my $lookup_file = $cfg -> val($database, 'lookup_newfile'); # optional          my $lookup_file = $cfg -> val($database, 'lookup_newfile'); # optional
640          if ($lookup_file) {          if ($lookup_file) {
641                  #tie %lhash, 'GDBM_File', $lookup_file, &GDBM_NEWDB, 0644;                  #tie %lhash, 'GDBM_File', $lookup_file, &GDBM_NEWDB, 0644;
642                    if (! -e $lookup_file) {
643                            open(LOOKUP, "> $lookup_file") || die "can't create $lookup_file': $!";
644                            close(LOOKUP);
645                    }
646                  tie %lhash, 'TDB_File', $lookup_file, TDB_CLEAR_IF_FIRST, O_RDWR, 0644;                  tie %lhash, 'TDB_File', $lookup_file, TDB_CLEAR_IF_FIRST, O_RDWR, 0644;
647                  print STDERR "creating lookup file '$lookup_file'\n";                  print STDERR "creating lookup file '$lookup_file'\n";
648                  # delete memory cache for lookup file                  # delete memory cache for lookup file
# Line 798  print STDERR "using: $type...\n"; Line 813  print STDERR "using: $type...\n";
813                          for(my $iC = $oWorksheet->{MinCol} ; defined $oWorksheet->{MaxCol} && $iC <= $oWorksheet->{MaxCol} ; $iC++) {                          for(my $iC = $oWorksheet->{MinCol} ; defined $oWorksheet->{MaxCol} && $iC <= $oWorksheet->{MaxCol} ; $iC++) {
814                                  my $cell = $oWorksheet->{Cells}[$iR][$iC];                                  my $cell = $oWorksheet->{Cells}[$iR][$iC];
815                                  if ($cell) {                                  if ($cell) {
816                                          $row->{int2col($iC)} = $cell->Value;                                          # this conversion is a cludge.
817                                            # Files from Excell could have
818                                            # characters which don't fit into
819                                            # destination encoding.
820                                            $row->{int2col($iC)} = $utf2cp->convert($cell->Value) || $cell->Value;
821                                  }                                  }
822                          }                          }
823    
# Line 918  __END__ Line 937  __END__
937    
938  all2xml.pl - read various file formats and dump XML for SWISH-E  all2xml.pl - read various file formats and dump XML for SWISH-E
939    
940    =head1 SYNOPSYS
941    
942     $ all2xml.pl [test.conf]
943    
944  =head1 DESCRIPTION  =head1 DESCRIPTION
945    
946  This command will read ISIS data file using OpenIsis perl module, MARC  This command will read ISIS data file using OpenIsis perl module, MARC
# Line 926  create one XML file for usage with I<SWI Line 949  create one XML file for usage with I<SWI
949  this script B<isn't general xml generator> from isis files (isis allready  this script B<isn't general xml generator> from isis files (isis allready
950  has something like that). Output of this script is tailor-made for SWISH-E.  has something like that). Output of this script is tailor-made for SWISH-E.
951    
952    If no configuration file is specified, it will use default one called
953    C<all2xml.conf>.
954    
955  =head1 BUGS  =head1 BUGS
956    
957  Documentation is really lacking. However, in true Open Source spirit, source  Documentation is really lacking. However, in true Open Source spirit, source

Legend:
Removed from v.279  
changed lines
  Added in v.488

  ViewVC Help
Powered by ViewVC 1.1.26