/[webpac]/trunk/all2xml.pl
This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!
ViewVC logotype

Diff of /trunk/all2xml.pl

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 298 by dpavlin, Fri Apr 2 23:31:25 2004 UTC revision 379 by dpavlin, Wed Jul 7 09:55:45 2004 UTC
# Line 5  use OpenIsis; Line 5  use OpenIsis;
5  use Getopt::Std;  use Getopt::Std;
6  use Data::Dumper;  use Data::Dumper;
7  use XML::Simple;  use XML::Simple;
 use Text::Unaccent 1.02;        # 1.01 won't compile on my platform,  
8  use Text::Iconv;  use Text::Iconv;
9  use Config::IniFiles;  use Config::IniFiles;
10  use Encode;  use Encode;
# Line 17  $|=1; Line 16  $|=1;
16    
17  my $config_file = $0;  my $config_file = $0;
18  $config_file =~ s/\.pl$/.conf/;  $config_file =~ s/\.pl$/.conf/;
19  $config_file = $ARGV[0] if (-f $ARGV[0]);  $config_file = $ARGV[0] if ($ARGV[0] && -f $ARGV[0]);
20  die "FATAL: can't find configuration file '$config_file'" if (! -e $config_file);  die "FATAL: can't find configuration file '$config_file'" if (! -e $config_file);
21    
22  my $config;  my $config;
# Line 169  sub data2xml { Line 168  sub data2xml {
168                          ($s,$se,$d,$i) = (0,1,0,0);                          ($s,$se,$d,$i) = (0,1,0,0);
169                  } elsif (lc($type) =~ /^lookup/) {                  } elsif (lc($type) =~ /^lookup/) {
170                          ($s,$se,$d,$i,$il) = (0,1,0,0,1);                          ($s,$se,$d,$i,$il) = (0,1,0,0,1);
171                    } elsif ($type) {
172                            print STDERR "WARNING: unknown type: $type\n";
173                  }                  }
174                  return ($s,$se,$d,$i,$il);                  return ($s,$se,$d,$i,$il);
175          }          }
# Line 526  sub data2xml { Line 527  sub data2xml {
527                                          $swish_data =~ s/ +/ /g;                                          $swish_data =~ s/ +/ /g;
528                                          $swish_data =~ s/ +$//g;                                          $swish_data =~ s/ +$//g;
529    
530                                          $xml .= xmlify($field."_swish", unac_string($codepage,$swish_data));                                          $xml .= xmlify($field."_swish", my_unac_string($codepage,$swish_data));
531                                  }                                  }
532    
533                                  my $swish_exact_data = $cache->{swish_exact_data}->{$field}->[$page];                                  my $swish_exact_data = $cache->{swish_exact_data}->{$field}->[$page];
# Line 536  sub data2xml { Line 537  sub data2xml {
537    
538                                          # add delimiters before and after word.                                          # add delimiters before and after word.
539                                          # That is required to produce exact match                                          # That is required to produce exact match
540                                          $xml .= xmlify($field."_swish_exact", unac_string($codepage,$swish_exact_data));                                          $xml .= xmlify($field."_swish_exact", my_unac_string($codepage,$swish_exact_data));
541                                  }                                  }
542                                                                    
543                                  my $idel = $cache->{index_delimiter}->{$field};                                  my $idel = $cache->{index_delimiter}->{$field};
# Line 569  sub data2xml { Line 570  sub data2xml {
570                                  $swish_data =~ s/ +/ /g;                                  $swish_data =~ s/ +/ /g;
571                                  $swish_data =~ s/ +$//g;                                  $swish_data =~ s/ +$//g;
572    
573                                  $xml .= xmlify($field."_swish", unac_string($codepage,$swish_data));                                  $xml .= xmlify($field."_swish", my_unac_string($codepage,$swish_data));
574                          }                          }
575    
576                          if ($swish_exact_data) {                          if ($swish_exact_data) {
# Line 578  sub data2xml { Line 579  sub data2xml {
579    
580                                  # add delimiters before and after word.                                  # add delimiters before and after word.
581                                  # That is required to produce exact match                                  # That is required to produce exact match
582                                  $xml .= xmlify($field."_swish_exact", unac_string($codepage,$swish_exact_data));                                  $xml .= xmlify($field."_swish_exact", my_unac_string($codepage,$swish_exact_data));
583                          }                          }
584                  }                  }
585          }          }
# Line 615  $index = new index_DBI( Line 616  $index = new index_DBI(
616    
617  my $show_progress = $cfg_global->val('global', 'show_progress');  my $show_progress = $cfg_global->val('global', 'show_progress');
618    
619  my $unac_filter = $cfg_global->val('global', 'unac_filter');  my $my_unac_filter = $cfg_global->val('global', 'my_unac_filter');
620  if ($unac_filter) {  if ($my_unac_filter) {
621          require $unac_filter;          print STDERR "using $my_unac_filter to filter characters for search\n";
622            require $my_unac_filter;
623    } else {
624            print STDERR "### fallback to default my_unac_string!\n";
625            eval q{
626            sub main::my_unac_string($$) {
627                    my ($charset, $string) = (@_);
628                    return $string;
629            }
630            };
631  }  }
632    
633  foreach my $database ($cfg->Sections) {  foreach my $database ($cfg->Sections) {
# Line 629  foreach my $database ($cfg->Sections) { Line 639  foreach my $database ($cfg->Sections) {
639          my $lookup_file = $cfg -> val($database, 'lookup_newfile'); # optional          my $lookup_file = $cfg -> val($database, 'lookup_newfile'); # optional
640          if ($lookup_file) {          if ($lookup_file) {
641                  #tie %lhash, 'GDBM_File', $lookup_file, &GDBM_NEWDB, 0644;                  #tie %lhash, 'GDBM_File', $lookup_file, &GDBM_NEWDB, 0644;
642                    if (! -e $lookup_file) {
643                            open(LOOKUP, "> $lookup_file") || die "can't create $lookup_file': $!";
644                            close(LOOKUP);
645                    }
646                  tie %lhash, 'TDB_File', $lookup_file, TDB_CLEAR_IF_FIRST, O_RDWR, 0644;                  tie %lhash, 'TDB_File', $lookup_file, TDB_CLEAR_IF_FIRST, O_RDWR, 0644;
647                  print STDERR "creating lookup file '$lookup_file'\n";                  print STDERR "creating lookup file '$lookup_file'\n";
648                  # delete memory cache for lookup file                  # delete memory cache for lookup file

Legend:
Removed from v.298  
changed lines
  Added in v.379

  ViewVC Help
Powered by ViewVC 1.1.26