/[webpac]/trunk/all2xml.pl
This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!
ViewVC logotype

Diff of /trunk/all2xml.pl

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 50 by dpavlin, Sun Jun 1 13:46:42 2003 UTC revision 643 by dpavlin, Sun Jan 23 15:18:03 2005 UTC
# Line 1  Line 1 
1  #!/usr/bin/perl -w  #!/usr/bin/perl -w
2    
3  use strict;  use strict;
4  use OpenIsis;  use Biblio::Isis;
5  use Getopt::Std;  use Getopt::Std;
6  use Data::Dumper;  use Data::Dumper;
7  use XML::Simple;  use XML::Simple;
 use Text::Unaccent 1.02;        # 1.01 won't compile on my platform,  
8  use Text::Iconv;  use Text::Iconv;
9  use Config::IniFiles;  use Config::IniFiles;
10  use Encode;  use Encode;
11    #use GDBM_File;
12    use Fcntl;      # for O_RDWR
13    use TDB_File;
14    
15  $|=1;  $|=1;
16    
17  my $config_file = $0;  my $config_file = $0;
18  $config_file =~ s/\.pl$/.conf/;  $config_file =~ s/\.pl$/.conf/;
19    $config_file = $ARGV[0] if ($ARGV[0] && -f $ARGV[0]);
20  die "FATAL: can't find configuration file '$config_file'" if (! -e $config_file);  die "FATAL: can't find configuration file '$config_file'" if (! -e $config_file);
21    
22  my $config;  my $config;
23    
24  use index_DBI;  # there is no other, right now ;-)  #use index_DBI;         # default DBI module for index
25    #use index_DBI_cache;   # faster DBI module using memory cache
26    use index_DBI_filter;   # filter support for indexes
27  my $index;  my $index;
28    
29  my %opts;  my %opts;
# Line 33  getopts('d:m:qs', \%opts); Line 38  getopts('d:m:qs', \%opts);
38    
39  my $path;       # this is name of database  my $path;       # this is name of database
40    
41  Text::Iconv->raise_error(1);     # Conversion errors raise exceptions  Text::Iconv->raise_error(0);     # Conversion errors don't raise exceptions
42    
43  # this is encoding of all files on disk, including import_xml/*.xml file and  # this is encoding of all files on disk, including import_xml/*.xml file and
44  # filter/*.pm files! It will be used to store strings in perl internally!  # filter/*.pm files! It will be used to store strings in perl internally!
# Line 45  sub x { Line 50  sub x {
50          return $utf2cp->convert($_[0]);          return $utf2cp->convert($_[0]);
51  }  }
52    
53  # decode isis import codepage  # decode isis/excel or other import codepage
54  my $isis2cp;  my $import2cp;
55    
56  # outgoing xml must be in UTF-8  # outgoing xml must be in UTF-8
57  my $cp2utf = Text::Iconv->new($codepage,'UTF-8');  my $cp2utf = Text::Iconv->new($codepage,'UTF-8');
58    
59  sub isis2xml {  # mapping between data type and tag which specify
60    # format in XML file
61    my %type2tag = (
62            'isis' => 'isis',
63            'excel' => 'column',
64            'marc' => 'marc',
65            'feed' => 'feed'
66    );
67    
68    my $cache;      # for cacheing
69    
70    # lookup hash (tied to file)
71    my %lhash;
72    # this option will cache all lookup entries in memory.
73    # if you are tight on memory, turn this off
74    my $use_lhash_cache = 1;
75    
76    my $last_field_name;    # cache to prevent repeated fields
77    
78    sub data2xml {
79    
80          use xmlify;          use xmlify;
81    
82            my $type = shift @_;
83          my $row = shift @_;          my $row = shift @_;
84          my $add_xml = shift @_;          my $add_xml = shift @_;
85            # needed to read values from configuration file
86            my $cfg = shift @_;
87            my $database = shift @_;
88    
89          my $xml;          my $xml;
90    
# Line 68  sub isis2xml { Line 96  sub isis2xml {
96    
97          # sort subrouting using order="" attribute          # sort subrouting using order="" attribute
98          sub by_order {          sub by_order {
99                  return 0 if (! $config->{indexer}->{$a}->{order});                  my $va = $config->{indexer}->{$a}->{order} ||
100                  return 0 if (! $config->{indexer}->{$b}->{order});                          $config->{indexer}->{$a};
101                    my $vb = $config->{indexer}->{$b}->{order} ||
102                            $config->{indexer}->{$b};
103    
104                    return $va <=> $vb;
105            }
106    
107                  return $config->{indexer}->{$a}->{order} <=>          my @sorted_tags;
108                          $config->{indexer}->{$b}->{order} ;          if ($cache->{tags_by_order}) {
109                    @sorted_tags = @{$cache->{tags_by_order}};
110            } else {
111                    @sorted_tags = sort by_order keys %{$config->{indexer}};
112                    $cache->{tags_by_order} = \@sorted_tags;
113          }          }
114    
115          foreach my $field (sort by_order keys %{$config->{indexer}}) {          # lookup key
116            my $lookup_key;
117    
118                  $field=x($field);          # cache for field in pages
119            delete $cache->{display_data};
120            delete $cache->{swish_data};
121            delete $cache->{swish_exact_data};
122            delete $cache->{index_data};
123            delete $cache->{index_delimiter};
124            my @page_fields;        # names of fields
125    
126    
127            # subs used to produce output
128    
129            sub get_field_name($$$) {
130                    my ($config,$field,$field_usage) = @_;
131    
132                    # find field name (signular, plural)
133                    my $field_name = "";
134                    if ($config->{indexer}->{$field}->{name_singular} && $field_usage == 1) {
135                            $field_name = $config->{indexer}->{$field}->{name_singular};
136                    } elsif ($config->{indexer}->{$field}->{name_plural}) {
137                            $field_name = $config->{indexer}->{$field}->{name_plural};
138                    } elsif ($config->{indexer}->{$field}->{name}) {
139                            $field_name = $config->{indexer}->{$field}->{name};
140                    } else {
141                            print STDERR "WARNING: field '$field' doesn't have 'name' attribute!";
142                    }
143    
144                    if ($field_name) {
145                            $field_name = x($field_name);
146                            if (! $last_field_name) {
147                                    $last_field_name = $field_name;
148                                    return $last_field_name;
149                            } elsif ($field_name ne $last_field_name) {
150                                    $last_field_name = $field_name;
151                                    return $last_field_name;
152                            }
153                    }
154            }
155    
156    
157            # init variables for different types
158            sub init_visible_type($) {
159                    my $type = shift;
160    
161                    # swish, swish_exact, display, index, index_lookup
162                    # swish and display defaults
163                    my ($s,$se,$d,$i,$il) = (1,0,1,0,0);
164                    if (lc($type) eq "display") {
165                            $s = 0;
166                    } elsif (lc($type) eq "swish") {
167                            $d = 0;
168                    } elsif (lc($type) eq "index") {
169                            ($s,$se,$d,$i) = (0,1,0,1);
170                    } elsif (lc($type) eq "swish_exact") {
171                            ($s,$se,$d,$i) = (0,1,0,0);
172                    } elsif (lc($type) =~ /^lookup/) {
173                            ($s,$se,$d,$i,$il) = (0,1,0,0,1);
174                    } elsif ($type) {
175                            print STDERR "WARNING: unknown type: $type\n";
176                    }
177                    return ($s,$se,$d,$i,$il);
178            }
179    
180    
181            # convert
182            #
183            # <tag>
184            #  <delimiter>, </delimiter>
185            #  <value>200a</value>
186            # </tag>
187            #
188            # to
189            #
190            # <tag delimiter=", ">200a</tag>
191            #
192            # but without loosing spaces in delimiter (becasue
193            # new XML::Simple strips spaces in attribute values
194            # as defined in XML specification)
195            #
196            sub unroll_x($) {
197                    my $x = shift;
198    
199                    if (defined $x->{value}) {
200                            my ($v,$d) = ($x->{value}->{content}, $x->{delimiter}->{content});
201                            delete $x->{value};
202                            delete $x->{delimiter};
203                            $x->{content} = $v;
204                            $x->{delimiter} = $d;
205                    }
206                    return $x;
207            }
208    
209            # begin real work: go field by field
210            foreach my $field (@sorted_tags) {
211    
212                    $field=x($field);
213                  $field_usage{$field}++;                  $field_usage{$field}++;
214    
215                  my $swish_data = "";                  my $swish_data = "";
216                    my $swish_exact_data = "";
217                  my $display_data = "";                  my $display_data = "";
218                    my @index_data;
219                  my $line_delimiter;                  my $line_delimiter;
220    
221                  my ($swish,$display);                  my ($swish,$display);
222    
223                  foreach my $x (@{$config->{indexer}->{$field}->{isis}}) {                  my $tag = $type2tag{$type} || die "can't find which tag to use for type $type";
224    
225                    # is this field page-by-page?
226                    my $iterate_by_page = $config->{indexer}->{$field}->{iterate_by_page};
227                    push @page_fields,$field if ($iterate_by_page);
228                    my %page_max = ();
229                    # default line_delimiter if using
230                    my $page_line_delimiter = $config->{indexer}->{$field}->{page_line_delimiter} || '<br/>';
231                    $cache->{index_delimiter}->{$field} = $config->{indexer}->{$field}->{index_delimiter};
232    
233                    my $format_name = $config->{indexer}->{$field}->{format_name};
234                    my $format_delimiter = $config->{indexer}->{$field}->{format_delimiter};
235                    if ($format_name && $format_delimiter) {
236                            $cache->{format}->{$field}->{format_name} = $format_name;
237                            $cache->{format}->{$field}->{format_delimiter} = $format_delimiter;
238                    }
239    
240                    foreach my $x (@{$config->{indexer}->{$field}->{$tag}}) {
241    
242                            $x = unroll_x($x);
243    
244                          my $format = x($x->{content});                          my $format = x($x->{content});
245                          my $delimiter = x($x->{delimiter}) || ' ';                          my $delimiter = x($x->{delimiter}) || ' ';
246    
247                          my $isis_i = 0;         # isis repeatable offset                          my $repeat_off = 0;     # init repeatable offset
248    
249                          my ($s,$d,$i) = (1,1,0);        # swish, display default                          my ($s,$se,$d,$i,$il) = init_visible_type($x->{type});
                         $s = 0 if (lc($x->{type}) eq "display");  
                         $d = 0 if (lc($x->{type}) eq "swish");  
                         ($s,$d,$i) = (0,0,1) if (lc($x->{type}) eq "index");  
250    
251                          # what will separate last line from this one?                          # what will separate last line from this one?
252                          if ($display_data && $x->{append} && $x->{append} eq "1") {                          if ($display_data && $x->{append}) {
253                                  $line_delimiter = ' ';                                  $line_delimiter = $delimiter;
254                          } elsif ($display_data) {                          } elsif ($display_data) {
255                                  $line_delimiter = '<br/>';                                  $line_delimiter = '<br/>';
256                          }                          }
# Line 109  sub isis2xml { Line 258  sub isis2xml {
258                          # init vars so that we go into while...                          # init vars so that we go into while...
259                          ($swish,$display) = (1,1);                          ($swish,$display) = (1,1);
260    
261                            sub mkformat($$) {
262                                    my $x = shift || die "mkformat needs tag reference";
263                                    my $data = shift || return;
264                                    my $format_name = x($x->{format_name}) || return $data;
265                                    my $fmt = x($config->{format}->{$format_name}->{content}) || die "<format name=\"$format_name\"> is not defined!";
266                                    my $format_delimiter = x($x->{format_delimiter});
267                                    my @data;
268                                    if ($format_delimiter) {
269                                            @data = split(/$format_delimiter/,$data);
270                                    } else {
271                                            push @data,$data;
272                                    }
273    
274                                    if ($fmt) {
275                                            my $nr = scalar $fmt =~ s/%s/%s/g;
276                                            if (($#data+1) == $nr) {
277                                                    return sprintf($fmt,@data);
278                                            } else {
279                                                    #print STDERR "mkformat: [$data] can't be split on [$format_delimiter] to $nr fields!\n";
280                                                    return $data;
281                                            }
282                                    } else {
283                                            print STDERR "usage of link '$format_name' without defined format (<link> tag)\n";
284                                    }
285                            }
286    
287                            # while because of repeatable fields
288                          while ($swish || $display) {                          while ($swish || $display) {
289                                  ($swish,$display) = parse_format($format,$row,$isis_i++,$isis2cp);                                  my $page = $repeat_off;
290                                    $page_max{$field} = $page if ($iterate_by_page && $page > ($page_max{$field} || 0));
291                                    ($swish,$display) = parse_format($type, $format,$row,$repeat_off++,$import2cp);
292                                    if ($repeat_off > 1000) {
293                                            print STDERR "loop (more than 1000 repeatable fields) deteced in $row, $format\n";
294                                            last;
295                                    }
296    
297                                    # is this field is lookup?
298                                    if ($display && $x->{lookup}) {
299                                            my $null = "<!-- null -->";
300                                            if ($use_lhash_cache) {
301                                                    if (!defined($cache->{lhash}->{$display})) {
302                                                            my $new_display = $lhash{$display};
303                                                            if (defined($new_display)) {
304    #print STDERR "lookup cache store '$display' = '$new_display'\n";
305                                                                    $display = $new_display;
306                                                                    $cache->{lhash}->{$display} = $new_display;
307                                                            } else {
308    #                                                               print STDERR "WARNING: lookup for '$display' didn't find anything.\n";
309                                                                    $display = "";
310                                                                    $cache->{lhash}->{$display} = $null;
311                                                            }
312                                                    } else {
313                                                            $display = $cache->{lhash}->{$display};
314                                                    }
315                                            } else {
316                                                    $display = $lhash{$display} || $null;
317                                            }
318                                    }
319    
320                                  # filter="name" ; filter this field through                                  # filter="name" ; filter this field through
321                                  # filter/[name].pm                                  # filter/[name].pm
322                                  my $filter = $x->{filter};                                  my $filter = $x->{filter};
323                                  if ($filter) {                                  if ($filter && !$cache->{filter_loaded}->{$filter}) {
324                                          require "filter/".$filter.".pm";                                          require "filter/".$filter.".pm";
325                                            $cache->{filter_loaded}->{$filter}++;
326                                  }                                  }
327                                  # type="swish" ; field for swish                                  # type="swish" ; field for swish
328                                  if ($s && $swish) {                                  if ($swish) {
329                                          if ($filter) {                                          my $tmp = $swish;
330                                            if ($filter && ($s || $se)) {
331                                                  no strict 'refs';                                                  no strict 'refs';
332                                                  $swish_data .= join(" ",&$filter($swish));                                                  $tmp = join(" ",&$filter($tmp)) if ($s || $se);
                                         } else {  
                                                 $swish_data .= $swish;  
333                                          }                                          }
334    
335                                            $swish_data .= $tmp if ($s && $tmp);
336                                            $swish_exact_data .= "xxbxx $tmp xxexx " if ($tmp && $tmp ne "" && $se);
337                                  }                                  }
338    
339                                  # type="display" ; field for display                                  # type="display" ; field for display
340                                  if ($d && $display) {                                  if ($d && $display) {
341                                            my $ldel = $delimiter;
342                                          if ($line_delimiter && $display_data) {                                          if ($line_delimiter && $display_data) {
343                                                  $display_data .= $line_delimiter;                                                  $ldel = $line_delimiter;
                                                 undef $line_delimiter;  
344                                          }                                          }
345                                          if ($filter) {                                          if ($filter) {
346                                                  no strict 'refs';                                                  no strict 'refs';
347                                                  $display_data .= join($delimiter,&$filter($display));                                                  my @arr;
348                                          } else {                                                  foreach my $tmp (&$filter($display)) {
349                                                  if ($display_data) {                                                          my $tmp2 = mkformat($x,$tmp);
350                                                          $display_data .= $delimiter.$display;                                                          push @arr,$tmp2 if ($tmp2);
                                                 } else {  
                                                         $display_data .= $display;  
351                                                  }                                                  }
352                                                    $display_data .= $ldel if ($display_data && @arr);
353                                                    $display_data .= join($delimiter,@arr);
354                                            } else {
355                                                    $display_data .= $ldel if ($display_data);
356                                                    my $tmp = mkformat($x,$display);
357                                                    $display_data .= $tmp if ($tmp);
358                                          }                                          }
359                                  }                                  }
360                                                                                                    
361                                  # type="index" ; insert into index                                  # type="index" ; insert into index
362                                    my $idisplay;
363                                  if ($i && $display) {                                  if ($i && $display) {
364                                          my $index_data = $display;                                          $idisplay = $display;
365                                          if ($filter) {                                          if ($filter) {
366                                                  no strict 'refs';                                                  no strict 'refs';
367                                                  foreach my $d (&$filter($index_data)) {                                                  $idisplay = &$filter($idisplay);
368                                                          $index->insert($field, $d, $path);                                          }
369                                            push @index_data, $idisplay if ($idisplay && !$iterate_by_page);
370                                    }
371    
372                                    # store fields in lookup
373                                    if ($il && $display) {
374                                            if (lc($x->{type}) eq "lookup_key") {
375                                                    if ($lookup_key) {
376                                                            print STDERR "WARNING: try to redefine lookup_key (keys shouldn't be repeatable fields!)";
377                                                    } else {
378                                                            if ($filter) {
379                                                                    no strict 'refs';
380                                                                    $lookup_key = &$filter($display);
381                                                            } else {
382                                                                    $lookup_key = $display;
383                                                            }
384                                                    }
385                                            } elsif (lc($x->{type}) eq "lookup_val") {
386                                                    if ($lookup_key) {
387                                                            if ($filter) {
388                                                                    no strict 'refs';
389                                                                    $lhash{$lookup_key} = &$filter($display);
390                                                            } else {
391                                                                    $lhash{$lookup_key} = $display;
392                                                            }
393                                                    } else {
394                                                            print STDERR "WARNING: no lookup_key defined for  '$display'?";
395                                                  }                                                  }
396                                          } else {                                          }
397                                                  $index->insert($field, $index_data, $path);  
398                                    }
399    
400                                    # store data for page-by-page repeatable fields
401                                    if ($iterate_by_page) {
402                                            sub iterate_fld($$$$$$) {
403                                                    my ($cache,$what,$field,$page,$data,$append) = @_;
404                                                    return if (!$data);
405    
406                                                    my $ldel = $page_line_delimiter;
407                                                    $ldel = " " if ($append);
408    #print STDERR "line delimiter: ",Dumper($ldel) if ($ldel);
409                                                    if (! $cache->{$what}->{$field}->[$page]) {
410                                                            $cache->{$what}->{$field}->[$page] = $data;
411                                                    } else {
412                                                            $cache->{$what}->{$field}->[$page] .= $ldel.$data;
413                                                    }
414                                            }
415    
416                                            if ($display_data) {
417                                                    iterate_fld($cache,'display_data',$field,$page,$display_data,$x->{append});
418                                            }
419                                                    $display_data = "";
420                                            if ($swish_data) {
421                                                    iterate_fld($cache,'swish_data',$field,$page,$swish_data,$x->{append});
422                                                    $swish_data = "";
423                                            }
424                                            if ($swish_exact_data) {
425                                                    iterate_fld($cache,'swish_exact_data',$field,$page,$swish_exact_data,$x->{append});
426                                                    $swish_exact_data = "";
427                                            }
428    
429                                            if ($idisplay) {
430                                                    my $ldel=$page_line_delimiter;
431                                                    my @index_data;
432                                                    if ($cache->{index_data}->{$field}->[$page]) {
433    
434                                                            @index_data = @{$cache->{index_data}->{$field}->[$page]};
435                                                    }
436                                                    if ($x->{append}) {
437                                                            if (@index_data) {
438                                                                    $index_data[$#index_data] .= $idisplay;
439                                                            } else {
440                                                                    push @index_data, $idisplay;
441                                                            }
442                                                    } else {
443                                                            push @index_data, $idisplay;
444                                                    }
445                                                    $idisplay = "";
446                                                    @{$cache->{index_data}->{$field}->[$page]} = @index_data;
447                                          }                                          }
448                                  }                                  }
449                          }                          }
450    
451                            if (! $iterate_by_page) {
452                                    my $idel = $x->{index_delimiter};
453                                    # fill data in index
454                                    foreach my $tmp (@index_data) {
455                                            my $i = $d = $tmp;
456                                            if ($idel && $tmp =~ m/$idel/) {
457                                                    ($i,$d) = split(/$idel/,$tmp);
458                                            }
459                                            $index->insert($field, $i, $d, $path);
460                                    }
461                                    @index_data = ();
462                            }
463                  }                  }
464    
465                    # now try to parse variables from configuration file
466                    foreach my $x (@{$config->{indexer}->{$field}->{'config'}}) {
467    
468                  if ($display_data) {                          $x = unroll_x($x);
469    
470                          if ($field eq "headline") {                          my $delimiter = x($x->{delimiter}) || ' ';
471                                  $xml .= xmlify("headline", $display_data);                          my $val = $cfg->val($database, x($x->{content}));
                         } else {  
472    
473                                  # find field name (signular, plural)                          # FIXME index_lookup is not supported!
474                                  my $field_name = "";                          my ($s,$se,$d,$i,$il) = init_visible_type($x->{type});
475                                  if ($config->{indexer}->{$field}->{name_singular} && $field_usage{$field} == 1) {  
476                                          $field_name = $config->{indexer}->{$field}->{name_singular}."#-#";                          if ($val) {
477                                  } elsif ($config->{indexer}->{$field}->{name_plural}) {                                  $display_data .= $delimiter.$val if ($d);
478                                          $field_name = $config->{indexer}->{$field}->{name_plural}."#-#";                                  $swish_data .= " ".$val if ($s);
479                                  } elsif ($config->{indexer}->{$field}->{name}) {                                  $index->insert($field, $val, $path) if ($i);
480                                          $field_name = $config->{indexer}->{$field}->{name}."#-#";                          }
481                                  } else {  
482                                          print STDERR "WARNING: field '$field' doesn't have 'name' attribute!";                          if ($iterate_by_page) {
483                                    # FIXME data from config tag will appear just
484                                    # on first page!!!
485                                    my $page = 0;
486                                    if ($display_data) {
487                                            $cache->{display_data}->{$field}->[$page] = $display_data;
488                                            $display_data = "";
489                                    }
490                                    if ($swish_data) {
491                                            $cache->{swish_data}->{$field}->[$page] = $swish_data;
492                                            $swish_data = "";
493                                  }                                  }
494                                  if ($field_name) {                                  if ($swish_exact_data) {
495                                          $html .= x($field_name);                                          $cache->{swish_exact_data}->{$field}->[$page] = $swish_exact_data;
496                                            $swish_exact_data = "";
497                                  }                                  }
                                 $html .= $display_data."###\n";  
498                          }                          }
499                  }                  }
                 if ($swish_data) {  
                         # remove extra spaces  
                         $swish_data =~ s/ +/ /g;  
                         $swish_data =~ s/ +$//g;  
500    
501                          $xml .= xmlify($field."_swish", unac_string($codepage,$swish_data));                  # save data page-by-page
502                    foreach my $field (@page_fields) {
503                            my $nr_pages = $page_max{$field} || next;
504    #print STDERR "field '$field' iterate over ",($nr_pages || 0)," pages...\n";
505    #print STDERR Dumper($cache->{display_data});
506                            for (my $page=0; $page <= $nr_pages; $page++) {
507                                    my $display_data;
508                                    if ($cache->{format}->{$field}) {
509                                            my $tmp = mkformat($cache->{format}->{$field},$cache->{display_data}->{$field}->[$page]);
510                                            $display_data=$tmp if ($tmp);
511                                    } else {
512                                            $display_data = $cache->{display_data}->{$field}->[$page];
513                                    }
514                                    if ($display_data) { # default
515                                            if ($field eq "headline") {
516                                                    $xml .= xmlify("headline", $display_data);
517                                            } else {
518    
519                                                    # fallback to empty field name if needed
520                                                    $html .= get_field_name($config,$field,$field_usage{$field}) || '';
521                                                    $html .= "#-#".$display_data."###\n";
522                                            }
523                                    }
524                                    
525                                    my $swish_data = $cache->{swish_data}->{$field}->[$page];
526                                    if ($swish_data) {
527                                            # remove extra spaces
528                                            $swish_data =~ s/ +/ /g;
529                                            $swish_data =~ s/ +$//g;
530    
531                                            $xml .= xmlify($field."_swish", my_unac_string($codepage,$swish_data));
532                                    }
533    
534                                    my $swish_exact_data = $cache->{swish_exact_data}->{$field}->[$page];
535                                    if ($swish_exact_data) {
536                                            $swish_exact_data =~ s/ +/ /g;
537                                            $swish_exact_data =~ s/ +$//g;
538    
539                                            # add delimiters before and after word.
540                                            # That is required to produce exact match
541                                            $xml .= xmlify($field."_swish_exact", my_unac_string($codepage,$swish_exact_data));
542                                    }
543                                    
544                                    my $idel = $cache->{index_delimiter}->{$field};
545                                    foreach my $tmp (@{$cache->{index_data}->{$field}->[$page]}) {
546                                            my $i = $tmp;
547                                            my $d = $tmp;
548                                            if ($idel && $tmp =~ m/$idel/) {
549                                                    ($i,$d) = split(/$idel/,$tmp);
550                                            }
551                                            $index->insert($field, $i, $d, $path);
552    #print STDERR "index [$idel] $field: $i --> $d [$path]\n";
553                                    }
554                            }
555            
556                  }                  }
557                    
558                    if (! $iterate_by_page) {
559                            if ($display_data) {
560                                    if ($field eq "headline") {
561                                            $xml .= xmlify("headline", $display_data);
562                                    } else {
563    
564                                            # fallback to empty field name if needed
565                                            $html .= get_field_name($config,$field,$field_usage{$field}) || '';
566                                            $html .= "#-#".$display_data."###\n";
567                                    }
568                            }
569                            if ($swish_data) {
570                                    # remove extra spaces
571                                    $swish_data =~ s/ +/ /g;
572                                    $swish_data =~ s/ +$//g;
573    
574                                    $xml .= xmlify($field."_swish", my_unac_string($codepage,$swish_data));
575                            }
576    
577                            if ($swish_exact_data) {
578                                    $swish_exact_data =~ s/ +/ /g;
579                                    $swish_exact_data =~ s/ +$//g;
580    
581                                    # add delimiters before and after word.
582                                    # That is required to produce exact match
583                                    $xml .= xmlify($field."_swish_exact", my_unac_string($codepage,$swish_exact_data));
584                            }
585                    }
586          }          }
587    
588          # dump formatted output in <html>          # dump formatted output in <html>
589          if ($html) {          if ($html) {
590                  $xml .= xmlify("html",$html);                  #$xml .= xmlify("html",$html);
591                    $xml .= "<html><![CDATA[ $html ]]></html>";
592          }          }
593                    
594          if ($xml) {          if ($xml) {
# Line 211  sub isis2xml { Line 601  sub isis2xml {
601    
602  ##########################################################################  ##########################################################################
603    
604    # read configuration for this script
605  my $cfg = new Config::IniFiles( -file => $config_file );  my $cfg = new Config::IniFiles( -file => $config_file );
606    
607    # read global.conf configuration
608    my $cfg_global = new Config::IniFiles( -file => 'global.conf' );
609    
610  # open index  # open index
611  $index = new index_DBI(  $index = new index_DBI(
612                  $cfg->val('global', 'dbi_dbd'),                  $cfg_global->val('global', 'dbi_dbd'),
613                  $cfg->val('global', 'dbi_dsn'),                  $cfg_global->val('global', 'dbi_dsn'),
614                  $cfg->val('global', 'dbi_user'),                  $cfg_global->val('global', 'dbi_user'),
615                  $cfg->val('global', 'dbi_passwd') || '',                  $cfg_global->val('global', 'dbi_passwd') || '',
616          );          );
617    
618  # delete [global] section to leave just databases sections  my $show_progress = $cfg_global->val('global', 'show_progress');
619  $cfg->DeleteSection('global');  
620    my $my_unac_filter = $cfg_global->val('global', 'my_unac_filter');
621    if ($my_unac_filter) {
622            print STDERR "using $my_unac_filter to filter characters for search\n";
623            require $my_unac_filter;
624    } else {
625            print STDERR "### fallback to default my_unac_string!\n";
626            eval q{
627            sub main::my_unac_string($$) {
628                    my ($charset, $string) = (@_);
629                    return $string;
630            }
631            };
632    }
633    
634  foreach my $database ($cfg->Sections) {  foreach my $database ($cfg->Sections) {
635    
636          my $isis_db = $cfg -> val($database, 'isis_db') || die "$database doesn't have 'isis_db' defined!";          my $type = lc($cfg -> val($database, 'type')) || die "$database doesn't have 'type' defined";
         my $type = $cfg -> val($database, 'type') || die "$database doesn't have 'type' defined";  
637          my $add_xml = $cfg -> val($database, 'xml');    # optional          my $add_xml = $cfg -> val($database, 'xml');    # optional
638    
639          $config=XMLin("./import_xml/$type.xml", forcearray => [ 'isis' ], forcecontent => 1);          # create new lookup file
640            my $lookup_file = $cfg -> val($database, 'lookup_newfile'); # optional
641            if ($lookup_file) {
642                    #tie %lhash, 'GDBM_File', $lookup_file, &GDBM_NEWDB, 0644;
643                    if (! -e $lookup_file) {
644                            open(LOOKUP, "> $lookup_file") || die "can't create $lookup_file': $!";
645                            close(LOOKUP);
646                    }
647                    tie %lhash, 'TDB_File', $lookup_file, TDB_CLEAR_IF_FIRST, O_RDWR, 0644;
648                    print STDERR "creating lookup file '$lookup_file'\n";
649                    # delete memory cache for lookup file
650                    delete $cache->{lhash};
651            }
652    
653            # open existing lookup file
654            $lookup_file = $cfg -> val($database, 'lookup_open'); # optional
655            if ($lookup_file) {
656                    #tie %lhash, 'GDBM_File', $lookup_file, &GDBM_READER, 0644;
657                    tie %lhash, 'TDB_File', $lookup_file, TDB_DEFAULT, O_RDWR, 0644;
658                    print STDERR "opening lookup file '$lookup_file'\n";
659            }
660    
661    print STDERR "reading ./import_xml/$type.xml\n";
662    
663          $isis2cp = Text::Iconv->new($config->{isis_codepage},$codepage);          # extract just type basic
664            my $type_base = $type;
665            $type_base =~ s/_.+$//g;
666    
667            $config=XMLin("./import_xml/$type.xml", ForceArray => [ $type2tag{$type_base}, 'config', 'format' ], ForceContent => 1 );
668    
669            # helper for progress bar
670            sub fmt_time {
671                    my $t = shift || 0;
672                    my $out = "";
673    
674                    my ($ss,$mm,$hh) = gmtime($t);
675                    $out .= "${hh}h" if ($hh);
676                    $out .= sprintf("%02d:%02d", $mm,$ss);
677                    $out .= "  " if ($hh == 0);
678                    return $out;
679            }
680    
681          my $db = OpenIsis::open( $isis_db );          # output current progress indicator
682          if (0) {          my $last_p = 0;
683  #       # FIX          my $start_t = time();
684  #       if (! $db ) {          sub progress {
685                  print STDERR "WARNING: can't open '$isis_db'\n";                  return if (! $show_progress);
686                  next ;                  my $current = shift;
687                    my $total = shift || 1;
688                    my $p = int($current * 100 / $total);
689                    if ($p < $last_p || $current == 1) {
690                            $start_t = time();
691                            $last_p = 0;
692                    } elsif ($p != $last_p) {
693                            my $rate = ($current / (time() - $start_t || 1));
694                            my $eta = ($total-$current) / ($rate || 1);
695                            printf STDERR ("%5d [%-38s] %-5d %0.1f/s %s\r",$current,"=" x ($p/3)."$p%>", $total, $rate, fmt_time($eta));
696                            $last_p = $p;
697                    }
698          }          }
699    
700          my $max_rowid = OpenIsis::maxRowid( $db );          my $fake_dir = 1;
701            my $fake_pos = 0;
702            my $last_fake_t = time();
703            sub fakeprogress {
704                    return if (! $show_progress);
705                    my $current = shift @_;
706    
707                    my @ind = ('-','\\','|','/','-','\\','|','/');
708    
709                    if ($current < $fake_pos) {
710                            $start_t = time();
711                            $last_fake_t = 0;
712                            $fake_dir = 1;
713                            $fake_pos = 0;
714                    }
715    
716          print STDERR "Reading database: $isis_db [$max_rowid rows]\n";                  if (time()-$last_fake_t >= 1) {
717                            $last_fake_t = time();
718                            $fake_pos += $fake_dir;
719                            $fake_dir = -$fake_dir if ($fake_pos > 38);
720                    }
721    
722          my $path = $database;                   # was $isis_db                  if ($current % 10 == 0) {
723                            my $rate = ($current / (time() - $start_t || 1));
724                            printf STDERR ("%5d [%-38s] %0.1f/s\r",$current, " " x $fake_pos .$ind[($current / 10) % 8], $rate);
725                    }
726            }
727    
728          my $last_p = 0;          # now read database
729    print STDERR "using: $type...\n";
730    
731            # erase cache for tags by order in this database
732            delete $cache->{tags_by_order};
733    
734            if ($type_base eq "isis") {
735    
736  #       { my $row_id = 4514;                  my $isis_db = $cfg -> val($database, 'isis_db') || die "$database doesn't have 'isis_db' defined!";
737  # FIX  
738          for (my $row_id = 1; $row_id <= $max_rowid; $row_id++ ) {                  $import2cp = Text::Iconv->new($config->{isis_codepage},$codepage);
739                  my $row = OpenIsis::read( $db, $row_id );                  my $db = new Biblio::Isis( isisdb => $isis_db );
740                  if ($row && $row->{mfn}) {  
741                          # output current process indicator                  my $max_rowid = $db->count || die "can't find maxmfn";
742                          my $p = int($row->{mfn} * 100 / $max_rowid);  $max_rowid = 200; # XXX
743                          if ($p != $last_p) {  
744                                  printf STDERR ("%5d / %5d [%-51s] %-2d %% \r",$row->{mfn},$max_rowid,"=" x ($p/2).">", $p ) if (! $opts{q});                  print STDERR "Reading database: $isis_db [$max_rowid rows]\n";
745                                  $last_p = $p;  
746                    $path = $database;
747    
748                    for (my $row_id = 1; $row_id <= $max_rowid; $row_id++ ) {
749                            my $row = $db->to_hash( $row_id );
750                            if ($row) {
751    
752                                    $row->{mfn} = $row_id;
753                                    $row->{record} = $db->{record};
754    
755                                    progress($row->{mfn}, $max_rowid);
756    
757                                    my $swishpath = $path."#".int($row->{mfn});
758    
759                                    if (my $xml = data2xml($type_base,$row,$add_xml,$cfg,$database)) {
760                                            $xml = $cp2utf->convert($xml);
761                                            use bytes;      # as opposed to chars
762                                            print "Path-Name: $swishpath\n";
763                                            print "Content-Length: ".(length($xml)+1)."\n";
764                                            print "Document-Type: XML\n\n$xml\n";
765                                    }
766                          }                          }
767                    }
768                    print STDERR "\n";
769    
770                          my $swishpath = $path."#".int($row->{mfn});          } elsif ($type_base eq "excel") {
771                    require Spreadsheet::ParseExcel;
772                    require Spreadsheet::ParseExcel::Utility;
773                    import Spreadsheet::ParseExcel::Utility qw(int2col);
774                    
775                    $import2cp = Text::Iconv->new($config->{excel_codepage},$codepage);
776                    my $excel_file = $cfg -> val($database, 'excel_file') || die "$database doesn't have 'excel_file' defined!";
777    
778                    my $sheet = x($config->{sheet}) || die "no sheet in $type.xml";
779                    my $start_row = x($config->{start_row}) - 1 || die "no start_row in $type.xml";
780    
781                    my $oBook = Spreadsheet::ParseExcel::Workbook->Parse($excel_file) || die "can't open Excel file '$excel_file'";
782    
783                    my $sheet_nr = 0;
784                    foreach my $oWks (@{$oBook->{Worksheet}}) {
785                            #print STDERR "-- SHEET $sheet_nr:", $oWks->{Name}, "\n";
786                            last if ($oWks->{Name} eq $sheet);
787                            $sheet_nr++;
788                    }
789    
790                    my $oWorksheet = $oBook->{Worksheet}[$sheet_nr];
791            
792                    print STDERR "using sheet: ",$oWorksheet->{Name},"\n";
793                    defined ($oWorksheet) || die "can't find sheet '$sheet' in $excel_file";
794                    my $end_row = x($config->{end_row}) || $oWorksheet->{MaxRow};
795    
796                    for(my $iR = $start_row ; defined $end_row && $iR <= $end_row ; $iR++) {
797                            my $row;
798                            for(my $iC = $oWorksheet->{MinCol} ; defined $oWorksheet->{MaxCol} && $iC <= $oWorksheet->{MaxCol} ; $iC++) {
799                                    my $cell = $oWorksheet->{Cells}[$iR][$iC];
800                                    if ($cell) {
801                                            # this conversion is a cludge.
802                                            # Files from Excell could have
803                                            # characters which don't fit into
804                                            # destination encoding.
805                                            $row->{int2col($iC)} = $utf2cp->convert($cell->Value) || $cell->Value;
806                                    }
807                            }
808    
809                            progress($iR, $end_row);
810    
811                          if (my $xml = isis2xml($row,$add_xml)) {  #                       print "row[$iR/$end_row] ";
812    #                       foreach (keys %{$row}) {
813    #                               print "$_: ",$row->{$_},"\t";
814    #                       }
815    #                       print "\n";
816    
817                            my $swishpath = $database."#".$iR;
818    
819                            next if (! $row);
820    
821                            if (my $xml = data2xml($type_base,$row,$add_xml,$cfg,$database)) {
822                                  $xml = $cp2utf->convert($xml);                                  $xml = $cp2utf->convert($xml);
823                                  use bytes;      # as opposed to chars                                  use bytes;      # as opposed to chars
824                                  print "Path-Name: $swishpath\n";                                  print "Path-Name: $swishpath\n";
# Line 272  foreach my $database ($cfg->Sections) { Line 826  foreach my $database ($cfg->Sections) {
826                                  print "Document-Type: XML\n\n$xml\n";                                  print "Document-Type: XML\n\n$xml\n";
827                          }                          }
828                  }                  }
829            } elsif ($type_base eq "marc") {
830    
831                    require MARC::File::USMARC;
832                    
833                    $import2cp = Text::Iconv->new($config->{marc_codepage},$codepage);
834                    my $marc_file = $cfg -> val($database, 'marc_file') || die "$database doesn't have 'marc_file' defined!";
835    
836                    # optional argument is format
837                    warn "marc_format is no longer used!" if ($config->{marc_format});
838                    print STDERR "Reading MARC file '$marc_file'\n";
839    
840                    my $marc = MARC::File::USMARC->in( $marc_file )
841                            || die "Can't open MARC file '$marc_file': ".$MARC::File::ERROR;
842    
843                    # count records in MARC file
844                    sub marc_count {
845                            my $filename = shift || die;
846                            my $file = MARC::File::USMARC->in($filename) || die $MARC::File::ERROR;
847                            my $count = 0;
848                            while ($file->skip()) {
849                                    $count++;
850                            }
851                            return $count;
852                    }
853    
854                    my $count = marc_count($marc_file) || warn "no records in '$marc_file'?";
855    
856                    my $i = 0;
857    
858                    while( my $rec = $marc->next() ) {
859    
860                            progress($i++,$count);
861    
862                            my $swishpath = $database."#".$i;
863    
864                            if (my $xml = data2xml($type_base,$rec,$add_xml,$cfg,$database)) {
865                                    $xml = $cp2utf->convert($xml);
866                                    use bytes;      # as opposed to chars
867                                    print "Path-Name: $swishpath\n";
868                                    print "Content-Length: ".(length($xml)+1)."\n";
869                                    print "Document-Type: XML\n\n$xml\n";
870                            }
871                    }
872    
873                    print STDERR "\n";
874    
875            } elsif ($type_base eq "feed") {
876    
877                    $import2cp = Text::Iconv->new($config->{feed_codepage},$codepage);
878                    my $prog = x($config->{prog}) || die "$database doesn't have 'prog' defined!";
879    
880                    print STDERR "Reading feed from program '$prog'\n";
881    
882                    open(FEED,"feeds/$prog |") || die "can't start $prog: $!";
883    
884                    my $i=1;        # record nr.
885    
886                    my $data;
887                    my $line=1;
888    
889                    while (<FEED>) {
890                            chomp;
891    
892                            if (/^$/) {
893                                    my $swishpath = $database."#".$i++;
894    
895                                    if (my $xml = data2xml($type_base,$data,$add_xml,$cfg,$database)) {
896                                            $xml = $cp2utf->convert($xml);
897                                            use bytes;      # as opposed to chars
898                                            print "Path-Name: $swishpath\n";
899                                            print "Content-Length: ".(length($xml)+1)."\n";
900                                            print "Document-Type: XML\n\n$xml\n";
901                                    }
902                                    $line = 1;
903                                    $data = {};
904                                    next;
905                            }
906    
907                            $line = $1 if (s/^(\d+):\s*//);
908                            $data->{$line++} = $_;
909    
910                            fakeprogress($i);
911    
912                    }
913                    # close lookup
914                    untie %lhash if (%lhash);
915          }          }
         print STDERR "\n";  
916  }  }
917    
918  # call this to commit index  # call this to commit index
# Line 285  __END__ Line 924  __END__
924    
925  =head1 NAME  =head1 NAME
926    
927  isis2xml.pl - read isis file and dump XML  all2xml.pl - read various file formats and dump XML for SWISH-E
928    
929    =head1 SYNOPSYS
930    
931     $ all2xml.pl [test.conf]
932    
933  =head1 DESCRIPTION  =head1 DESCRIPTION
934    
935  This command will read ISIS data file using OpenIsis perl module and  This command will read ISIS data file using IsisDB perl module, MARC
936  create XML file for usage with I<SWISH-E>  records using MARC module and optionally Micro$oft Excel files to
937  indexer. Dispite it's name, this script B<isn't general xml generator>  create one XML file for usage with I<SWISH-E> indexer. Dispite it's name,
938  from isis files (isis allready has something like that). Output of this  this script B<isn't general xml generator> from isis files (isis allready
939  script is tailor-made for SWISH-E.  has something like that). Output of this script is tailor-made for SWISH-E.
940    
941    If no configuration file is specified, it will use default one called
942    C<all2xml.conf>.
943    
944    =head1 BUGS
945    
946    Documentation is really lacking. However, in true Open Source spirit, source
947    is best documentation. I even made considerable effort to comment parts
948    which are not intuitively clear, so...
949    
950  =head1 AUTHOR  =head1 AUTHOR
951    

Legend:
Removed from v.50  
changed lines
  Added in v.643

  ViewVC Help
Powered by ViewVC 1.1.26