/[webpac-proto]/isis2stream.pl
This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!
ViewVC logotype

Diff of /isis2stream.pl

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 1.5 by dpavlin, Sun Jun 16 15:45:44 2002 UTC revision 1.10 by dpavlin, Mon Jun 24 13:46:53 2002 UTC
# Line 3  Line 3 
3  use strict;  use strict;
4  use OpenIsis;  use OpenIsis;
5  use Getopt::Std;  use Getopt::Std;
6  #use Data::Dumper;  use Data::Dumper;
7  use common;  use common;
8    
9  my %opts;  my %opts;
# Line 28  open(MPS,"| $common::mpsindex -d $common Line 28  open(MPS,"| $common::mpsindex -d $common
28  print S $common::mps_header;  print S $common::mps_header;
29  print MPS $common::mps_header;  print MPS $common::mps_header;
30    
31    #--------------------------------------------------------------------
32    # init array in_mps_header for config checks later
33    
34    my %in_mps_header;
35    foreach (split(/\n/,$common::mps_header)) {
36            if (/^F /) {
37                    my (undef,$isis,$mps,undef) = split(/ /,$_,4);
38                    $in_mps_header{$mps}=$isis;
39            }
40    }
41    require "./search/config.pm";
42    
43    #--------------------------------------------------------------------
44    # read database configuration, store database names
45    open(CF,$common::database_cf) || die "$common::database_cf: $!";
46    my %DatabaseDescriptions;
47    while(<CF>) {
48            chomp;
49            if (/^database-name:([^=]+)=(.*)$/) {
50                    my ($db_name,$db_desc) = ($1,$2);
51                    $db_desc=~s/^##\w+##//g;
52                    $DatabaseDescriptions{$db_name}=$db_desc;
53            }
54    }
55    close(CF);
56    
57    #--------------------------------------------------------------------
58  #  #
59  # expand(nr,"space separated string");  # expand(nr,"space separated string");
60  #  #
61    
62  sub expand {  sub expand {
63          my $nr = shift @_;          my $nr = shift @_;
64            die "$nr is not in mps_header" if (!$in_mps_header{$nr});
65          my $out = "";          my $out = "";
66          while (my $fld = c_852_iso(shift @_)) {          while (my $fld = c_852_iso(shift @_)) {
67                  my @words=split(/\s+/,$fld);                  my @words=split(/\s+/,$fld);
# Line 50  sub expand { Line 78  sub expand {
78    
79  #--------------------------------------------------------------------  #--------------------------------------------------------------------
80    
 ################### ERASE###############3  
   
 # expand sub-fileds from ISIS field  
 # (^a.....^b....)  
 my %data;       # FIX  
 sub ex_sf {  
         %data = ();  
         my $in = $_[0];  
         if (my $tmp = $in) {  
 #               $tmp =~ tr/џ/ƾ/; # ISIS -> iso-8859-2  
                 $tmp =~ tr//ܫꔼȺ̪㍐슂ٝ/;  
                 if ($in =~ m/^\^/) {  
                         my @sub = split(/\^/,$in);  
                         foreach my $fld (@sub) {  
                                 $data{$1} = $2 if ($fld =~ m/^(\w+)(.+)$/)  
                         }  
                 } else {  
                         $data{all} = $in."<-- iz polja bez podpolja";  
                 }  
         }  
 }  
   
 # dump all sub-fields  
 sub all_sf {  
         my $nr = shift @_;  
         my $out="";  
         foreach my $k (sort keys %data) {  
                 $out.=expand($nr,$data{$k});  
         }  
         return $out;  
 }  
   
 sub all_sf_r {  
         my $nr = shift @_;  
         my $out="";  
         foreach my $k (sort {$b cmp $a} keys %data) {  
                 $out.=expand($nr,$data{$k});  
         }  
         return $out;  
 }  
   
 sub all_sf2bib {  
         my $nr = shift @_;  
         my $max_in_line=shift @_ || 0;  
         my $sep = shift @_ || ' ';  
         my $out;  
         my $i=0;  
         my $bib = "";  
         foreach my $k (sort keys %data) {  
                 if ($out) {  
                         $out.= $sep.$data{$k};  
                 } else {  
                         $out = $data{$k};  
                 }  
                 $i++;  
                 if ($i == $max_in_line) {  
                         $bib .= $nr." ".$out."\n" if ($out);  
                         $i=0;  
                         $out="";  
                 }  
         }  
         $bib .= $nr." ".$out."\n" if ($out);  
         return $bib;  
 }  
   
 sub all_sf2bib_r {  
         my $nr = shift @_;  
         my $max_in_line=shift @_ || 0;  
         my $sep = shift @_ || ' ';  
         my $out;  
         my $i=0;  
         my $bib = "";  
         foreach my $k (sort {$b cmp $a} keys %data) {  
                 if ($out) {  
                         $out.= $sep.$data{$k};  
                 } else {  
                         $out = $data{$k};  
                 }  
                 $i++;  
                 if ($i == $max_in_line) {  
                         $bib .= $nr." ".$out."\n" if ($out);  
                         $i=0;  
                         $out="";  
                 }  
         }  
         $bib .= $nr." ".$out."\n" if ($out);  
         return $bib;  
 }  
   
 #--------------------------------------------------------------------  
   
81  sub c_852_iso {  sub c_852_iso {
82          my $tmp = $_[0];          my $tmp = $_[0];
83          $tmp =~ tr//ܫꔼȺ̪㍐슂ٝ/ if ($tmp);          $tmp =~ tr//ܫꔼȺ̪㍐슂ٝ/ if ($tmp);
# Line 157  sub c_852_czs { Line 94  sub c_852_czs {
94    
95  #--------------------------------------------------------------------  #--------------------------------------------------------------------
96    
97  # $mps .= sf_to_mps($subfiled_hash,"subfields",mps_id);  # $mps .= sf_to_mps("subfields",$subfiled_hash)
98  #  #
99  # subfields options:  # subfields options:
100  #       * - all (no sort)  #       * - all (no sort)
# Line 188  sub subfields_str_2_arr { Line 125  sub subfields_str_2_arr {
125    
126  sub sf_to_mps {  sub sf_to_mps {
127          my ($sf_hash,$subfields,$mps_id) = @_;          my ($sf_hash,$subfields,$mps_id) = @_;
128            die "$mps_id is not in mps_header" if (!$in_mps_header{$mps_id});
129          my $out="";          my $out="";
130          my @sf_arr = subfields_str_2_arr($subfields,$sf_hash);          my @sf_arr = subfields_str_2_arr($subfields,$sf_hash);
131    
# Line 207  sub isis_to_mps { Line 145  sub isis_to_mps {
145          my $mps_id = shift @_ || die;          my $mps_id = shift @_ || die;
146          my $subfields = shift @_;          my $subfields = shift @_;
147    
148            die "$mps_id is not in mps_header" if (!$in_mps_header{$mps_id});
149    
150          my $i=0;          my $i=0;
151          my $out = "";          my $out = "";
152    
# Line 250  sub isis_to_bib { Line 190  sub isis_to_bib {
190          my $group_sort = shift @_ || '';          my $group_sort = shift @_ || '';
191          my $sep = shift @_ || ' ';          my $sep = shift @_ || ' ';
192    
193            my $fld = $bib_id; $fld =~ s/^%//;
194            die "$fld is not in FieldNames" if (!$default::FieldNames{$fld});
195    
196          my $i=0;          my $i=0;
197    
198          my $bib="";          my $bib="";
# Line 307  sub isis_to_bib { Line 250  sub isis_to_bib {
250  sub isis_sf {  sub isis_sf {
251          my $row = shift @_;          my $row = shift @_;
252          my $isis_id = shift @_;          my $isis_id = shift @_;
253          my $subfield = shift @_ || 'a';          my $subfield = shift @_;
254          my $prefix = shift @_ || '';          my $prefix = shift @_ || '';
255          my $postfix = shift @_ || '';          my $postfix = shift @_ || '';
256    
# Line 315  sub isis_sf { Line 258  sub isis_sf {
258    
259          if ($row->{$isis_id}->[0]) {          if ($row->{$isis_id}->[0]) {
260                  my $sf = OpenIsis::subfields($row->{$isis_id}->[0]);                  my $sf = OpenIsis::subfields($row->{$isis_id}->[0]);
261                  if (length($subfield) == 1) {                  if (! defined $subfield || length($subfield) == 0) {
262                            # subfield list undef, empty or no defined subfields for this record
263                            return $prefix . $row->{$isis_id}->[0] . $postfix;
264                    } elsif (length($subfield) == 1) {
265                          if ($sf->{$subfield}) {                          if ($sf->{$subfield}) {
266                                  return $prefix . $sf->{$subfield} . $postfix;                                  return $prefix . $sf->{$subfield} . $postfix;
267                          } else {                          } else {
# Line 339  sub isis_sf { Line 285  sub isis_sf {
285  }  }
286    
287  #--------------------------------------------------------------------  #--------------------------------------------------------------------
 #--------------------------------------------------------------------  
   
288    
289  my $last_tell=0;  my $last_tell=0;
290    
291  my @isis_dbs = ( '.' ); # use dirname as database name  my @isis_dirs = ( '.' );        # use dirname as database name
292    
293  if ($opts{m}) {  if ($opts{m}) {
294          @isis_dbs = split(/,/,$opts{m});          @isis_dirs = split(/,/,$opts{m});
295  }  }
296    
297  foreach my $db_name (@isis_dbs) {  my @isis_dbs;
298    
299    print MPS "M reading ISIS from $db_dir/$db_name/LIBRI...\n";  foreach (@isis_dirs) {
300            if (-e "$common::isis_data/$db_dir/$_/LIBRI") {
301                    push @isis_dbs,"$common::isis_data/$db_dir/$_/LIBRI/LIBRI";
302            }
303            if (-e "$common::isis_data/$db_dir/$_/PERI") {
304                    push @isis_dbs,"$common::isis_data/$db_dir/$_/PERI/PERI";
305            }
306    }
307    
308    foreach my $isis_db (@isis_dbs) {
309    
310    my $db = OpenIsis::open( "$common::isis_data/$db_dir/$db_name/LIBRI/LIBRI" );    print MPS "M reading ISIS from '$isis_db'...\n";
311    
312      my $db = OpenIsis::open( "$isis_db" );
313    
314    my $max_rowid = OpenIsis::maxRowid( $db );    my $max_rowid = OpenIsis::maxRowid( $db );
315    
# Line 365  foreach my $db_name (@isis_dbs) { Line 320  foreach my $db_name (@isis_dbs) {
320          if (my $tmp = $row->{'200'}->[0]) {          if (my $tmp = $row->{'200'}->[0]) {
321    
322                  my $bib = "%MFN $row->{mfn}\n";                  my $bib = "%MFN $row->{mfn}\n";
323                  my $mps;                  my $mps = "W $row->{mfn} 14\n";
324    
325                  my $pcnt = int($row->{mfn} * 100 / $max_rowid);                  my $pcnt = int($row->{mfn} * 100 / $max_rowid);
326                  if ($pcnt != $last_pcnt) {                  if ($pcnt != $last_pcnt) {
# Line 374  foreach my $db_name (@isis_dbs) { Line 329  foreach my $db_name (@isis_dbs) {
329                  }                  }
330    
331                  my $headline;                  my $headline;
332                  $headline .= isis_sf($row,'200','a',"'");                  $headline .= isis_sf($row,'200','a');
333                  $headline .= isis_sf($row,'200','e'," : ","'");                  $headline .= isis_sf($row,'200','e'," : ");
334                    $headline .= isis_sf($row,'200','f'," / ");
335                    $headline .= isis_sf($row,'210','d'," , ");
336    
337                  # author                  # author
338                  $bib .= isis_to_bib($row,'700','%700+','*',2,'<');                  $bib .= isis_to_bib($row,'700','%700+','*',2,'<');
# Line 390  foreach my $db_name (@isis_dbs) { Line 347  foreach my $db_name (@isis_dbs) {
347                  $mps .= isis_to_mps($row,'711',1);                  $mps .= isis_to_mps($row,'711',1);
348                  $mps .= isis_to_mps($row,'503',1);                  $mps .= isis_to_mps($row,'503',1);
349                  $mps .= isis_to_mps($row,'702',1);                  $mps .= isis_to_mps($row,'702',1);
350                    $mps .= isis_to_mps($row,'200',1,"fg");
351    
352                  $bib .= isis_to_bib($row,'205','%205');                  $bib .= isis_to_bib($row,'205','%205');
353    
# Line 405  foreach my $db_name (@isis_dbs) { Line 363  foreach my $db_name (@isis_dbs) {
363                  $book .= ". ".$sf->{c} if ($sf->{c});                  $book .= ". ".$sf->{c} if ($sf->{c});
364                  $book .= " / ".$sf->{x} if ($sf->{x});                  $book .= " / ".$sf->{x} if ($sf->{x});
365                  $book .= " ; ".$sf->{y} if ($sf->{y});                  $book .= " ; ".$sf->{y} if ($sf->{y});
366                  $bib .= "%200 $book\n" if ($book);                  $bib .= "%200+ $book\n" if ($book);
367    
368                  $mps .= isis_to_mps($row,'200',2,"akcde");                  $mps .= isis_to_mps($row,'200',2,"akcde");
369                  $mps .= isis_to_mps($row,'532',2);                  $mps .= isis_to_mps($row,'532',2);
370                  $mps .= isis_to_mps($row,'424',2);                  $mps .= isis_to_mps($row,'424',2);
371    
372                  $headline .= isis_sf($row,'700','b'," ");                  $mps .= isis_to_mps($row,'230',2,"ae");
373                  $headline .= isis_sf($row,'700','a'," ");                  $mps .= isis_to_mps($row,'231',2,"ae");
374                    $mps .= isis_to_mps($row,'232',2,"ae");
375                    $mps .= isis_to_mps($row,'233',2,"ae");
376    
377    
378                    my $tmp;
379                    $tmp =  isis_sf($row,'230','v').
380                            isis_sf($row,'230','a',' : ').
381                            isis_sf($row,'250',undef,'. - ').
382                            isis_sf($row,'260',undef,'. - ').
383                            isis_sf($row,'290',undef,'<br>ISBN ');
384                    $bib .= "%sv $tmp\n" if ($tmp);
385            
386                    $tmp =  isis_sf($row,'231','v','<br>').
387                            isis_sf($row,'231','a',' : ').
388                            isis_sf($row,'251',undef,'. - ').
389                            isis_sf($row,'261',undef,'. - ').
390                            isis_sf($row,'291',undef,'<br>ISBN ');
391                    $bib .= "%sv $tmp\n" if ($tmp);
392                    
393                    $tmp =  isis_sf($row,'232','v','<br>').
394                            isis_sf($row,'232','a',' : ').
395                            isis_sf($row,'252',undef,'. - ').
396                            isis_sf($row,'262',undef,'. - ').
397                            isis_sf($row,'292',undef,'<br>ISBN ');
398                    $bib .= "%sv $tmp\n" if ($tmp);
399    
400                    $tmp =  isis_sf($row,'233','v','<br>').
401                            isis_sf($row,'233','a',' : ').
402                            isis_sf($row,'253',undef,'. - ').
403                            isis_sf($row,'263',undef,'. - ').
404                            isis_sf($row,'293',undef,'<br>ISBN ');
405    
406                    $mps .= isis_to_mps($row,'270',2);
407                    $mps .= isis_to_mps($row,'271',2);
408                    $mps .= isis_to_mps($row,'272',2);
409                    $mps .= isis_to_mps($row,'273',2);
410    
411                  # izdavac                  # izdavac
412                  $mps .= isis_to_mps($row,'210',3);                  $mps .= isis_to_mps($row,'210',3);
413                    $mps .= isis_to_mps($row,'250',3);
414                    $mps .= isis_to_mps($row,'251',3);
415                    $mps .= isis_to_mps($row,'252',3);
416                    $mps .= isis_to_mps($row,'253',3);
417  #               if (my $sf = OpenIsis::subfields($row->{'210'}->[0])) {  #               if (my $sf = OpenIsis::subfields($row->{'210'}->[0])) {
418  #                       my $tmp;  #                       my $tmp;
419  #                       $tmp .= $sf->{a} if ($sf->{a});  #                       $tmp .= $sf->{a} if ($sf->{a});
# Line 423  foreach my $db_name (@isis_dbs) { Line 421  foreach my $db_name (@isis_dbs) {
421  #                       $tmp .= ", ".$sf->{d} if ($sf->{d});  #                       $tmp .= ", ".$sf->{d} if ($sf->{d});
422  #                       $bib .= "%210 $tmp\n" if ($tmp);  #                       $bib .= "%210 $tmp\n" if ($tmp);
423  #               }  #               }
424                  $bib .= "%210 ".isis_sf($row,'210','acd', '','', ('',' : ',', ') )."\n";                  $bib .= "%210+ ".isis_sf($row,'210','acd', '','', ('',' : ',', ') )."\n";
425    
426                  if (my $year = isis_sf($row,'210','d')) {                  if (my $year = isis_sf($row,'210','d')) {
427                          $year =~ s/^\s*cop\.*\s*//i;                          $year =~ s/^\s*cop\.*\s*//i;
428                          $year =~ s/[\[\]]*//g;                          $year =~ s/[\[\]]*//g;
429                          $mps .= "D ${year}\n" if ($year !~ m/\?/ && $year =~ /\d{4}/);                          $mps .= "D ${year}\n" if ($year !~ m/\?/ && $year =~ /\d{4}/);
                         $headline .= " ($year)";  
430                  }                  }
431    
432                  $bib .= isis_to_bib($row,'215','%215', '*', undef, undef, ', ');                  $mps .= isis_to_mps($row,'215',15);
433                    $mps .= isis_to_mps($row,'260',15);
434                    $mps .= isis_to_mps($row,'261',15);
435                    $mps .= isis_to_mps($row,'262',15);
436                    $mps .= isis_to_mps($row,'263',15);
437                    $bib .= isis_to_bib($row,'215','%215+', '*', undef, undef, ', ');
438    
439  #               $bib .= isis_to_bib($row,'225','%225', 'aehivw');  #               $bib .= isis_to_bib($row,'225','%225', 'aehivw');
440                  $bib .= "%225 ".isis_sf($row,'225','aevhiw', '(',')', ('',' : ',' ; ','. ',', ',' ; '))."\n";                  $bib .= "%225 ".isis_sf($row,'225','aevhiw', '(',')', ('',' : ',' ; ','. ',', ',' ; '))."\n";
# Line 444  foreach my $db_name (@isis_dbs) { Line 446  foreach my $db_name (@isis_dbs) {
446                  $mps .= isis_to_mps($row,'300',5);                  $mps .= isis_to_mps($row,'300',5);
447                  $mps .= isis_to_mps($row,'320',5);                  $mps .= isis_to_mps($row,'320',5);
448                  $mps .= isis_to_mps($row,'327',5);                  $mps .= isis_to_mps($row,'327',5);
449                    $mps .= isis_to_mps($row,'280',5);
450                    $mps .= isis_to_mps($row,'281',5);
451                    $mps .= isis_to_mps($row,'282',5);
452                    $mps .= isis_to_mps($row,'283',5);
453    
454                  $bib .= isis_to_bib($row,'330','%330');                  $bib .= isis_to_bib($row,'330','%330');
455                  $mps .= isis_to_mps($row,'330',6);                  $mps .= isis_to_mps($row,'330',6);
# Line 465  foreach my $db_name (@isis_dbs) { Line 471  foreach my $db_name (@isis_dbs) {
471                  $bib .= isis_to_bib($row,'991','%991');                  $bib .= isis_to_bib($row,'991','%991');
472                  $mps .= isis_to_mps($row,'991',12);                  $mps .= isis_to_mps($row,'991',12);
473    
474                  # ISBN                  sub isis_isn_to_mps {
475                  if (my $isbn = $row->{10}->[0]) {                          my $row = shift @_ || die;
476                          $isbn =~ s/ +//g;       # remove spaces                          my $isis_id = shift @_ || die;
477                          $mps .= "W $isbn 13\n";                          my $nr = shift @_ || die;
478                          $bib .= "%ISBN $isbn\n";                          my $i=0;
479                          $isbn =~ s/-//g;                          my $mps='';
480                          $mps .= "W $isbn 13\n";                          while (my $isn=$row->{$isis_id}->[$i]) {
481                                    $isn =~ s/ +//g;        # remove spaces
482                                    $mps .= "W $isn $nr\n";
483                                    if ($isn =~ s/-//g) {
484                                            $mps .= "W $isn $nr\n";
485                                    }
486                                    $i++;
487                            }
488                            return $mps;
489                  }                  }
490                  $mps .= isis_to_mps($row,'10',12);  
491                    # ISBN
492                    $bib .= isis_to_bib($row,'10','%ISBN');
493                    $mps .= isis_isn_to_mps($row,'10',13);
494                    $mps .= isis_isn_to_mps($row,'290',13);
495                    $mps .= isis_isn_to_mps($row,'291',13);
496                    $mps .= isis_isn_to_mps($row,'292',13);
497                    $mps .= isis_isn_to_mps($row,'293',13);
498    
499                    # ISSN
500                    #store_isn($row->{11}->[0],14,'%ISSN');
501    
502                  $mps .= isis_to_mps($row,'532',1);                  $mps .= isis_to_mps($row,'532',1);
503    
# Line 481  foreach my $db_name (@isis_dbs) { Line 505  foreach my $db_name (@isis_dbs) {
505    
506                  # headline                  # headline
507                  if ($headline) {                  if ($headline) {
508                          $headline .= " [".$row->{mfn}."]";      ## debug MFN!                          $headline .= " <i>(".$DatabaseDescriptions{$db_dir}.", ".$row->{mfn}.")</i>";   ## debug MFN!
509                            $headline =~ s/&/&and;/g;
510                            $headline =~ s/</&lt;/g;
511                            $headline =~ s/>/&gt;/g;
512                            $headline =~ s/&lt;(\/?[bi])&gt;/<$1>/g;
513                          $mps .= "H ".c_852_iso($headline)."\n";                          $mps .= "H ".c_852_iso($headline)."\n";
514                  } else {                  } else {
515                          $mps .= "H nepoznato\n";                          $mps .= "H nepoznato\n";
# Line 497  foreach my $db_name (@isis_dbs) { Line 525  foreach my $db_name (@isis_dbs) {
525    
526                  print R c_852_iso($bib);                  print R c_852_iso($bib);
527    
528                    # check if all fields are defined
529                    foreach (split(/\n/,$bib)) {
530                            if (/^%(\w+)\s/ && !$default::FieldNames{$1}) {
531                                    die "field $1 used but not in FieldNames";
532                            }
533                    }
534    
535    #               print R "%perl ".Dumper($row)."\n";
536    
537                  $mps .= "T document text/plain ".(tell(R) - $last_tell)." $dir/bib $last_tell ".tell(R)."\n";                  $mps .= "T document text/plain ".(tell(R) - $last_tell)." $dir/bib $last_tell ".tell(R)."\n";
538                  $last_tell=tell(R);                  $last_tell=tell(R);
539    

Legend:
Removed from v.1.5  
changed lines
  Added in v.1.10

  ViewVC Help
Powered by ViewVC 1.1.26