/[webpac]/trunk2/all2all.pl
This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!
ViewVC logotype

Diff of /trunk2/all2all.pl

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 366 by dpavlin, Thu Jun 17 01:44:25 2004 UTC revision 433 by dpavlin, Mon Sep 13 12:13:04 2004 UTC
# Line 12  use Carp; Line 12  use Carp;
12    
13  use lib './lib';  use lib './lib';
14  use WebPAC;  use WebPAC;
15    use WebPAC::jsFind;
16    use WebPAC::Index;
17    
18  my $webpac = new WebPAC(  my $webpac = new WebPAC(
19          code_page => 'ISO-8859-2',          code_page => 'ISO-8859-2',
20          limit_mfn => 5,          limit_mfn => 500,
21          debug => 1,          start_mfn => 6000,
22    #       debug => 1,
23    #       low_mem => 1,
24  ) || die;  ) || die;
25    
26    my $log = $webpac->_get_logger() || die "can't get logger";
27    
28    $log->debug("creating WebPAC::jsFind object");
29    
30    my $index = new WebPAC::jsFind(
31            index_path => './out/index',
32            keys => 10,
33    ) || die;
34    
35    my $thes;
36    
37  $|=1;  $|=1;
38    
39  my $maxmfn = $webpac->open_isis(  my $maxmfn = $webpac->open_isis(
# Line 29  my $maxmfn = $webpac->open_isis( Line 44  my $maxmfn = $webpac->open_isis(
44  #       { 'eval '=> '"v901^a" eq "Mikrotezaurus"', 'key' => 'a:v561^4:v562^4:v461^1', 'val' => 'v900' },  #       { 'eval '=> '"v901^a" eq "Mikrotezaurus"', 'key' => 'a:v561^4:v562^4:v461^1', 'val' => 'v900' },
45  #       { 'eval' => '"v901^a" eq "Deskriptor"', 'key' => 'a:v561^4:v562^4:v461^1', 'val' => 'v900' },  #       { 'eval' => '"v901^a" eq "Deskriptor"', 'key' => 'a:v561^4:v562^4:v461^1', 'val' => 'v900' },
46          { 'key' => 'a:v561^4:v562^4:v461^1', 'val' => 'v900' },          { 'key' => 'a:v561^4:v562^4:v461^1', 'val' => 'v900' },
47            { 'key' => '900_mfn:v900', 'val' => 'v000' },
48            # tree structure
49            { 'eval' => 'length("v251") == 2', 'key' => 'root:v251', 'val' => 'v900' },
50            { 'eval' => '"v251"', 'key' => 'code:v900', 'val' => 'v561^4:v251' },
51          ],          ],
52  );  );
53    
54  print "rows: $maxmfn\n\n";  $log->debug("isis file ",$webpac->{'isis_filename'}," opened");
55    
56    $log->info("rows: $maxmfn");
57    
58  $webpac->open_import_xml(type => 'isis_hidra_ths');  $webpac->open_import_xml(type => 'isis_hidra_ths');
59    
60    if(1) { # XXX
61    
62  while (my $rec = $webpac->fetch_rec) {  while (my $rec = $webpac->fetch_rec) {
63    
64    my $ds = $webpac->data_structure($rec);          my @ds = $webpac->data_structure($rec);
65    
66    if(0) {          if (0 && $log->is_debug) {
67                    $log->debug("rec = ",Dumper($rec));
68                    $log->debug("ds = ",Dumper(\@ds));
69            }
70    
71            next if (! @ds);
72    
73            my $filename = $webpac->{'current_filename'} || $log->logdie("no current_filename in webpac object");
74    
75            if ($filename) {
76                    $webpac->output_file(
77                            file => $filename,
78                            template => 'html.tt',
79                            data => \@ds,
80                            headline => $webpac->{'headline'},
81                    );
82            } else {
83                    print $webpac->output(
84                            template => 'text.tt',
85                            data => \@ds,
86                            headline => $webpac->{'headline'},
87                    );
88            }
89    
90            my $headline = $webpac->{'headline'};
91    
92            my $f = $filename;
93            $f =~ s!out/!!;
94    
95            # save into index
96            foreach my $ds (@ds) {
97                    next if (! $ds->{'swish'});
98    
99                    $index->insert(
100                            index_name => $ds->{'tag'},
101                            path => $f,
102                            headline => $headline,
103                            words => join(" ",@{$ds->{'swish'}})
104                    );
105            }
106    
107            # save into sorted index (thesaurus)
108            foreach my $ds (@ds) {
109                    next if (! $ds->{'index'});
110    
111                    $thes->{$ds->{'tag'}} ||= new WebPAC::Index;
112    
113                    foreach my $h (@{$ds->{'index'}}) {
114                            $thes->{$ds->{'tag'}}->insert(
115                                    path => $f,
116                                    headline => $h,
117                            );
118                    }
119            }
120    
121          print "-- ",$webpac->parse($rec,'v250^a / [v562^4] v562^a'),"\n";  #       print Dumper(\@ds);
122    
123          print " ",  }
124                  $webpac->parse($rec,'eval{v901^a eq "Deskriptor"}v250^a / [v562^4] v562^a'),  
125                  $webpac->parse($rec,'eval{v901^a ne "Deskriptor"}250a [251]'),  foreach my $t (keys %{$thes}) {
                 "\n";  
126    
127          my @t = $webpac->fill_in($rec,'v553^1;;v553^a');          my @e = $thes->{$t}->elements;
128          print " Uži pojam: ",join("\t\n",@t),"\n" if (@t);          if (! @e) {
129                    $log->logwarn("no elements in sorted index $t?");
130                    next;
131            }
132    
133            my $file = "./out/bfilter/$t.txt";
134            $log->info("saving sorted index $t to '$file' [".scalar(@e)." elements]");
135    
136            $webpac->output_file(
137                    file => $file,
138                    template => 'index.tt',
139                    data => \@e,
140                    index_name => $t,
141            );
142    }
143    
144          @t = $webpac->fill_in($rec,'eval{v901^a eq "Područje"}[a:v251::];;[d:[a:v251::]]');  if (0 && $log->is_debug) {
145          print " Područje: ",join("\t\n",@t),"\n" if (@t);          $log->debug("lookup hash: ",Dumper($webpac->{'lookup'}));
146            $log->debug("data hash: ",Dumper($webpac->{'data'}));
147            foreach my $t (keys %{$thes}) {
148                    $log->debug("thesaurus $t hash: ",Dumper($thes->{$t}));
149            }
150    }
151    
152          @t = $webpac->fill_in($rec,'eval{v901^a eq "Mikrotezaurus"}[a:v561^4:v251:];;[d:[a:v561^4:v251:]]');  } # XXX if(0)
         print " Mikrotezaurus: ",join("\t\n",@t),"\n" if (@t);  
153    
154          @t = $webpac->fill_in($rec,'eval{v901^a eq "Deskriptor"}[a:v561^4:v562^4:v900];;[d:[a:v561^4:v562^4:v900]]');  $log->debug("lookup hash: ",Dumper($webpac->{'lookup'}));
         print " Deskriptor: ",join("\t\n",@t),"\n" if (@t);  
   }  
155    
156    #
157    # tree dump implementation which shouldn't be here :-)
158    #
159    
160    
161    my $file = 'out/browse.html';
162    my $js_url = 'tree-ids.js';
163    
164    $log->info("creating '$file' for tree html");
165    open(HTML, "> $file") || $log->logdie("can't open '$file'");
166    
167    print HTML qq{
168    <html>
169    <head>
170     <title>Browse</title>
171     <meta http-equiv="Content-Type" content="text/html; charset=iso-8859-2"/>
172     <script type="text/javascript" src="bfilter/hide.js"></script>
173     <script type="text/javascript" src="$js_url"></script>
174    </head>
175    
176    <!--
177    <body onLoad="show_hide_display(show,hide);">
178    -->
179    <body>
180    
181    <span style="background: #e0e0e0;">
182        <a href="search.html">search</a> |
183        <a href="thesaurus.html">thesarus</a> |
184        <a href="browse.html"><b>browse</b></a>
185    </span>
186    
187    <div style="float: right; width: 10em; text-align: center; margin: 0.5m; background: #e0e0e0; border: 1px dashed #c0c0c0; z-index: 1;">
188    Folding:
189    <br/>
190    <a href="#" onClick="back_display();">&laquo;</a>&nbsp;<a href="#" onClick="default_display();">default</a>&nbsp;<a href="#" onClick="forward_display();">&raquo;</a>
191    <br/>
192    <a href="#" onClick="show_hide_display(show,hide);">reset</a>
193    <a href="#" onClick="show_display(show); show_display(hide);">all</a>
194    <a href="#" onClick="hide_display(hide); hide_display(show);">none</a>
195    <br/>
196    <a href="#" onClick="alert('show: '+show.length+', hide: '+hide.length+', changed:'+changed_display_ids.length+', positin: '+changed_display_pos);">debug</a>
197    
198    <a href="#" onClick="outline_display('mfn6030');">outline</a>
199    </div>
200    
201    <ul>
202    };
203    
204    my $l = $webpac->{'lookup'} || $log->logconfess("can't find lookup");
205    
206    my @tree = ({
207            # level 0
208            code_arr        => sub { sort keys %{$l} },
209            filter_code     => sub {
210                                            my $t = shift;
211                                            return $t if ($t =~ s/root://);
212                                    },
213            lookup_v900     => sub { shift @{$l->{"root:".$_[0]}} },
214            lookup_term     => sub { shift @{$l->{"d:".$_[1]}} },
215            lookup_mfn      => sub { shift @{$l->{"900_mfn:".$_[1]}} },
216            have_children   => sub { defined($l->{"a:".$_[0]."::"}) },
217            child_code      => sub { return $_[0] },
218            style           => 'display: none',
219            },{
220            # 1
221            code_arr        => sub { @{$l->{"a:".$_[0]."::"}} },
222            filter_code     => sub { shift },       # nop
223            lookup_v900     => sub { shift @{$l->{"code:".$_[0]}} },
224            lookup_term     => sub { shift @{$l->{"d:".$_[0]}} },
225            lookup_mfn      => sub { shift @{$l->{"900_mfn:".$_[0]}} },
226            have_children   => sub { defined($l->{"a:".$_[1].":"}) },
227            child_code      => sub { return $_[1] },
228            style           => 'display: none',
229            },{
230            # 2
231            code_arr        => sub { @{$l->{"a:".$_[0].":"}} },
232            filter_code     => sub { shift },
233            lookup_v900     => sub { shift },
234            lookup_term     => sub { shift @{$l->{"d:".$_[0]}} },
235            lookup_mfn      => sub { shift @{$l->{"900_mfn:".$_[0]}} },
236            have_children   => sub { defined($l->{"a:".$_[2].":".$_[1]}) },
237            child_code      => sub { return "a:".$_[2].":".$_[1] },
238            style           => 'display: none',
239            },{
240            # 3 uži pojam
241            code_arr        => sub { @{$l->{$_[0]}} },
242            filter_code     => sub { shift },
243            lookup_v900     => sub {
244                                    my ($c,$p) = @_;
245                                    $p =~ s/^a:(..:....):.*$/$1/;
246                                    return "a:".$p.":".$c;
247                            },
248            lookup_term     => sub { shift @{$l->{"d:".$_[0]}} },
249            lookup_mfn      => sub { shift @{$l->{"900_mfn:".$_[0]}} },
250            have_children   => sub { defined($l->{$_[1]}) },
251            child_code      => sub { return $_[1] },
252            },{
253            # 4
254            code_arr        => sub { @{$l->{$_[0]}} },
255            filter_code     => sub { shift },
256            lookup_v900     => sub {
257                                    my ($c,$p) = @_;
258                                    $p =~ s/^a:(..:....):.*$/$1/;
259                                    return "a:".$p.":".$c;
260                            },
261            lookup_term     => sub { shift @{$l->{"d:".$_[0]}} },
262            lookup_mfn      => sub { shift @{$l->{"900_mfn:".$_[0]}} },
263            have_children   => sub { defined($l->{$_[1]}) },
264            child_code      => sub { return $_[1] },
265            },{
266            # 5
267            code_arr        => sub { @{$l->{$_[0]}} },
268            filter_code     => sub { shift },
269            lookup_v900     => sub {
270                                    my ($c,$p) = @_;
271                                    $p =~ s/^a:(..:....):.*$/$1/;
272                                    return "a:".$p.":".$c;
273                            },
274            lookup_term     => sub { shift @{$l->{"d:".$_[0]}} },
275            lookup_mfn      => sub { shift @{$l->{"900_mfn:".$_[0]}} },
276            have_children   => sub { defined($l->{$_[1]}) },
277            child_code      => sub { return $_[1] },
278            },{
279            # 6
280            code_arr        => sub { @{$l->{$_[0]}} },
281            filter_code     => sub { shift },
282            lookup_v900     => sub {
283                                    my ($c,$p) = @_;
284                                    $p =~ s/^a:(..:....):.*$/$1/;
285                                    return "a:".$p.":".$c;
286                            },
287            lookup_term     => sub { shift @{$l->{"d:".$_[0]}} },
288            lookup_mfn      => sub { shift @{$l->{"900_mfn:".$_[0]}} },
289            have_children   => sub { defined($l->{$_[1]}) },
290            child_code      => sub { return $_[1] },
291            },{
292            # 7
293            code_arr        => sub { @{$l->{$_[0]}} },
294            filter_code     => sub { shift },
295            lookup_v900     => sub {
296                                    my ($c,$p) = @_;
297                                    $p =~ s/^a:(..:....):.*$/$1/;
298                                    return "a:".$p.":".$c;
299                            },
300            lookup_term     => sub { shift @{$l->{"d:".$_[0]}} },
301            lookup_mfn      => sub { shift @{$l->{"900_mfn:".$_[0]}} },
302            have_children   => sub { defined($l->{$_[1]}) },
303            child_code      => sub { return $_[1] },
304            },{
305            # 8
306            code_arr        => sub { @{$l->{$_[0]}} },
307            filter_code     => sub { shift },
308            lookup_v900     => sub {
309                                    my ($c,$p) = @_;
310                                    $p =~ s/^a:(..:....):.*$/$1/;
311                                    return "a:".$p.":".$c;
312                            },
313            lookup_term     => sub { shift @{$l->{"d:".$_[0]}} },
314            lookup_mfn      => sub { shift @{$l->{"900_mfn:".$_[0]}} },
315    #       have_children   => sub { defined($l->{$_[1]}) },
316    #       child_code      => sub { return $_[1] },
317            have_children   => sub { 0 },
318            child_code      => sub { 0 },
319    });
320    
321    my @show_ids;
322    my @hide_ids;
323    
324    unroll(0,'');
325    
326    $log->debug("test filter: ",$tree[0]->{'filter_code'}->("root:99"));
327    
328    sub unroll {
329            my ($level,$start_code) = @_;
330    
331            $log->logconfess("need level") unless (defined($level));
332    
333            # all levels passed?
334            return if (! defined($tree[$level]));
335    
336            $log->debug("unroll level $level, start code $start_code");
337    
338            foreach my $code ($tree[$level]->{'code_arr'}->($start_code)) {
339    
340                    if ($code = $tree[$level]->{'filter_code'}->($code)) {
341                    
342                            $log->debug("# $level filter passed code $code");
343    
344                            my $v900 = $tree[$level]->{'lookup_v900'}->($code,$start_code) || $log->warn("can't lookup_v900($code,$start_code)");
345                            $log->debug("# $level lookup_v900($code,$start_code) = $v900");
346    
347                            my $term = $tree[$level]->{'lookup_term'}->($code,$v900) || $log->warn("can't lookup_term($code,$v900)");
348                            $log->debug("# $level lookup_term($code,$v900) = $term");
349    
350                            my $mfn  = $tree[$level]->{'lookup_mfn'}->($code,$v900)  || $log->warn("can't lookup_mfn($code,$v900)");
351                            $log->debug("# $level lookup_mfn($code,$v900) = $mfn");
352    
353                            $log->debug("$code -> $v900 : $term [$mfn]");
354    
355                            my ($link_start,$link_end) = ('','');
356            
357                            my $have_children = $tree[$level]->{'have_children'}->($code,$v900,$start_code);
358                            if ($have_children) {
359                                    ($link_start,$link_end) = (qq{<a href="#mfn$mfn" onClick="return toggle_display('id$mfn');">},qq{</a>});
360                            } else {
361                                    $log->debug("# $level doesn't have_children($code,$v900,$start_code)");
362                            }
363    
364                            my $mfn_link = "thes/$mfn.html";
365                            if (-e "out/$mfn_link") {
366                                    print HTML " " x $level .
367                                            qq{<li>${link_start}${term}${link_end}}.
368                                            qq{&nbsp;<a href="$mfn_link">&raquo;</a></li>\n};
369                            } else {
370                                    $log->warn("file 'out/$mfn_link' doesn't exist, skipping");
371                            }
372    
373                            unless ($have_children) {
374                                    next;
375                            }
376                            my $style = $tree[$level]->{'style'};
377    
378                            print HTML " " x $level .
379                                    qq{<a name="mfn$mfn"></a>\n <ul id="id$mfn"}.
380                                    ($style ? ' style="'.$style.'"' : '').
381                                    qq{>\n};
382    
383                            if ($style) {
384                                    if ($style =~ m/display\s*:\s*none/i) {
385                                            push @hide_ids, "id$mfn";
386                                    } else {
387                                            push @show_ids, "id$mfn";
388                                    }
389                            } else {
390                                    # default: show
391                                    push @show_ids, "id$mfn";
392                            }
393    
394                            unroll($level+1, $tree[$level]->{'child_code'}->($code,$v900,$start_code));
395                            
396                            print HTML " " x $level . qq{</ul>\n};
397    
398                    }
399            }
400  }  }
401    
402  print "## lookup ",Dumper($webpac->{'lookup'});  print HTML qq{
403  print "## data ",Dumper($webpac->{'data'});  </ul>
404    </body>
405    </html>
406    };
407    
408    close(HTML);
409    
410    
411    my $js_file = "out/$js_url";
412    $log->info("creating '$js_file' with arrays of shown and hidden ids");
413    open(JS, ">", $js_file) || $log->logdie("can't open '$js_file': $!");
414    print JS "var show = ['",join("','",@show_ids),"'];\n";
415    print JS "var hide = ['",join("','",@hide_ids),"'];\n";
416    close(JS);
417    
418    $log->info("closing index");
419    $index->close;
420    
421    $log->info("elapsed time: ",$webpac->fmt_time(time() - $webpac->{'start_t'}));

Legend:
Removed from v.366  
changed lines
  Added in v.433

  ViewVC Help
Powered by ViewVC 1.1.26