/[Grep]/lib/Grep/Source.pm
This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!
ViewVC logotype

Diff of /lib/Grep/Source.pm

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 125 by dpavlin, Sat Apr 28 22:52:08 2007 UTC revision 133 by dpavlin, Tue May 1 20:50:14 2007 UTC
# Line 188  sub content_class { Line 188  sub content_class {
188          }          }
189  }  }
190    
 =head2 scrape  
191    
192  Create semi-complex L<WWW::Mechanize> rules to scrape page  =head2 element_by_triplet
193    
194    Helper method to select element(s) using C<element/attribute/value> triplet using
195    L<HTML::TreeBuilder> trees.
196    
197      my $el = $self->element_by_triplet(
198            tree => $tree_or_element,
199            triplets => [ qw/
200                    div id target
201                    div class another
202            / ],
203            message => 'find search result element',
204            fatal => 1,     # die instead of warn
205      );
206    
207  =cut  =cut
208    
# Line 203  sub element_by_triplet { Line 214  sub element_by_triplet {
214          my $tree = $args->{tree} || die "no tree";          my $tree = $args->{tree} || die "no tree";
215          my $message = $args->{message} || '';          my $message = $args->{message} || '';
216          my $fatal = $args->{fatal};          my $fatal = $args->{fatal};
217          die "no templates" unless defined( $args->{templates} );          die "no triplets" unless defined( $args->{triplets} );
218          my @templates;          my @triplets;
219  warn dump( $args->{templates} );          if ( ref( $args->{triplets} ) eq 'ARRAY' ) {
220          if ( ref( $args->{templates} ) eq 'ARRAY' ) {                  @triplets = @{ $args->{triplets} };
                 @templates = @{ $args->{templates} };  
221          } else {          } else {
222                  @templates = ( $args->{templates} );                  @triplets = ( $args->{triplets} );
223          }          }
224    
225          push @templates, ( undef, undef ) if ( $#templates == 0 );          push @triplets, ( undef, undef ) if ( $#triplets == 0 );
226    
227          die "wrapper doesn't have 3 elements but ", $#templates unless (          die "triplet doesn't have 3 elements but ", $#triplets unless (
228                  ( $#templates + 1 ) % 3 == 0                  ( $#triplets + 1 ) % 3 == 0
229          );          );
230    
231          my ( $el, $attr, $value );          my ( $el, $attr, $value );
# Line 223  warn dump( $args->{templates} ); Line 233  warn dump( $args->{templates} );
233          my @results;          my @results;
234          my @tags;          my @tags;
235    
236          while ( @templates ) {  warn "triplets = ",dump( @triplets );
237                  ( $el,$attr,$value ) = splice( @templates, 0, 3 );  
238            while ( @triplets ) {
239                    ( $el,$attr,$value ) = splice( @triplets, 0, 3 );
240                  my $tag = $attr ? "<$el $attr=\"$value\">" : "<$el>";                  my $tag = $attr ? "<$el $attr=\"$value\">" : "<$el>";
241                  push @tags, $tag;                  push @tags, $tag;
242                  $self->log->debug("looking for $message $tag");                  $self->log->debug("looking for $message $tag");
# Line 244  warn dump( $args->{templates} ); Line 256  warn dump( $args->{templates} );
256    
257          $self->log->debug("found ", $#results + 1, " results");          $self->log->debug("found ", $#results + 1, " results");
258    
259            #warn dump( map { $_->as_HTML } @results );
260    
261          return @results if wantarray;          return @results if wantarray;
262          return shift @results;          return shift @results;
263  }  }
264    
265    =head2 scrape
266    
267    Create semi-complex L<WWW::Mechanize> rules to scrape page easily
268    
269      $parent->scrape(
270                    # if search string isn't part or URI
271                    submit_form => {
272                            fields => {
273                                    value => $parent->q,
274                            },
275                            button => 'fullsearch',
276                    },
277                    # element with search results
278                    wrapper => [ qw/div class searchresults/ ],
279                    # element (or tripple) for each result with link
280                    # <a href=".."> inside it to full-text result
281                    results => 'dt',
282                    # collect which element on page linked from results
283                    scrape => [ qw/div id page/ ],
284                    # when search returns just single hit, it will redirect to result page
285                    redirect_single_result => 1,
286      );
287    
288    =cut
289    
290  sub scrape {  sub scrape {
291          my $self = shift;          my $self = shift;
292    
# Line 285  sub scrape { Line 324  sub scrape {
324          my $tree = HTML::TreeBuilder->new or die "can't create html tree";          my $tree = HTML::TreeBuilder->new or die "can't create html tree";
325          $tree->parse( $mech->content ) or die "can't parse fetched content";          $tree->parse( $mech->content ) or die "can't parse fetched content";
326    
327          my $div = $self->element_by_triplet(          my @wrapper_divs = $self->element_by_triplet(
328                  tree => $tree,                  tree => $tree,
329                  templates => $args->{wrapper},                  triplets => $args->{wrapper},
330                  message => 'wrapper for all results',                  message => 'wrapper for all results',
331                  fatal => 1                  fatal => $args->{redirect_single_result} ? 0 : 1,
332          );          );
333    
334          my $max = 15;          my $max = 15;
# Line 298  sub scrape { Line 337  sub scrape {
337          my $base_uri = $uri;          my $base_uri = $uri;
338          $base_uri =~ s!\?.*$!!;          $base_uri =~ s!\?.*$!!;
339    
340          my @r = $self->element_by_triplet(          # directly got first result
341                  tree => $tree,          if ( $args->{redirect_single_result} && ! @wrapper_divs ) {
342                  templates => $args->{results},  
343                  message => 'result element',                  my $uri = $mech->uri; $uri->query( undef ); $uri = $uri->canonical;
344          );  
345                    my $div = $self->element_by_triplet(
346                            tree => $tree,
347                            message => "single result - redirect to $uri",
348                            triplets => $args->{scrape},
349                            fatal => 1,
350                    );
351    
352                    $self->add_record(
353                            in_feed => $feed,
354                            title => $mech->title,
355                            link => $uri,
356                            content => $div->as_HTML,
357                    );
358    
359                    $tree->delete; # clear memory!
360                    return;
361            }
362    
363            my @r;
364    
365            foreach my $div ( @wrapper_divs ) {
366    
367                    my @r_here = $self->element_by_triplet(
368                            tree => $div,
369                            triplets => $args->{results},
370                            message => 'result element',
371                    );
372    
373                    push @r, @r_here if (@r_here);
374            }
375    
376            $self->log->debug("in total, found ", $#r + 1, " results in ", $#wrapper_divs + 1, " result wrapper elements");
377    
378          foreach my $dt ( @r ) {          foreach my $dt ( @r ) {
379                  my $a = $dt->look_down( '_tag', 'a', sub { $_[0]->attr('href') } );                  my $a = $dt->look_down( '_tag', 'a', sub { $_[0]->attr('href') } );
380                  if ( $a ) {                  if ( $a ) {
381    
382                          my $href = $a->attr('href') or die "can't find href inside <", $args->{results}, ">";                          my $href = $a->attr('href') or die "can't find href inside <", $args->{results}, ">";
383                          my $page_uri = URI->new_abs( $a->attr('href'), $base_uri );  
384                            my $page_uri = URI->new_abs( $href, $base_uri );
385                          $page_uri->query( undef );                          $page_uri->query( undef );
386                          $page_uri = $page_uri->canonical;                          $page_uri = $page_uri->canonical;
387    
388                          $self->log->debug("fetching page: ",$a->as_text," from $page_uri");                          $self->log->debug("fetching page: ",$a->as_text," from $page_uri");
389                          if ( $mech->follow_link( url => $a->attr('href') ) ) {                          if ( $mech->follow_link( url => $href ) ) {
390    
391                                  $self->save( "page-${nr}.html", $mech->content );                                  $self->save( "page-${nr}.html", $mech->content );
392    
393                                  my $page_tree = HTML::TreeBuilder->new or die "can't create page tree";                                  my $page_tree = HTML::TreeBuilder->new or die "can't create page tree";
394                                  $page_tree->parse( $mech->content ) or die "can't parse page at $page_uri";                                  $page_tree->parse( $mech->content ) or die "can't parse page at $page_uri";
395                                  $div = $self->element_by_triplet(                                  my $div = $self->element_by_triplet(
396                                          tree => $page_tree,                                          tree => $page_tree,
397                                          message => "result $nr",                                          message => "result page $nr",
398                                          templates => $args->{scrape}                                          triplets => $args->{scrape}
399                                  );                                  );
400    
401                                  $self->add_record(                                  $self->add_record(
Legend:
Removed from v.125  
changed lines
  Added in v.133
  ViewVC Help
Powered by ViewVC 1.1.26