/[Grep]/lib/Grep/Action/Fetch.pm
This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!
ViewVC logotype

Diff of /lib/Grep/Action/Fetch.pm

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 71 by dpavlin, Thu Feb 22 18:12:35 2007 UTC revision 72 by dpavlin, Fri Feb 23 09:54:28 2007 UTC
# Line 14  use XML::Feed; Line 14  use XML::Feed;
14  use LWP::UserAgent;  use LWP::UserAgent;
15    
16  use Grep::Search;  use Grep::Search;
17    use Grep::Source;
18    
19  use Data::Dump qw/dump/;  use Data::Dump qw/dump/;
20    
# Line 61  sub take_action { Line 62  sub take_action {
62            
63      # Custom action code      # Custom action code
64    
65          my $feed = Grep::Model::Feed->new();          my $feed_id = $self->argument_value('feed') or die "no feed?";
66          my $feed_id = $self->argument_value('feed');          my $q = $self->argument_value('q') or die "no q?";
         my $q = $self->argument_value('q');  
         my $user_id = Jifty->web->current_user->id;  
   
         if (! $feed_id) {  
                 $self->result->message("Need feed ID");  
                 return 0;  
         }  
67    
68            my $feed = Grep::Model::Feed->new();
69          $feed->load_by_cols( id => $feed_id );          $feed->load_by_cols( id => $feed_id );
70            die "can't load feed ", $feed_id unless ($feed->id);
71    
72          if (! $feed->id) {          my $source = Grep::Source->new({ feed => $feed });
73          $self->result->message("Can't fetch feed $feed_id");          my $items = $source->search( $q );
74                  return 0;          my $new = $source->new_items;
         }  
   
         my $message;  
         my $uri = $feed->uri;  
         if ($uri =~ m/%s/) {  
                 $uri = $feed->search_uri( $q );  
                 $message = 'Searching';  
         } else {  
                 $message = 'Fetching';  
         }  
         $message .= ' ' . $feed->title . " at $uri";  
   
         Jifty->log->info( $message );  
   
         my $ua = LWP::UserAgent->new;  
         $ua->default_header( 'Cookie' => $feed->cookie );  
         my $r = $ua->get( $uri );  
         return $self->result->error(  
                 $feed->title . " returned " . $r->status_line . " for $uri\n"  
         ) unless ( $r->is_success );  
   
         my $content = $r->content;  
   
         return $self->result->error( "No content returned from $uri" ) unless length( $content ) > 1;  
   
         my ( $items, $new ) = $self->collection_from_feed( $feed, $content );  
75    
76          if ( my $count = $items->count ) {          if ( my $count = $items->count ) {
77    
# Line 111  sub take_action { Line 81  sub take_action {
81                          . ( $new == 0 ? ' old' : '' )                          . ( $new == 0 ? ' old' : '' )
82                          . ' results '                            . ' results '  
83                          . ( $new && $new < $count ? "of which $new new " : '' )                          . ( $new && $new < $count ? "of which $new new " : '' )
84                          . "for '$q' in " . $feed->title;                          . "for '$q' in " . $source->feed->title;
85                    
86                  $self->result->message( $message );                  $self->result->message( $message );
87    
88                  $self->result->content( items => $items );                  $self->result->content( items => $items );
89                  $self->result->content( count => $items->count );                  $self->result->content( count => $items->count );
90    
                 Grep::Search->finish if $new;  
   
91                  return $items;                  return $items;
92    
93          } else {          } else {
94                  return $self->result->error( "No results for '$q' in " . $feed->title );                  return $self->result->error( "No results for '$q'" );
95          }          }
96  }  }
97    
98    
 =head2 collection_from_feed  
   
   my ( $collection, $new ) = $self->collection_from_feed( $feed, '<xml>souce of feed</xml>');  
   
 =cut  
   
 sub collection_from_feed {  
         my $self = shift;  
           
         my ( $feed, $content ) = @_;  
   
         die "feed is not a Grep::Model::Feed but ", ref $feed unless $feed->isa('Grep::Model::Feed');  
   
         my $xml_feed = XML::Feed->parse( \$content )  
                 or return $self->result->error( $feed->title, " returned ", XML::Feed->errstr );  
   
   
         warn "getting entries from ", $xml_feed->title, "\n";  
   
         my $items = Grep::Model::ItemCollection->new();  
   
         my $new;  
   
         for my $entry ($xml_feed->entries) {  
                 my $i = Grep::Model::Item->new();  
   
                 my ($ok,$msg) = $i->load_or_create(  
                         in_feed => $feed,  
                         title => $entry->title,  
                         link => $entry->link,  
                         content => $entry->content->body,  
                         summary => $entry->summary->body,  
                         category => $entry->category,  
                         author => $entry->author,  
                         issued => $entry->issued ? $entry->issued->strftime("%Y-%m-%d %H:%M:%S") : undef,  
                         modified => $entry->modified ? $entry->modified->strftime("%Y-%m-%d %H:%M:%S") : undef,  
                 );  
   
                 $msg ||= '';  
   
                 if ( $ok ) {  
                         Jifty->log->debug("item ", $i->id, ": $msg");  
                         $items->add_record( $i );  
   
                         # is new record?  
                         if ( $msg !~ m/^Found/ ) {  
                                 $new++;  
                                 Grep::Search->add( $i );  
                         }  
                 } else {  
                         warn "can't add entry ", dump( $entry ), "\n";  
                 }  
         }  
   
         return ($items, $new);  
 }  
   
99  1;  1;
100    
Legend:
Removed from v.71  
changed lines
  Added in v.72
  ViewVC Help
Powered by ViewVC 1.1.26