/[irc-logger]/trunk/bin/irc-logger.pl
This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!
ViewVC logotype

Diff of /trunk/bin/irc-logger.pl

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 20 by dpavlin, Tue Mar 14 17:17:53 2006 UTC revision 30 by dpavlin, Fri Jun 16 21:28:46 2006 UTC
# Line 44  my $ENCODING = 'ISO-8859-2'; Line 44  my $ENCODING = 'ISO-8859-2';
44  use POE qw(Component::IRC Wheel::FollowTail Component::Server::HTTP);  use POE qw(Component::IRC Wheel::FollowTail Component::Server::HTTP);
45  use HTTP::Status;  use HTTP::Status;
46  use DBI;  use DBI;
47  use Encode qw/from_to/;  use Encode qw/from_to is_utf8/;
48  use Regexp::Common qw /URI/;  use Regexp::Common qw /URI/;
49  use CGI::Simple;  use CGI::Simple;
50    use HTML::TagCloud;
51    
52  my $dbh = DBI->connect($DSN,"","", { RaiseError => 1, AutoCommit => 1 }) || die $DBI::errstr;  my $dbh = DBI->connect($DSN,"","", { RaiseError => 1, AutoCommit => 1 }) || die $DBI::errstr;
53    
# Line 82  insert into log Line 82  insert into log
82  values (?,?,?,?)  values (?,?,?,?)
83  });  });
84    
85    my $tags;
86    
87  =head2 get_from_log  =head2 get_from_log
88    
89   my @messages = get_from_log(   my @messages = get_from_log(
# Line 99  values (?,?,?,?) Line 101  values (?,?,?,?)
101                          # modify message content                          # modify message content
102                          return shift;                          return shift;
103                  }                  }
104          }          },
105            context => 5,
106   );   );
107    
108  Order is important. Fields are first passed through C<filter> (if available) and  Order is important. Fields are first passed through C<filter> (if available) and
109  then throgh C<< sprintf($fmt->{message}, $message >> if available.  then throgh C<< sprintf($fmt->{message}, $message >> if available.
110    
111    C<context> defines number of messages around each search hit for display.
112    
113  =cut  =cut
114    
115  sub get_from_log {  sub get_from_log {
# Line 113  sub get_from_log { Line 118  sub get_from_log {
118          $args->{limit} ||= 10;          $args->{limit} ||= 10;
119    
120          $args->{fmt} ||= {          $args->{fmt} ||= {
121                    date => '[%s] ',
122                  time => '{%s} ',                  time => '{%s} ',
123                  time_channel => '{%s %s} ',                  time_channel => '{%s %s} ',
124                  nick => '%s: ',                  nick => '%s: ',
# Line 120  sub get_from_log { Line 126  sub get_from_log {
126                  message => '%s',                  message => '%s',
127          };          };
128    
129          my $sql = qq{          my $sql_message = qq{
130                  select                  select
131                          time::date as date,                          time::date as date,
132                          time::time as time,                          time::time as time,
# Line 130  sub get_from_log { Line 136  sub get_from_log {
136                          message                          message
137                  from log                  from log
138          };          };
139          $sql .= " where message ilike ? " if ($args->{search});  
140            my $sql_context = qq{
141                    select
142                            id
143                    from log
144            };
145    
146            my $context = $1 if ($args->{search} && $args->{search} =~ s/\s*\+(\d+)\s*/ /);
147    
148            my $sql = $context ? $sql_context : $sql_message;
149    
150            $sql .= " where message ilike ? or nick ilike ? " if ($args->{search});
151            $sql .= " where id in (" . join(",", @{ $tags->{ $args->{tag} } }) . ") " if ($args->{tag} && $tags->{ $args->{tag} });
152          $sql .= " order by log.time desc";          $sql .= " order by log.time desc";
153          $sql .= " limit " . $args->{limit};          $sql .= " limit " . $args->{limit};
154    
155          my $sth = $dbh->prepare( $sql );          my $sth = $dbh->prepare( $sql );
156          if ($args->{search}) {          if (my $search = $args->{search}) {
157                  $sth->execute( '%' . $args->{search} . '%' );                  $search =~ s/^\s+//;
158                  warn "search for '$args->{search}' returned ", $sth->rows, " results\n";                  $search =~ s/\s+$//;
159                    $sth->execute( ( '%' . $search . '%' ) x 2 );
160                    warn "search for '$search' returned ", $sth->rows, " results ", $context || '', "\n";
161            } elsif (my $tag = $args->{tag}) {
162                    $sth->execute();
163                    warn "tag '$tag' returned ", $sth->rows, " results ", $context || '', "\n";
164          } else {          } else {
165                  $sth->execute();                  $sth->execute();
166          }          }
# Line 158  sub get_from_log { Line 181  sub get_from_log {
181                  "Showing " . ($#rows + 1) . " messages..."                  "Showing " . ($#rows + 1) . " messages..."
182          );          );
183    
184            if ($context) {
185                    my @ids = @rows;
186                    @rows = ();
187    
188                    my $last_to = 0;
189    
190                    my $sth = $dbh->prepare( $sql_message . qq{ where id >= ? and id < ? } );
191                    foreach my $row_id (sort { $a->{id} <=> $b->{id} } @ids) {
192                            my $id = $row_id->{id} || die "can't find id in row";
193            
194                            my ($from, $to) = ($id - $context, $id + $context);
195                            $from = $last_to if ($from < $last_to);
196                            $last_to = $to;
197                            $sth->execute( $from, $to );
198    
199                            #warn "## id: $id from: $from to: $to returned: ", $sth->rows, "\n";
200    
201                            while (my $row = $sth->fetchrow_hashref) {
202                                    push @rows, $row;
203                            }
204    
205                    }
206            }
207    
208          foreach my $row (@rows) {          foreach my $row (@rows) {
209    
210                  $row->{time} =~ s#\.\d+##;                  $row->{time} =~ s#\.\d+##;
211    
                 my $t;  
                 $t = $row->{date} . ' ' if ($last_row->{date} ne $row->{date});  
                 $t .= $row->{time};  
   
212                  my $msg = '';                  my $msg = '';
213    
214                    $msg = sprintf($args->{fmt}->{date}, $row->{date}) . ' ' if ($last_row->{date} ne $row->{date});
215                    my $t = $row->{time};
216    
217                  if ($last_row->{channel} ne $row->{channel}) {                  if ($last_row->{channel} ne $row->{channel}) {
218                          $msg .= sprintf($args->{fmt}->{time_channel}, $t, $row->{channel});                          $msg .= sprintf($args->{fmt}->{time_channel}, $t, $row->{channel});
219                  } else {                  } else {
# Line 176  sub get_from_log { Line 222  sub get_from_log {
222    
223                  my $append = 1;                  my $append = 1;
224    
225                  if ($last_row->{nick} ne $row->{nick}) {                  my $nick = $row->{nick};
226                    if ($nick =~ s/^_*(.*?)_*$/$1/) {
227                            $row->{nick} = $nick;
228                    }
229    
230                    if ($last_row->{nick} ne $nick) {
231                          # obfu way to find format for me_nick if needed or fallback to default                          # obfu way to find format for me_nick if needed or fallback to default
232                          my $fmt = $row->{me} ? ( $args->{fmt}->{me_nick} || $args->{fmt}->{nick} ) : $args->{fmt}->{nick};                          my $fmt = $row->{me} ? ( $args->{fmt}->{me_nick} || $args->{fmt}->{nick} ) : $args->{fmt}->{nick};
233                          $fmt ||= '%s';                          $fmt ||= '%s';
234    
                         my $nick = $row->{nick};  
235                          $nick = $args->{filter}->{nick}->($nick) if (ref($args->{filter}->{nick}) eq 'CODE');                          $nick = $args->{filter}->{nick}->($nick) if (ref($args->{filter}->{nick}) eq 'CODE');
236    
237                          $msg .= sprintf( $fmt, $nick );                          $msg .= sprintf( $fmt, $nick );
# Line 240  POE::Session->create Line 290  POE::Session->create
290    
291                  print "$channel: <$nick> $msg\n";                  print "$channel: <$nick> $msg\n";
292                  $sth->execute($channel, 0, $nick, $msg);                  $sth->execute($channel, 0, $nick, $msg);
293                    add_tag( id => $dbh->last_insert_id(undef,undef,"log",undef),
294                            message => $msg);
295      },      },
296      irc_ctcp_action => sub {      irc_ctcp_action => sub {
297                  my $kernel = $_[KERNEL];                  my $kernel = $_[KERNEL];
# Line 251  POE::Session->create Line 303  POE::Session->create
303    
304                  print "$channel ***$nick $msg\n";                  print "$channel ***$nick $msg\n";
305                  $sth->execute($channel, 1, $nick, $msg);                  $sth->execute($channel, 1, $nick, $msg);
306                    add_tag( id => $dbh->last_insert_id(undef,undef,"log",undef),
307                            message => $msg);
308      },      },
309          irc_msg => sub {          irc_msg => sub {
310                  my $kernel = $_[KERNEL];                  my $kernel = $_[KERNEL];
# Line 297  POE::Session->create Line 351  POE::Session->create
351    
352                          $res = '';                          $res = '';
353    
354                  } elsif ($msg =~ m/^(search|grep)\s+(.*)$/i) {                  } elsif ($msg =~ m/^(search|grep)\s+(.*)\s*$/i) {
355    
356                          my $what = $2;                          my $what = $2;
357    
358                          foreach my $res (get_from_log( limit => 20, search => $what )) {                          foreach my $res (get_from_log(
359                                            limit => 20,
360                                            search => $what,
361                                    )) {
362                                  print "search [$what]: $res\n";                                  print "search [$what]: $res\n";
363                                  from_to($res, $ENCODING, 'UTF-8');                                  from_to($res, $ENCODING, 'UTF-8');
364                                  $_[KERNEL]->post( $IRC_ALIAS => privmsg => $nick, $res );                                  $_[KERNEL]->post( $IRC_ALIAS => privmsg => $nick, $res );
# Line 426  POE::Session->create Line 483  POE::Session->create
483     },     },
484    );    );
485    
486    # tags support
487    
488    my $cloud = HTML::TagCloud->new;
489    
490    =head2 add_tag
491    
492     add_tag( id => 42, message => 'irc message' );
493    
494    =cut
495    
496    sub add_tag {
497            my $arg = {@_};
498    
499            return unless ($arg->{id} && $arg->{message});
500    
501            my $m = $arg->{message};
502            from_to('UTF-8', 'iso-8859-2', $m) if (is_utf8($m));
503    
504            while ($m =~ s#\b([\w-_]+)//##s) {
505                    my $tag = $1;
506                    next if (! $tag || $tag =~ m/https?:/i);
507                    push @{ $tags->{$tag} }, $arg->{id};
508            }
509    }
510    
511    =head2 seed_tags
512    
513    Read all tags from database and create in-memory cache for tags
514    
515    =cut
516    
517    sub seed_tags {
518            my $sth = $dbh->prepare(qq{ select id,message from log where message like '%//%' });
519            $sth->execute;
520            while (my $row = $sth->fetchrow_hashref) {
521                    add_tag( %$row );
522            }
523    
524            foreach my $tag (keys %$tags) {
525                    $cloud->add($tag, "?tag=$tag", scalar @{$tags->{$tag}} + 1);
526            }
527    }
528    
529    seed_tags;
530    
531  # http server  # http server
532    
533  my $httpd = POE::Component::Server::HTTP->new(  my $httpd = POE::Component::Server::HTTP->new(
# Line 440  my $escape_re  = join '|' => keys %escap Line 542  my $escape_re  = join '|' => keys %escap
542  my $style = <<'_END_OF_STYLE_';  my $style = <<'_END_OF_STYLE_';
543  p { margin: 0; padding: 0.1em; }  p { margin: 0; padding: 0.1em; }
544  .time, .channel { color: #808080; font-size: 60%; }  .time, .channel { color: #808080; font-size: 60%; }
545    .date { float: right; background: #e0e0e0; color: #404040; font-size: 120%; padding: 0.25em; border: 1px dashed #808080; }
546  .nick { color: #000000; font-size: 80%; padding: 2px; font-family: courier, courier new, monospace ; }  .nick { color: #000000; font-size: 80%; padding: 2px; font-family: courier, courier new, monospace ; }
547  .message { color: #000000; font-size: 100%; }  .message { color: #000000; font-size: 100%; }
548  .search { float: right; }  .search { float: right; }
# Line 472  sub root_handler { Line 575  sub root_handler {
575          my $search = $q->param('search') || $q->param('grep') || '';          my $search = $q->param('search') || $q->param('grep') || '';
576    
577          $response->content(          $response->content(
578                  qq{<html><head><title>$NICK</title><style type="text/css">$style</style></head><body>                  qq{<html><head><title>$NICK</title><style type="text/css">$style} .
579                    $cloud->css .
580                    qq{</style></head><body>} .
581                    qq{
582                  <form method="post" class="search">                  <form method="post" class="search">
583                  <input type="text" name="search" value="$search" size="10">                  <input type="text" name="search" value="$search" size="10">
584                  <input type="submit" value="search">                  <input type="submit" value="search">
585                  </form>                  </form>
                 <p>  
586                  } .                  } .
587                    qq{<div>} . $cloud->html(500) . qq{</div>} .
588                    qq{<p>} .
589                  join("</p><p>",                  join("</p><p>",
590                          get_from_log(                          get_from_log(
591                                  limit => $q->param('limit') || 100,                                  limit => $q->param('last') || 100,
592                                  search => $q->param('search') || $q->param('grep') || undef,                                  search => $search || undef,
593                                    tag => $q->param('tag') || undef,
594                                  fmt => {                                  fmt => {
595                                            date => '<hr size="1" style="clear: both;"/><div class="date">%s</div> ',
596                                          time => '<span class="time">%s</span> ',                                          time => '<span class="time">%s</span> ',
597                                          time_channel => '<span class="channel">%s %s</span> ',                                          time_channel => '<span class="channel">%s %s</span> ',
598                                          nick => '%s:&nbsp;',                                          nick => '%s:&nbsp;',

Legend:
Removed from v.20  
changed lines
  Added in v.30

  ViewVC Help
Powered by ViewVC 1.1.26