/[irc-logger]/trunk/bin/irc-logger.pl
This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!
ViewVC logotype

Diff of /trunk/bin/irc-logger.pl

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 60 by dpavlin, Sat Apr 14 12:45:03 2007 UTC revision 92 by dpavlin, Fri Mar 7 10:30:57 2008 UTC
# Line 20  Import log from C<dircproxy> to C<irc-lo Line 20  Import log from C<dircproxy> to C<irc-lo
20    
21  =item --log=irc-logger.log  =item --log=irc-logger.log
22    
 Name of log file  
   
23  =back  =back
24    
25  =head1 DESCRIPTION  =head1 DESCRIPTION
# Line 32  log all conversation on irc channel Line 30  log all conversation on irc channel
30    
31  ## CONFIG  ## CONFIG
32    
33  my $HOSTNAME = `hostname`;  my $HOSTNAME = `hostname -f`;
34    chomp($HOSTNAME);
35    
36  my $NICK = 'irc-logger';  my $NICK = 'irc-logger';
37  $NICK .= '-dev' if ($HOSTNAME =~ m/llin/);  $NICK .= '-dev' if ($HOSTNAME =~ m/llin/);
# Line 45  my $CHANNEL = '#razmjenavjestina'; Line 44  my $CHANNEL = '#razmjenavjestina';
44  $CHANNEL = '#irc-logger' if ($HOSTNAME =~ m/llin/);  $CHANNEL = '#irc-logger' if ($HOSTNAME =~ m/llin/);
45  my $IRC_ALIAS = "log";  my $IRC_ALIAS = "log";
46    
 my %FOLLOWS =  
   (  
    ACCESS => "/var/log/apache/access.log",  
    ERROR => "/var/log/apache/error.log",  
   );  
   
47  my $DSN = 'DBI:Pg:dbname=' . $NICK;  my $DSN = 'DBI:Pg:dbname=' . $NICK;
48    
 my $ENCODING = 'ISO-8859-2';  
49  my $TIMESTAMP = '%Y-%m-%d %H:%M:%S';  my $TIMESTAMP = '%Y-%m-%d %H:%M:%S';
50    
51  my $sleep_on_error = 5;  my $sleep_on_error = 5;
52    
53  ## END CONFIG  # number of last tags to keep in circular buffer
54    my $last_x_tags = 50;
55    
56    # don't pull rss feeds more often than this
57    my $rss_min_delay = 60;
58    $rss_min_delay = 15;
59    
60    my $http_port = $NICK =~ m/-dev/ ? 8001 : 8000;
61    
62    my $url = "http://$HOSTNAME:$http_port";
63    
64  use POE qw(Component::IRC Wheel::FollowTail Component::Server::HTTP);  ## END CONFIG
65    
66    use POE qw(Component::IRC Component::Server::HTTP);
67  use HTTP::Status;  use HTTP::Status;
68  use DBI;  use DBI;
 use Encode qw/from_to is_utf8/;  
69  use Regexp::Common qw /URI/;  use Regexp::Common qw /URI/;
70  use CGI::Simple;  use CGI::Simple;
71  use HTML::TagCloud;  use HTML::TagCloud;
# Line 73  use POSIX qw/strftime/; Line 73  use POSIX qw/strftime/;
73  use HTML::CalendarMonthSimple;  use HTML::CalendarMonthSimple;
74  use Getopt::Long;  use Getopt::Long;
75  use DateTime;  use DateTime;
76    use URI::Escape;
77  use Data::Dump qw/dump/;  use Data::Dump qw/dump/;
78    use DateTime::Format::ISO8601;
79    use Carp qw/confess/;
80    use XML::Feed;
81    use DateTime::Format::Flexible;
82    
83  my $use_twitter = 1;  my $use_twitter = 1;
84  eval { require Net::Twitter; };  eval { require Net::Twitter; };
# Line 86  GetOptions( Line 91  GetOptions(
91          'log:s' => \$log_path,          'log:s' => \$log_path,
92  );  );
93    
94    #$SIG{__DIE__} = sub {
95    #       confess "fatal error";
96    #};
97    
98  open(STDOUT, '>', $log_path) || warn "can't redirect log to $log_path: $!";  open(STDOUT, '>', $log_path) || warn "can't redirect log to $log_path: $!";
99    
100  sub _log {  sub _log {
101          print strftime($TIMESTAMP,localtime()), ' ', join(" ",@_), $/;          print strftime($TIMESTAMP,localtime()) . ' ' . join(" ",@_) . $/;
102  }  }
103    
104    # HTML formatters
105    
106    my %escape = ('<'=>'&lt;', '>'=>'&gt;', '&'=>'&amp;', '"'=>'&quot;');
107    my $escape_re  = join '|' => keys %escape;
108    
109    my $tag_regex = '\b([\w-_]+)//';
110    
111    my %nick_enumerator;
112    my $max_color = 0;
113    
114    my $filter = {
115            message => sub {
116                    my $m = shift || return;
117    
118                    # protect HTML from wiki modifications
119                    sub e {
120                            my $t = shift;
121                            return 'uri_unescape{' . uri_escape($t) . '}';
122                    }
123    
124                    $m =~ s/($escape_re)/$escape{$1}/gs;
125                    $m =~ s#($RE{URI}{HTTP})#e(qq{<a href="$1">$1</a>})#egs ||
126                    $m =~ s#\/(\w+)\/#<i>$1</i>#gs;
127                    $m =~ s#$tag_regex#e(qq{<a href="$url?tag=$1" class="tag">$1</a>})#egs;
128                    $m =~ s#\*(\w+)\*#<b>$1</b>#gs;
129                    $m =~ s#_(\w+)_#<u>$1</u>#gs;
130    
131                    $m =~ s#uri_unescape{([^}]+)}#uri_unescape($1)#egs;
132                    return $m;
133            },
134            nick => sub {
135                    my $n = shift || return;
136                    if (! $nick_enumerator{$n})  {
137                            my $max = scalar keys %nick_enumerator;
138                            $nick_enumerator{$n} = $max + 1;
139                    }
140                    return '<span class="nick col-' .
141                            ( $nick_enumerator{$n} % $max_color ) .
142                            '">' . $n . '</span>';
143            },
144    };
145    
146  my $dbh = DBI->connect($DSN,"","", { RaiseError => 1, AutoCommit => 1 }) || die $DBI::errstr;  my $dbh = DBI->connect($DSN,"","", { RaiseError => 1, AutoCommit => 1 }) || die $DBI::errstr;
147    $dbh->do( qq{ set client_encoding = 'UTF-8' } );
148    
149  my $sql_schema = {  my $sql_schema = {
150          log => '          log => qq{
151  create table log (  create table log (
152          id serial,          id serial,
153          time timestamp default now(),          time timestamp default now(),
# Line 109  create table log ( Line 161  create table log (
161  create index log_time on log(time);  create index log_time on log(time);
162  create index log_channel on log(channel);  create index log_channel on log(channel);
163  create index log_nick on log(nick);  create index log_nick on log(nick);
164          ',          },
165          meta => '          meta => q{
166  create table meta (  create table meta (
167          nick text not null,          nick text not null,
168          channel text not null,          channel text not null,
169          name text not null,          name text not null,
170          value text,          value text,
171          changed timestamp default now(),          changed timestamp default 'now()',
172          primary key(nick,channel,name)          primary key(nick,channel,name)
173  );  );
174          ',          },
175            feeds => qq{
176    create table feeds (
177            id serial,
178            url text not null,
179            name text,
180            delay interval not null default '5 min',
181            active boolean default true,
182            last_update timestamp default 'now()',
183            polls int default 0,
184            updates int default 0
185    );
186    create unique index feeds_url on feeds(url);
187    insert into feeds (url,name) values ('http://wiki.razmjenavjestina.org/feed/workspace/razmjenavjestina?category=Recent%20Changes','wiki');
188            },
189  };  };
190    
191  foreach my $table ( keys %$sql_schema ) {  foreach my $table ( keys %$sql_schema ) {
# Line 183  sub meta { Line 249  sub meta {
249    
250    
251    
252  my $sth = $dbh->prepare(qq{  my $sth_insert_log = $dbh->prepare(qq{
253  insert into log  insert into log
254          (channel, me, nick, message, time)          (channel, me, nick, message, time)
255  values (?,?,?,?,?)  values (?,?,?,?,?)
# Line 191  values (?,?,?,?,?) Line 257  values (?,?,?,?,?)
257    
258    
259  my $tags;  my $tags;
 my $tag_regex = '\b([\w-_]+)//';  
260    
261  =head2 get_from_log  =head2 get_from_log
262    
# Line 228  C<me>, C<nick> and C<message> keys. Line 293  C<me>, C<nick> and C<message> keys.
293  sub get_from_log {  sub get_from_log {
294          my $args = {@_};          my $args = {@_};
295    
296          $args->{fmt} ||= {          if ( ! $args->{fmt} ) {
297                  date => '[%s] ',                  $args->{fmt} = {
298                  time => '{%s} ',                          date => '[%s] ',
299                  time_channel => '{%s %s} ',                          time => '{%s} ',
300                  nick => '%s: ',                          time_channel => '{%s %s} ',
301                  me_nick => '***%s ',                          nick => '%s: ',
302                  message => '%s',                          me_nick => '***%s ',
303          };                          message => '%s',
304                    };
305            }
306    
307          my $sql_message = qq{          my $sql_message = qq{
308                  select                  select
# Line 258  sub get_from_log { Line 325  sub get_from_log {
325    
326          my $sql = $context ? $sql_context : $sql_message;          my $sql = $context ? $sql_context : $sql_message;
327    
328          $sql .= " where message ilike ? or nick ilike ? " if ($args->{search});          sub check_date {
329          $sql .= " where id in (" . join(",", @{ $tags->{ $args->{tag} } }) . ") " if ($args->{tag} && $tags->{ $args->{tag} });                  my $date = shift || return;
330          $sql .= " where date(time) = ? " if ($args->{date});                  my $new_date = eval { DateTime::Format::ISO8601->parse_datetime( $date )->ymd; };
331          $sql .= " order by log.time desc";                  if ( $@ ) {
332          $sql .= " limit " . $args->{limit} if ($args->{limit});                          warn "invalid date $date\n";
333                            $new_date = DateTime->now->ymd;
334                    }
335                    return $new_date;
336            }
337    
338            my @where;
339            my @args;
340    
         my $sth = $dbh->prepare( $sql );  
341          if (my $search = $args->{search}) {          if (my $search = $args->{search}) {
342                  $search =~ s/^\s+//;                  $search =~ s/^\s+//;
343                  $search =~ s/\s+$//;                  $search =~ s/\s+$//;
344                  $sth->execute( ( '%' . $search . '%' ) x 2 );                  push @where, 'message ilike ? or nick ilike ?';
345                  _log "search for '$search' returned ", $sth->rows, " results ", $context || '';                  push @args, ( ( '%' . $search . '%' ) x 2 );
346          } elsif (my $tag = $args->{tag}) {                  _log "search for '$search'";
347                  $sth->execute();          }
348                  _log "tag '$tag' returned ", $sth->rows, " results ", $context || '';  
349          } elsif (my $date = $args->{date}) {          if ($args->{tag} && $tags->{ $args->{tag} }) {
350                  $sth->execute($date);                  push @where, 'id in (' . join(',', @{ $tags->{ $args->{tag} } }) . ')';
351                  _log "found ", $sth->rows, " messages for date $date ", $context || '';                  _log "search for tags $args->{tag}";
352          } else {          }
353                  $sth->execute();  
354            if (my $date = $args->{date} ) {
355                    $date = check_date( $date );
356                    push @where, 'date(time) = ?';
357                    push @args, $date;
358                    _log "search for date $date";
359          }          }
360    
361            $sql .= " where " . join(" and ", @where) if @where;
362    
363            $sql .= " order by log.time desc";
364            $sql .= " limit " . $args->{limit} if ($args->{limit});
365    
366            #warn "### sql: $sql ", dump( @args );
367    
368            my $sth = $dbh->prepare( $sql );
369            eval { $sth->execute( @args ) };
370            return if $@;
371    
372          my $last_row = {          my $last_row = {
373                  date => '',                  date => '',
374                  time => '',                  time => '',
# Line 399  my $cloud = HTML::TagCloud->new; Line 489  my $cloud = HTML::TagCloud->new;
489    
490  =head2 add_tag  =head2 add_tag
491    
492   add_tag( id => 42, message => 'irc message' );   add_tag( id => 42, message => 'irc message', nick => 'foobar' [, me => 1 ] );
493    
494  =cut  =cut
495    
496    my @last_tags;
497    
498  sub add_tag {  sub add_tag {
499          my $arg = {@_};          my $arg = {@_};
500    
501          return unless ($arg->{id} && $arg->{message});          return unless ($arg->{id} && $arg->{message});
502    
503          my $m = $arg->{message};          my $m = $arg->{message};
504          from_to('UTF-8', 'iso-8859-2', $m) if (is_utf8($m));  
505            my @tags;
506    
507          while ($m =~ s#$tag_regex##s) {          while ($m =~ s#$tag_regex##s) {
508                  my $tag = $1;                  my $tag = $1;
509                  next if (! $tag || $tag =~ m/https?:/i);                  next if (! $tag || $tag =~ m/https?:/i);
510                  push @{ $tags->{$tag} }, $arg->{id};                  push @{ $tags->{$tag} }, $arg->{id};
511                  #warn "+tag $tag: $arg->{id}\n";                  #warn "+tag $tag: $arg->{id}\n";
512                  $cloud->add($tag, "?tag=$tag", scalar @{$tags->{$tag}} + 1);                  $cloud->add($tag, "$url?tag=$tag", scalar @{$tags->{$tag}} + 1);
513                    push @tags, $tag;
514    
515            }
516    
517            if ( @tags ) {
518                    pop @last_tags if $#last_tags == $last_x_tags;
519                    unshift @last_tags, { tags => [ @tags ], %$arg };
520          }          }
521    
522  }  }
523    
524  =head2 seed_tags  =head2 seed_tags
# Line 427  Read all tags from database and create i Line 528  Read all tags from database and create i
528  =cut  =cut
529    
530  sub seed_tags {  sub seed_tags {
531          my $sth = $dbh->prepare(qq{ select id,message from log where message like '%//%' });          my $sth = $dbh->prepare(qq{ select id,message,nick,me,time from log where message like '%//%' order by time asc });
532          $sth->execute;          $sth->execute;
533          while (my $row = $sth->fetchrow_hashref) {          while (my $row = $sth->fetchrow_hashref) {
534                  add_tag( %$row );                  add_tag( %$row );
535          }          }
536    
537          foreach my $tag (keys %$tags) {          foreach my $tag (keys %$tags) {
538                  $cloud->add($tag, "?tag=$tag", scalar @{$tags->{$tag}} + 1);                  $cloud->add($tag, "$url?tag=$tag", scalar @{$tags->{$tag}} + 1);
539          }          }
540  }  }
541    
# Line 447  seed_tags; Line 548  seed_tags;
548          channel => '#foobar',          channel => '#foobar',
549          me => 0,          me => 0,
550          nick => 'dpavlin',          nick => 'dpavlin',
551          msg => 'test message',          message => 'test message',
552          time => '2006-06-25 18:57:18',          time => '2006-06-25 18:57:18',
553    );    );
554    
# Line 459  C<me> if not specified will be C<0> (not Line 560  C<me> if not specified will be C<0> (not
560    
561  sub save_message {  sub save_message {
562          my $a = {@_};          my $a = {@_};
563            confess "have msg" if $a->{msg};
564          $a->{me} ||= 0;          $a->{me} ||= 0;
565          $a->{time} ||= strftime($TIMESTAMP,localtime());          $a->{time} ||= strftime($TIMESTAMP,localtime());
566    
567          _log          _log
568                  $a->{channel}, " ",                  $a->{channel}, " ",
569                  $a->{me} ? "***" . $a->{nick} : "<" . $a->{nick} . ">",                  $a->{me} ? "***" . $a->{nick} : "<" . $a->{nick} . ">",
570                  " " . $a->{msg};                  " " . $a->{message};
   
         from_to($a->{msg}, 'UTF-8', $ENCODING);  
571    
572          $sth->execute($a->{channel}, $a->{me}, $a->{nick}, $a->{msg}, $a->{time});          $sth_insert_log->execute($a->{channel}, $a->{me}, $a->{nick}, $a->{message}, $a->{time});
573          add_tag( id => $dbh->last_insert_id(undef,undef,"log",undef),          add_tag( id => $dbh->last_insert_id(undef,undef,"log",undef), %$a );
                 message => $a->{msg});  
574  }  }
575    
576    
577  if ($import_dircproxy) {  if ($import_dircproxy) {
578          open(my $l, $import_dircproxy) || die "can't open $import_dircproxy: $!";          open(my $l, $import_dircproxy) || die "can't open $import_dircproxy: $!";
579          warn "importing $import_dircproxy...\n";          warn "importing $import_dircproxy...\n";
580          my $tz_offset = 2 * 60 * 60;    # TZ GMT+2          my $tz_offset = 1 * 60 * 60;    # TZ GMT+2
581          while(<$l>) {          while(<$l>) {
582                  chomp;                  chomp;
583                  if (/^@(\d+)\s(\S+)\s(.+)$/) {                  if (/^@(\d+)\s(\S+)\s(.+)$/) {
# Line 496  if ($import_dircproxy) { Line 595  if ($import_dircproxy) {
595                                  channel => $CHANNEL,                                  channel => $CHANNEL,
596                                  me => $me,                                  me => $me,
597                                  nick => $nick,                                  nick => $nick,
598                                  msg => $msg,                                  message => $msg,
599                                  time => $dt->ymd . " " . $dt->hms,                                  time => $dt->ymd . " " . $dt->hms,
600                          ) if ($nick !~ m/^-/);                          ) if ($nick !~ m/^-/);
601    
# Line 509  if ($import_dircproxy) { Line 608  if ($import_dircproxy) {
608          exit;          exit;
609  }  }
610    
611    #
612    # RSS follow
613    #
614    
615    my $_rss;
616    
617    
618    sub rss_fetch {
619            my ($args) = @_;
620    
621            # how many messages to send out when feed is seen for the first time?
622            my $send_rss_msgs = 1;
623    
624            _log "RSS fetch", $args->{url};
625    
626            my $feed = XML::Feed->parse(URI->new( $args->{url} ));
627            if ( ! $feed ) {
628                    _log("can't fetch RSS ", $args->{url});
629                    return;
630            }
631    
632            my ( $total, $updates ) = ( 0, 0 );
633            for my $entry ($feed->entries) {
634                    $total++;
635    
636                    # seen allready?
637                    next if $_rss->{$feed->link}->{seen}->{$entry->id}++ > 0;
638    
639                    sub prefix {
640                            my ($txt,$var) = @_;
641                            $var =~ s/^\s+//g;
642                            return $txt . $var if $var;
643                    }
644    
645                    my $msg;
646                    $msg .= prefix( 'From: ' , $args->{name} || $feed->title );
647                    $msg .= prefix( ' by ' , $entry->author );
648                    $msg .= prefix( ' | ' , $entry->title );
649                    $msg .= prefix( ' | ' , $entry->link );
650    #               $msg .= prefix( ' id ' , $entry->id );
651    
652                    if ( $args->{kernel} && $send_rss_msgs ) {
653                            $send_rss_msgs--;
654                            _log('>>', $msg);
655                            $sth_insert_log->execute( $CHANNEL, 1, $NICK, $msg, 'now()' );
656                            $args->{kernel}->post( $IRC_ALIAS => notice => $CHANNEL, $msg );
657                            $updates++;
658                    }
659            }
660    
661            my $sql = qq{ update feeds set last_update = now(), polls = polls + 1 };
662            $sql .= qq{, updates = updates + $updates } if $updates;
663            $sql .= qq{where id = } . $args->{id};
664            eval { $dbh->do( $sql ) };
665    
666            _log "RSS got $total items of which $updates new";
667    
668            return $updates;
669    }
670    
671    sub rss_fetch_all {
672            my $kernel = shift;
673            my $sql = qq{
674                    select id, url, name
675                    from feeds
676                    where active is true
677            };
678            # limit to newer feeds only if we are not sending messages out
679            $sql .= qq{     and last_update + delay < now() } if $kernel;
680            my $sth = $dbh->prepare( $sql );
681            $sth->execute();
682            warn "# ",$sth->rows," active RSS feeds\n";
683            my $count = 0;
684            while (my $row = $sth->fetchrow_hashref) {
685                    $row->{kernel} = $kernel if $kernel;
686                    $count += rss_fetch( $row );
687            }
688            return "OK, fetched $count posts from " . $sth->rows . " feeds";
689    }
690    
691    
692    sub rss_check_updates {
693            my $kernel = shift;
694            my $last_t = $_rss->{last_poll} || time();
695            my $t = time();
696            if ( $t - $last_t > $rss_min_delay ) {
697                    $_rss->{last_poll} = $t;
698                    _log rss_fetch_all( $kernel );
699            }
700    }
701    
702    # seed rss seen cache so we won't send out all items on startup
703    _log rss_fetch_all;
704    
705  #  #
706  # POE handing part  # POE handing part
707  #  #
708    
 my $SKIPPING = 0;               # if skipping, how many we've done  
 my $SEND_QUEUE;                 # cache  
709  my $ping;                                               # ping stats  my $ping;                                               # ping stats
710    
711  POE::Component::IRC->new($IRC_ALIAS);  POE::Component::IRC->new($IRC_ALIAS);
712    
713  POE::Session->create( inline_states =>  POE::Session->create( inline_states => {
714     {_start => sub {                _start => sub {      
715                  $_[KERNEL]->post($IRC_ALIAS => register => 'all');                  $_[KERNEL]->post($IRC_ALIAS => register => 'all');
716                  $_[KERNEL]->post($IRC_ALIAS => connect => $CONNECT);                  $_[KERNEL]->post($IRC_ALIAS => connect => $CONNECT);
717      },      },
718      irc_255 => sub {    # server is done blabbing      irc_255 => sub {    # server is done blabbing
719                  $_[KERNEL]->post($IRC_ALIAS => join => $CHANNEL);                  $_[KERNEL]->post($IRC_ALIAS => join => $CHANNEL);
                 $_[KERNEL]->post($IRC_ALIAS => join => '#logger');  
                 $_[KERNEL]->yield("heartbeat"); # start heartbeat  
 #               $_[KERNEL]->yield("my_add", $_) for keys %FOLLOWS;  
720                  $_[KERNEL]->post( $IRC_ALIAS => privmsg => 'nickserv', "IDENTIFY $NICK" );                  $_[KERNEL]->post( $IRC_ALIAS => privmsg => 'nickserv', "IDENTIFY $NICK" );
721      },      },
722      irc_public => sub {      irc_public => sub {
# Line 538  POE::Session->create( inline_states => Line 725  POE::Session->create( inline_states =>
725                  my $channel = $_[ARG1]->[0];                  my $channel = $_[ARG1]->[0];
726                  my $msg = $_[ARG2];                  my $msg = $_[ARG2];
727    
728                  save_message( channel => $channel, me => 0, nick => $nick, msg => $msg);                  save_message( channel => $channel, me => 0, nick => $nick, message => $msg);
729                  meta( $nick, $channel, 'last-msg', $msg );                  meta( $nick, $channel, 'last-msg', $msg );
730      },      },
731      irc_ctcp_action => sub {      irc_ctcp_action => sub {
# Line 547  POE::Session->create( inline_states => Line 734  POE::Session->create( inline_states =>
734                  my $channel = $_[ARG1]->[0];                  my $channel = $_[ARG1]->[0];
735                  my $msg = $_[ARG2];                  my $msg = $_[ARG2];
736    
737                  save_message( channel => $channel, me => 1, nick => $nick, msg => $msg);                  save_message( channel => $channel, me => 1, nick => $nick, message => $msg);
738    
739                  if ( $use_twitter ) {                  if ( $use_twitter ) {
740                          if ( my $twitter = meta( $nick, $NICK, 'twitter' ) ) {                          if ( my $twitter = meta( $nick, $NICK, 'twitter' ) ) {
# Line 560  POE::Session->create( inline_states => Line 747  POE::Session->create( inline_states =>
747    
748      },      },
749          irc_ping => sub {          irc_ping => sub {
750                  warn "pong ", $_[ARG0], $/;                  _log( "pong ", $_[ARG0] );
751                  $ping->{ $_[ARG0] }++;                  $ping->{ $_[ARG0] }++;
752                    rss_check_updates( $_[KERNEL] );
753          },          },
754          irc_invite => sub {          irc_invite => sub {
755                  my $kernel = $_[KERNEL];                  my $kernel = $_[KERNEL];
756                  my $nick = (split /!/, $_[ARG0])[0];                  my $nick = (split /!/, $_[ARG0])[0];
757                  my $channel = $_[ARG1];                  my $channel = $_[ARG1];
758    
759                  warn "invited to $channel by $nick";                  _log "invited to $channel by $nick";
760    
761                  $_[KERNEL]->post( $IRC_ALIAS => privmsg => $nick, "how nice of you to invite me to $channel, I'll be right there..." );                  $_[KERNEL]->post( $IRC_ALIAS => privmsg => $nick, "how nice of you to invite me to $channel, I'll be right there..." );
762                  $_[KERNEL]->post($IRC_ALIAS => join => $channel);                  $_[KERNEL]->post($IRC_ALIAS => join => $channel);
# Line 579  POE::Session->create( inline_states => Line 767  POE::Session->create( inline_states =>
767                  my $nick = (split /!/, $_[ARG0])[0];                  my $nick = (split /!/, $_[ARG0])[0];
768                  my $msg = $_[ARG2];                  my $msg = $_[ARG2];
769                  my $channel = $_[ARG1]->[0];                  my $channel = $_[ARG1]->[0];
                 from_to($msg, 'UTF-8', $ENCODING);  
770    
771                  my $res = "unknown command '$msg', try /msg $NICK help!";                  my $res = "unknown command '$msg', try /msg $NICK help!";
772                  my @out;                  my @out;
# Line 623  POE::Session->create( inline_states => Line 810  POE::Session->create( inline_states =>
810    
811                          foreach my $res (get_from_log( limit => $limit )) {                          foreach my $res (get_from_log( limit => $limit )) {
812                                  _log "last: $res";                                  _log "last: $res";
                                 from_to($res, $ENCODING, 'UTF-8');  
813                                  $_[KERNEL]->post( $IRC_ALIAS => privmsg => $nick, $res );                                  $_[KERNEL]->post( $IRC_ALIAS => privmsg => $nick, $res );
814                          }                          }
815    
# Line 638  POE::Session->create( inline_states => Line 824  POE::Session->create( inline_states =>
824                                          search => $what,                                          search => $what,
825                                  )) {                                  )) {
826                                  _log "search [$what]: $res";                                  _log "search [$what]: $res";
                                 from_to($res, $ENCODING, 'UTF-8');  
827                                  $_[KERNEL]->post( $IRC_ALIAS => privmsg => $nick, $res );                                  $_[KERNEL]->post( $IRC_ALIAS => privmsg => $nick, $res );
828                          }                          }
829    
# Line 708  POE::Session->create( inline_states => Line 893  POE::Session->create( inline_states =>
893                                          $res = "config option $op doesn't exist";                                          $res = "config option $op doesn't exist";
894                                  }                                  }
895                          }                          }
896                    } elsif ($msg =~ m/^rss-update/) {
897                            $res = rss_fetch_all( $_[KERNEL] );
898                    } elsif ($msg =~ m/^rss-clean/) {
899                            $_rss = undef;
900                            $dbh->do( qq{ update feeds set last_update = now() - delay } );
901                            $res = "OK, cleaned RSS cache";
902                    } elsif ($msg =~ m/^rss-list/) {
903                            my $sth = $dbh->prepare(qq{ select url,name,last_update,active from feeds });
904                            $sth->execute;
905                            while (my @row = $sth->fetchrow_array) {
906                                    $_[KERNEL]->post( $IRC_ALIAS => privmsg => $nick, join(' | ',@row) );
907                            }
908                            $res = '';
909                    } elsif ($msg =~ m!^rss-(add|remove|stop|start)\s+(http://\S+)\s*(.*)!) {
910                            my $sql = {
911                                    add             => qq{ insert into feeds (url,name) values (?,?) },
912    #                               remove  => qq{ delete from feeds                                where url = ? and name = ? },
913                                    start   => qq{ update feeds set active = true   where url = ? },
914                                    stop    => qq{ update feeds set active = false  where url = ? },
915                                    
916                            };
917                            if (my $q = $sql->{$1} ) {
918                                    my $sth = $dbh->prepare( $q );
919                                    my @data = ( $2 );
920                                    push @data, $3 if ( $q =~ s/\?//g == 2 );
921                                    warn "## $1 SQL $q with ",dump( @data ),"\n";
922                                    eval { $sth->execute( @data ) };
923                            }
924    
925                            $res = "OK, RSS $1 : $2 - $3";
926                  }                  }
927    
928                  if ($res) {                  if ($res) {
929                          _log ">> [$nick] $res";                          _log ">> [$nick] $res";
                         from_to($res, $ENCODING, 'UTF-8');  
930                          $_[KERNEL]->post( $IRC_ALIAS => privmsg => $nick, $res );                          $_[KERNEL]->post( $IRC_ALIAS => privmsg => $nick, $res );
931                  }                  }
932    
933                    rss_check_updates( $_[KERNEL] );
934          },          },
935          irc_477 => sub {          irc_477 => sub {
936                  _log "# irc_477: ",$_[ARG1];                  _log "# irc_477: ",$_[ARG1];
# Line 754  POE::Session->create( inline_states => Line 969  POE::Session->create( inline_states =>
969                          "";                          "";
970        0;                        # false for signals        0;                        # false for signals
971      },      },
     my_add => sub {  
       my $trailing = $_[ARG0];  
       my $session = $_[SESSION];  
       POE::Session->create  
           (inline_states =>  
            {_start => sub {  
               $_[HEAP]->{wheel} =  
                 POE::Wheel::FollowTail->new  
                     (  
                      Filename => $FOLLOWS{$trailing},  
                      InputEvent => 'got_line',  
                     );  
             },  
             got_line => sub {  
               $_[KERNEL]->post($session => my_tailed =>  
                                time, $trailing, $_[ARG0]);  
             },  
            },  
           );  
       
     },  
     my_tailed => sub {  
       my ($time, $file, $line) = @_[ARG0..ARG2];  
       ## $time will be undef on a probe, or a time value if a real line  
   
       ## PoCo::IRC has throttling built in, but no external visibility  
       ## so this is reaching "under the hood"  
       $SEND_QUEUE ||=  
         $_[KERNEL]->alias_resolve($IRC_ALIAS)->get_heap->{send_queue};  
   
       ## handle "no need to keep skipping" transition  
       if ($SKIPPING and @$SEND_QUEUE < 1) {  
         $_[KERNEL]->post($IRC_ALIAS => privmsg => $CHANNEL =>  
                          "[discarded $SKIPPING messages]");  
         $SKIPPING = 0;  
       }  
   
       ## handle potential message display  
       if ($time) {  
         if ($SKIPPING or @$SEND_QUEUE > 3) { # 3 msgs per 10 seconds  
           $SKIPPING++;  
         } else {  
           my @time = localtime $time;  
           $_[KERNEL]->post($IRC_ALIAS => privmsg => $CHANNEL =>  
                            sprintf "%02d:%02d:%02d: %s: %s",  
                            ($time[2] + 11) % 12 + 1, $time[1], $time[0],  
                            $file, $line);  
         }  
       }  
   
       ## handle re-probe/flush if skipping  
       if ($SKIPPING) {  
         $_[KERNEL]->delay($_[STATE] => 0.5); # $time will be undef  
       }  
   
     },  
     my_heartbeat => sub {  
       $_[KERNEL]->yield(my_tailed => time, "heartbeat", "beep");  
       $_[KERNEL]->delay($_[STATE] => 10);  
     }  
972     },     },
973    );    );
974    
975  # http server  # http server
976    
977  my $httpd = POE::Component::Server::HTTP->new(  my $httpd = POE::Component::Server::HTTP->new(
978          Port => $NICK =~ m/-dev/ ? 8001 : 8000,          Port => $http_port,
979            PreHandler => {
980                    '/' => sub {
981                            $_[0]->header(Connection => 'close')
982                    }
983            },
984          ContentHandler => { '/' => \&root_handler },          ContentHandler => { '/' => \&root_handler },
985          Headers        => { Server => 'irc-logger' },          Headers        => { Server => 'irc-logger' },
986  );  );
987    
 my %escape = ('<'=>'&lt;', '>'=>'&gt;', '&'=>'&amp;', '"'=>'&quot;');  
 my $escape_re  = join '|' => keys %escape;  
   
988  my $style = <<'_END_OF_STYLE_';  my $style = <<'_END_OF_STYLE_';
989  p { margin: 0; padding: 0.1em; }  p { margin: 0; padding: 0.1em; }
990  .time, .channel { color: #808080; font-size: 60%; }  .time, .channel { color: #808080; font-size: 60%; }
# Line 845  hr { border: 1px dashed #ccc; height: 1p Line 1002  hr { border: 1px dashed #ccc; height: 1p
1002  .col-3 { background: #ff9999 }  .col-3 { background: #ff9999 }
1003  .col-4 { background: #ff66ff }  .col-4 { background: #ff66ff }
1004  */  */
1005    .calendar { border: 1px solid red; width: 100%; }
1006    .month { border: 0px; width: 100%; }
1007  _END_OF_STYLE_  _END_OF_STYLE_
1008    
1009  my $max_color = 4;  $max_color = 0;
1010    
1011  my @cols = qw(  my @cols = qw(
1012          #ffcccc #ccffe6 #ccccff #e6ccff #ffccff #ffcce6 #ff9999 #ffcc99 #ffff99          #ffcccc #ccffe6 #ccccff #e6ccff #ffccff #ffcce6 #ff9999 #ffcc99 #ffff99
# Line 857  my @cols = qw( Line 1016  my @cols = qw(
1016          #999900 #009900 #cc0066 #c0c0c0 #ccff99 #99ff33 #808080 #660033 #ffffff          #999900 #009900 #cc0066 #c0c0c0 #ccff99 #99ff33 #808080 #660033 #ffffff
1017  );  );
1018    
 $max_color = 0;  
1019  foreach my $c (@cols) {  foreach my $c (@cols) {
1020          $style .= ".col-${max_color} { background: $c }\n";          $style .= ".col-${max_color} { background: $c }\n";
1021          $max_color++;          $max_color++;
1022  }  }
1023  warn "defined $max_color colors for users...\n";  warn "defined $max_color colors for users...\n";
1024    
 my %nick_enumerator;  
   
1025  sub root_handler {  sub root_handler {
1026          my ($request, $response) = @_;          my ($request, $response) = @_;
1027          $response->code(RC_OK);          $response->code(RC_OK);
1028          $response->content_type("text/html; charset=$ENCODING");  
1029            # this doesn't seem to work, so moved to PreHandler
1030            #$response->header(Connection => 'close');
1031    
1032            return RC_OK if $request->uri =~ m/favicon.ico$/;
1033    
1034          my $q;          my $q;
1035    
# Line 883  sub root_handler { Line 1043  sub root_handler {
1043    
1044          my $search = $q->param('search') || $q->param('grep') || '';          my $search = $q->param('search') || $q->param('grep') || '';
1045    
1046            if ($request->url =~ m#/rss(?:/(tags|last-tag|follow.*)\w*(?:=(\d+))?)?#i) {
1047                    my $show = lc($1);
1048                    my $nr = $2;
1049    
1050                    my $type = 'RSS';       # Atom
1051    
1052                    $response->content_type( 'application/' . lc($type) . '+xml' );
1053    
1054                    my $html = '<!-- error -->';
1055                    #warn "create $type feed from ",dump( @last_tags );
1056    
1057                    my $feed = XML::Feed->new( $type );
1058                    $feed->link( $url );
1059    
1060                    if ( $show eq 'tags' ) {
1061                            $nr ||= 50;
1062                            $feed->title( "tags from $CHANNEL" );
1063                            $feed->link( "$url/tags" );
1064                            $feed->description( "tag cloud created from messages on channel $CHANNEL which have tags// in them" );
1065                            my $feed_entry = XML::Feed::Entry->new($type);
1066                            $feed_entry->title( "$nr tags from $CHANNEL" );
1067                            $feed_entry->author( $NICK );
1068                            $feed_entry->link( '/#tags'  );
1069    
1070                            $feed_entry->content(
1071                                    qq{<![CDATA[<style type="text/css">}
1072                                    . $cloud->css
1073                                    . qq{</style>}
1074                                    . $cloud->html( $nr )
1075                                    . qq{]]>}
1076                            );
1077                            $feed->add_entry( $feed_entry );
1078    
1079                    } elsif ( $show eq 'last-tag' ) {
1080    
1081                            $nr ||= $last_x_tags;
1082                            $nr = $last_x_tags if $nr > $last_x_tags;
1083    
1084                            $feed->title( "last $nr tagged messages from $CHANNEL" );
1085                            $feed->description( "collects messages which have tags// in them" );
1086    
1087                            foreach my $m ( @last_tags ) {
1088    #                               warn dump( $m );
1089                                    #my $tags = join(' ', @{$m->{tags}} );
1090                                    my $feed_entry = XML::Feed::Entry->new($type);
1091                                    $feed_entry->title( $m->{nick} . '@' . $m->{time} );
1092                                    $feed_entry->author( $m->{nick} );
1093                                    $feed_entry->link( '/#' . $m->{id}  );
1094                                    $feed_entry->issued( DateTime::Format::Flexible->build( $m->{time} ) );
1095    
1096                                    my $message = $filter->{message}->( $m->{message} );
1097                                    $message .= "<br/>\n" unless $message =~ m!<(/p|br/?)>!;
1098    #                               warn "## message = $message\n";
1099    
1100                                    #$feed_entry->summary(
1101                                    $feed_entry->content(
1102                                            "<![CDATA[$message]]>"
1103                                    );
1104                                    $feed_entry->category( join(', ', @{$m->{tags}}) );
1105                                    $feed->add_entry( $feed_entry );
1106    
1107                                    $nr--;
1108                                    last if $nr <= 0;
1109    
1110                            }
1111    
1112                    } elsif ( $show =~ m/^follow/ ) {
1113    
1114                            $feed->title( "Feeds which this bot follows" );
1115    
1116                            my $sth = $dbh->prepare( qq{ select * from feeds order by last_update desc } );
1117                            $sth->execute;
1118                            while (my $row = $sth->fetchrow_hashref) {
1119                                    my $feed_entry = XML::Feed::Entry->new($type);
1120                                    $feed_entry->title( $row->{name} );
1121                                    $feed_entry->link( $row->{url}  );
1122                                    $feed_entry->issued( DateTime::Format::Flexible->build( $row->{last_update} ) );
1123                                    $feed_entry->content(
1124                                            '<![CDATA[<pre>' . dump( $row ) . '</pre>]]>'
1125                                    );
1126                                    $feed->add_entry( $feed_entry );
1127                            }
1128    
1129                    } else {
1130                            _log "unknown rss request ",$request->url;
1131                            return RC_DENY;
1132                    }
1133    
1134                    $response->content( $feed->as_xml );
1135                    return RC_OK;
1136            }
1137    
1138            if ( $@ ) {
1139                    warn "$@";
1140            }
1141    
1142            $response->content_type("text/html; charset=UTF-8");
1143    
1144          my $html =          my $html =
1145                  qq{<html><head><title>$NICK</title><style type="text/css">$style} .                  qq{<html><head><title>$NICK</title><style type="text/css">$style}
1146                  $cloud->css .                  . $cloud->css
1147                  qq{</style></head><body>} .                  . qq{</style></head><body>}
1148                  qq{                  . qq{
1149                  <form method="post" class="search" action="/">                  <form method="post" class="search" action="/">
1150                  <input type="text" name="search" value="$search" size="10">                  <input type="text" name="search" value="$search" size="10">
1151                  <input type="submit" value="search">                  <input type="submit" value="search">
1152                  </form>                  </form>
1153                  } .                  }
1154                  $cloud->html(500) .                  . $cloud->html(500)
1155                  qq{<p>};                  . qq{<p>};
1156          if ($request->url =~ m#/history#) {  
1157            if ($request->url =~ m#/tags?#) {
1158                    # nop
1159            } elsif ($request->url =~ m#/history#) {
1160                  my $sth = $dbh->prepare(qq{                  my $sth = $dbh->prepare(qq{
1161                          select date(time) as date,count(*) as nr                          select date(time) as date,count(*) as nr,sum(length(message)) as len
1162                                  from log                                  from log
1163                                  group by date(time)                                  group by date(time)
1164                                  order by date(time) desc                                  order by date(time) desc
1165                  });                  });
1166                  $sth->execute();                  $sth->execute();
1167                  my ($l_yyyy,$l_mm) = (0,0);                  my ($l_yyyy,$l_mm) = (0,0);
1168                    $html .= qq{<table class="calendar"><tr>};
1169                  my $cal;                  my $cal;
1170                    my $ord = 0;
1171                  while (my $row = $sth->fetchrow_hashref) {                  while (my $row = $sth->fetchrow_hashref) {
1172                          # this is probably PostgreSQL specific, expects ISO date                          # this is probably PostgreSQL specific, expects ISO date
1173                          my ($yyyy,$mm,$dd) = split(/-/, $row->{date});                          my ($yyyy,$mm,$dd) = split(/-/, $row->{date});
1174                          if ($yyyy != $l_yyyy || $mm != $l_mm) {                          if ($yyyy != $l_yyyy || $mm != $l_mm) {
1175                                  $html .= $cal->as_HTML() if ($cal);                                  if ( $cal ) {
1176                                            $html .= qq{<td valign="top">} . $cal->as_HTML() . qq{</td>};
1177                                            $ord++;
1178                                            $html .= qq{</tr><tr>} if ( $ord % 3 == 0 );
1179                                    }
1180                                  $cal = new HTML::CalendarMonthSimple('month'=>$mm,'year'=>$yyyy);                                  $cal = new HTML::CalendarMonthSimple('month'=>$mm,'year'=>$yyyy);
1181                                  $cal->border(2);                                  $cal->border(1);
1182                                    $cal->width('30%');
1183                                    $cal->cellheight('5em');
1184                                    $cal->tableclass('month');
1185                                    #$cal->cellclass('day');
1186                                    $cal->sunday('SUN');
1187                                    $cal->saturday('SAT');
1188                                    $cal->weekdays('MON','TUE','WED','THU','FRI');
1189                                  ($l_yyyy,$l_mm) = ($yyyy,$mm);                                  ($l_yyyy,$l_mm) = ($yyyy,$mm);
1190                          }                          }
1191                          $cal->setcontent($dd, qq{                          $cal->setcontent($dd, qq[
1192                                  <a href="/?date=$row->{date}">$row->{nr}</a>                                  <a href="$url?date=$row->{date}">$row->{nr}</a><br/>$row->{len}
1193                          });                          ]) if $cal;
1194                            
1195                  }                  }
1196                  $html .= $cal->as_HTML() if ($cal);                  $html .= qq{<td valign="top">} . $cal->as_HTML() . qq{</td></tr></table>};
1197    
1198          } else {          } else {
1199                  $html .= join("</p><p>",                  $html .= join("</p><p>",
1200                          get_from_log(                          get_from_log(
1201                                  limit => $q->param('last') || $q->param('date') ? undef : 100,                                  limit => ( $q->param('last') || $q->param('date') ) ? undef : 100,
1202                                  search => $search || undef,                                  search => $search || undef,
1203                                  tag => $q->param('tag') || undef,                                  tag => $q->param('tag') || undef,
1204                                  date => $q->param('date') || undef,                                  date => $q->param('date') || undef,
1205                                  fmt => {                                  fmt => {
1206                                          date => sub {                                          date => sub {
1207                                                  my $date = shift || return;                                                  my $date = shift || return;
1208                                                  qq{<hr/><div class="date"><a href="/?date=$date">$date</a></div>};                                                  qq{<hr/><div class="date"><a href="$url?date=$date">$date</a></div>};
1209                                          },                                          },
1210                                          time => '<span class="time">%s</span> ',                                          time => '<span class="time">%s</span> ',
1211                                          time_channel => '<span class="channel">%s %s</span> ',                                          time_channel => '<span class="channel">%s %s</span> ',
# Line 938  sub root_handler { Line 1213  sub root_handler {
1213                                          me_nick => '***%s&nbsp;',                                          me_nick => '***%s&nbsp;',
1214                                          message => '<span class="message">%s</span>',                                          message => '<span class="message">%s</span>',
1215                                  },                                  },
1216                                  filter => {                                  filter => $filter,
                                         message => sub {  
                                                 my $m = shift || return;  
                                                 $m =~ s/($escape_re)/$escape{$1}/gs;  
                                                 $m =~ s#($RE{URI}{HTTP})#<a href="$1">$1</a>#gs;  
                                                 $m =~ s#$tag_regex#<a href="?tag=$1" class="tag">$1</a>#g;  
                                                 $m =~ s#\*(\w+)\*#<b>$1</b>#gs;  
                                                 $m =~ s#_(\w+)_#<u>$1</u>#gs;  
                                                 $m =~ s#\/(\w+)\/#<i>$1</i>#gs;  
                                                 return $m;  
                                         },  
                                         nick => sub {  
                                                 my $n = shift || return;  
                                                 if (! $nick_enumerator{$n})  {  
                                                         my $max = scalar keys %nick_enumerator;  
                                                         $nick_enumerator{$n} = $max + 1;  
                                                 }  
                                                 return '<span class="nick col-' .  
                                                         ( $nick_enumerator{$n} % $max_color ) .  
                                                         '">' . $n . '</span>';  
                                         },  
                                 },  
1217                          )                          )
1218                  );                  );
1219          }          }
# Line 970  sub root_handler { Line 1224  sub root_handler {
1224          </body></html>};          </body></html>};
1225    
1226          $response->content( $html );          $response->content( $html );
1227            warn "<< ", $request->method, " ", $request->uri, " created ", length($html), " bytes\n";
1228          return RC_OK;          return RC_OK;
1229  }  }
1230    
Legend:
Removed from v.60  
changed lines
  Added in v.92
  ViewVC Help
Powered by ViewVC 1.1.26