/[svn2cvs]/trunk/svn2cvs.pl
This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!
ViewVC logotype

Diff of /trunk/svn2cvs.pl

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 20 by dpavlin, Mon Apr 18 16:43:08 2005 UTC revision 41 by dpavlin, Sat Sep 22 13:52:30 2007 UTC
# Line 13  Line 13 
13    
14  use strict;  use strict;
15  use File::Temp qw/ tempdir /;  use File::Temp qw/ tempdir /;
16    use File::Path;
17  use Data::Dumper;  use Data::Dumper;
18  use XML::Simple;  use XML::Simple;
19    
20  if (@ARGV < 2) {  # do we want to sync just part of repository?
21    my $partial_import = 1;
22    
23    # do we want to add svk-like prefix with original revision, author and date?
24    my $decorate_commit_message = 1;
25    
26    if ( @ARGV < 2 ) {
27          print "usage: $0 SVN_URL CVSROOT CVSREPOSITORY\n";          print "usage: $0 SVN_URL CVSROOT CVSREPOSITORY\n";
28          exit 1;          exit 1;
29  }  }
30    
31  my ($SVNROOT,$CVSROOT, $CVSREP) = @ARGV;  my ( $SVNROOT, $CVSROOT, $CVSREP ) = @ARGV;
32    
33  if ($SVNROOT !~ m,^[\w+]+:///*\w+,) {  if ( $SVNROOT !~ m,^[\w+]+:///*\w+, ) {
34          print "ERROR: invalid svn root $SVNROOT\n";          print "ERROR: invalid svn root $SVNROOT\n";
35          exit 1;          exit 1;
36  }  }
37    
38  my $TMPDIR=tempdir( "/tmp/checkoutXXXXX", CLEANUP => 1 );  # Ensure File::Temp::END can clean up:
39    $SIG{__DIE__} = sub { chdir("/tmp"); die @_ };
40    
41    my $TMPDIR = tempdir( "/tmp/checkoutXXXXX", CLEANUP => 1 );
42    
43    sub cd_tmp {
44            chdir($TMPDIR) || die "can't cd to $TMPDIR: $!";
45    }
46    
47    sub cd_rep {
48            chdir("$TMPDIR/$CVSREP") || die "can't cd to $TMPDIR/$CVSREP: $!";
49    }
50    
51  chdir($TMPDIR) || die "can't cd to $TMPDIR: $!";  print "## using TMPDIR $TMPDIR\n";
52    
53  # cvs command with root  # cvs command with root
54  my $cvs="cvs -d $CVSROOT";  my $cvs = "cvs -f -d $CVSROOT";
55    
56    # current revision in CVS
57    my $rev;
58    
59  #  #
60  # sub to do logging and system calls  # sub to do logging and system calls
61  #  #
62  sub log_system($$) {  sub log_system($$) {
63          my ($cmd,$errmsg) = @_;          my ( $cmd, $errmsg ) = @_;
64          print STDERR "## $cmd\n";          print STDERR "## $cmd\n";
65          system($cmd) == 0 || die "$errmsg: $!";          system($cmd) == 0 || die "$errmsg: $!";
66  }  }
# Line 48  sub log_system($$) { Line 69  sub log_system($$) {
69  # sub to commit .svn rev file later  # sub to commit .svn rev file later
70  #  #
71  sub commit_svnrev {  sub commit_svnrev {
72          my $rev = shift @_;          my $rev     = shift @_;
73          my $add_new = shift @_;          my $add_new = shift @_;
74    
75          die "commit_svnrev needs revision" if (! defined($rev));          die "commit_svnrev needs revision" if ( !defined($rev) );
76    
77          open(SVNREV,"> .svnrev") || die "can't open $TMPDIR/$CVSREP/.svnrev: $!";          open( SVNREV, "> .svnrev" )
78                    || die "can't open $TMPDIR/$CVSREP/.svnrev: $!";
79          print SVNREV $rev;          print SVNREV $rev;
80          close(SVNREV);          close(SVNREV);
81    
82          my $path=".svnrev";          my $path = ".svnrev";
83    
84          if ($add_new) {          if ($add_new) {
85                  system "$cvs add $path" || die "cvs add of $path failed: $!";                  system "$cvs add '$path'" || die "cvs add of $path failed: $!";
86          } else {          }
87                  my $msg="subversion revision $rev commited to CVS";          else {
88                    my $msg = "subversion revision $rev commited to CVS";
89                  print "$msg\n";                  print "$msg\n";
90                  system "$cvs commit -m '$msg' $path" || die "cvs commit of $path failed: $!";                  system "$cvs commit -m '$msg' '$path'"
91                            || die "cvs commit of $path failed: $!";
92          }          }
93  }  }
94    
95  # current revision in CVS  sub add_dir($$) {
96  my $rev;          my ( $path, $msg ) = @_;
97            print "# add_dir($path)\n";
98            die "add_dir($path) is not directory" unless ( -d $path );
99    
100            my $curr_dir;
101    
102            foreach my $d ( split( m#/#, $path ) ) {
103                    $curr_dir .= ( $curr_dir ? '/' : '' ) . $d;
104    
105                    next if in_entries($curr_dir);
106                    next if ( -e "$curr_dir/CVS" );
107    
108                    log_system( "$cvs add '$curr_dir'", "cvs add of $curr_dir failed" );
109            }
110    }
111    
112  # ok, now do the checkout  # ok, now do the checkout
113  eval {  eval {
114          log_system("$cvs -q checkout $CVSREP", "cvs checkout failed");          cd_tmp;
115            log_system( "$cvs -q checkout $CVSREP", "cvs checkout failed" );
116  };  };
117    
118  if ($@) {  if ($@) {
# Line 88  _NEW_REP_ Line 127  _NEW_REP_
127    
128          print "start import of new module [yes]: ";          print "start import of new module [yes]: ";
129          my $in = <STDIN>;          my $in = <STDIN>;
130            cd_tmp;
131          mkdir($CVSREP) || die "can't create $CVSREP: $!";          mkdir($CVSREP) || die "can't create $CVSREP: $!";
132            cd_rep;
133    
134          chdir($CVSREP) || die "can't cd to $TMPDIR/$CVSREP: $!";          open( SVNREV, "> .svnrev" ) || die "can't open $CVSREP/.svnrev: $!";
   
         open(SVNREV,"> .svnrev") || die "can't open $CVSREP/.svnrev: $!";  
135          print SVNREV "0";          print SVNREV "0";
136          close(SVNREV);          close(SVNREV);
137    
138          $rev = 0;          $rev = 0;
139    
140          # create new module          # create new module
141          log_system("$cvs import -m 'new CVS module' $CVSREP svn2cvs r0", "can't import new module into $CVSREP");          cd_rep;
142            log_system( "$cvs import -d -m 'new CVS module' $CVSREP svn r$rev",
143          unlink ".svnrev" || die "can't remove .svnrev: $!";                  "import of new repository" );
144          chdir($TMPDIR) || die "can't cd to $TMPDIR: $!";          cd_tmp;
145          rmdir $CVSREP || die "can't remove $CVSREP: $!";          rmtree($CVSREP) || die "can't remove $CVSREP";
146            log_system( "$cvs -q checkout $CVSREP", "cvs checkout failed" );
147          # and checkout it          cd_rep;
         log_system("$cvs -q checkout $CVSREP", "cvs checkout failed");  
   
         chdir($CVSREP) || die "can't cd to $TMPDIR/$CVSREP: $!";  
148    
149  } else {  }
150    else {
151    
152          # import into existing module directory in CVS          # import into existing module directory in CVS
153    
154          chdir($CVSREP) || die "can't cd to $TMPDIR/$CVSREP: $!";          cd_rep;
   
155    
156          # check if svnrev exists          # check if svnrev exists
157          if (! -e ".svnrev") {          if ( !-e ".svnrev" ) {
158                  print <<_USAGE_;                  print <<_USAGE_;
159    
160  Your CVS repository doesn't have .svnrev file!  Your CVS repository doesn't have .svnrev file!
# Line 140  _USAGE_ Line 176  _USAGE_
176                  print "svn revision corresponding to CVS [abort]: ";                  print "svn revision corresponding to CVS [abort]: ";
177                  my $in = <STDIN>;                  my $in = <STDIN>;
178                  chomp($in);                  chomp($in);
179                  if ($in !~ /^\d+$/) {                  if ( $in !~ /^\d+$/ ) {
180                          print "Aborting: revision not a number\n";                          print "Aborting: revision not a number\n";
181                          exit 1;                          exit 1;
182                  } else {                  }
183                    else {
184                          $rev = $in;                          $rev = $in;
185                          commit_svnrev($rev,1);  # create new                          commit_svnrev( $rev, 1 );    # create new
186                  }                  }
187          } else {          }
188                  open(SVNREV,".svnrev") || die "can't open $TMPDIR/$CVSREP/.svnrev: $!";          else {
189                    open( SVNREV, ".svnrev" )
190                            || die "can't open $TMPDIR/$CVSREP/.svnrev: $!";
191                  $rev = <SVNREV>;                  $rev = <SVNREV>;
192                  chomp($rev);                  chomp($rev);
193                  close(SVNREV);                  close(SVNREV);
# Line 158  _USAGE_ Line 197  _USAGE_
197          $rev++;          $rev++;
198  }  }
199    
   
200  #  #
201  # FIXME!! HEAD should really be next verison and loop because this way we  # FIXME!! HEAD should really be next verison and loop because this way we
202  # loose multiple edits of same file and corresponding messages. On the  # loose multiple edits of same file and corresponding messages. On the
# Line 166  _USAGE_ Line 204  _USAGE_
204  # case much about accuracy and completnes of logs there, this might  # case much about accuracy and completnes of logs there, this might
205  # be good. YMMV  # be good. YMMV
206  #  #
207  open(LOG, "svn log -r $rev:HEAD -v --xml $SVNROOT |") || die "svn log for repository $SVNROOT failed: $!";  open( LOG, "svn log -r $rev:HEAD -v --xml $SVNROOT |" )
208            || die "svn log for repository $SVNROOT failed: $!";
209  my $log;  my $log;
210  while(<LOG>) {  while (<LOG>) {
211          $log .= $_;          $log .= $_;
212  }  }
213  close(LOG);  close(LOG);
214    
215  my $xml = XMLin($log, ForceArray => [ 'logentry', 'path' ]);  my $xml;
216    eval { $xml = XMLin( $log, ForceArray => [ 'logentry', 'path' ] ); };
217    
218  #=begin log_example  #=begin log_example
219  #  #
# Line 187  my $xml = XMLin($log, ForceArray => [ 'l Line 226  my $xml = XMLin($log, ForceArray => [ 'l
226    
227  my $fmt = "\n" . "-" x 79 . "\nr%5s| %8s | %s\n\n%s\n";  my $fmt = "\n" . "-" x 79 . "\nr%5s| %8s | %s\n\n%s\n";
228    
229  if (! $xml->{'logentry'}) {  if ( !$xml->{'logentry'} ) {
230          print "no newer log entries in Subversion repostory. CVS is current\n";          print "no newer log entries in Subversion repostory. CVS is current\n";
231          exit 0;          exit 0;
232  }  }
233    
234    # return all files in CVS/Entries
235    sub entries($) {
236            my $dir = shift;
237            die "entries expects directory argument!" unless -d $dir;
238            my @entries;
239            open( my $fh, "./$dir/CVS/Entries" ) || return 0;
240            while (<$fh>) {
241                    if ( m{^D/([^/]+)}, ) {
242                            my $sub_dir = $1;
243                            warn "#### entries recurse into: $dir/$sub_dir";
244                            push @entries, map {"$sub_dir/$_"} entries("$dir/$sub_dir");
245                            push @entries, $sub_dir;
246                    }
247                    elsif (m{^/([^/]+)/}) {
248                            push @entries, $1;
249                    }
250                    elsif ( !m{^D$} ) {
251                            die "can't decode entries line: $_";
252                    }
253            }
254            close($fh);
255            warn "#### entries($dir) => ", join( "|", @entries );
256            return @entries;
257    }
258    
259  # check if file exists in CVS/Entries  # check if file exists in CVS/Entries
260  sub in_entries($) {  sub in_entries($) {
261          my $path = shift;          my $path = shift;
262          if ($path !~ m,^(.*?/*)([^/]+)$,) {          if ( $path =~ m,^(.*?/*)([^/]+)$, ) {
263                  die "can't split '$path' to dir and file!";                  my ( $dir, $file ) = ( $1, $2 );
264          } else {                  if ( $dir !~ m,/$, && $dir ne "" ) {
265                  my ($d,$f) = ($1,$2);                          $dir .= "/";
                 if ($d !~ m,/$, && $d ne "") {  
                         $d .= "/";  
                 }  
                 open(E, $d."CVS/Entries") || die "can't open ${d}CVS/Entries: $!";  
                 while(<E>) {  
                         return(1) if (m,^/$f/,);  
266                  }                  }
267                  close(E);  
268                    open( my $fh, "./$dir/CVS/Entries" )
269                            || return 0;    #die "no entries file: $dir/CVS/Entries";
270                    while (<$fh>) {
271                            return 1 if (m{^/$file/});
272                    }
273                    close($fh);
274                  return 0;                  return 0;
275          }          }
276            else {
277                    die "can't split '$path' to dir and file!";
278            }
279  }  }
280    
281  foreach my $e (@{$xml->{'logentry'}}) {  cd_tmp;
282          die "BUG: revision from .svnrev ($rev) greater than from subversion (".$e->{'revision'}.")" if ($rev > $e->{'revision'});  cd_rep;
283    
284    foreach my $e ( @{ $xml->{'logentry'} } ) {
285            die "BUG: revision from .svnrev ($rev) greater than from subversion ("
286                    . $e->{'revision'} . ")"
287                    if ( $rev > $e->{'revision'} );
288          $rev = $e->{'revision'};          $rev = $e->{'revision'};
289          log_system("svn export --force -q -r $rev $SVNROOT $TMPDIR/$CVSREP", "svn export of revision $rev failed");          log_system( "svn export --force -q -r $rev $SVNROOT $TMPDIR/$CVSREP",
290                    "svn export of revision $rev failed" );
291    
292          # deduce name of svn directory          # deduce name of svn directory
293          my $SVNREP = "";          my $SVNREP  = "";
294          my $tmpsvn = $SVNROOT || die "BUG: SVNROOT empty!";          my $tmpsvn  = $SVNROOT || die "BUG: SVNROOT empty!";
295          my $tmppath = $e->{'paths'}->{'path'}->[0]->{'content'} || die "BUG: tmppath empty!";          my $tmppath = $e->{'paths'}->{'path'}->[0]->{'content'}
296                    || die "BUG: tmppath empty!";
297          do {          do {
298                  if ($tmpsvn =~ s#(/[^/]+)/*$##) {                  if ( $tmpsvn =~ s#(/[^/]+)/*$## ) {    # vim fix
299                          $SVNREP = $1 . $SVNREP;                          $SVNREP = $1 . $SVNREP;
300                  } else {                  }
301                    elsif ( $e->{'paths'}->{'path'}->[0]->{'copyfrom-path'} ) {
302                            print
303                                    "NOTICE: copyfrom outside synced repository ignored - skipping\n";
304                            next;
305                    }
306                    else {
307                          print "NOTICE: can't deduce svn dir from $SVNROOT - skipping\n";                          print "NOTICE: can't deduce svn dir from $SVNROOT - skipping\n";
308                          next;                          next;
309                  }                  }
310          } until ($tmppath =~ m/^$SVNREP/);          } until ( $tmppath =~ m/^$SVNREP/ );
311    
312          print "NOTICE: using $SVNREP as directory for svn\n";          print "NOTICE: using $SVNREP as directory for svn\n";
313    
314          printf($fmt, $e->{'revision'}, $e->{'author'}, $e->{'date'}, $e->{'msg'});          printf( $fmt,
315                    $e->{'revision'}, $e->{'author'}, $e->{'date'}, $e->{'msg'} );
316          my @commit;          my @commit;
317    
318          foreach my $p (@{$e->{'paths'}->{'path'}}) {          my $msg = $e->{'msg'};
319                  my ($action,$path) = ($p->{'action'},$p->{'content'});          $msg =~ s/'/'\\''/g;    # quote "
320    
321            $msg = 'r' . $rev . ' ' . $e->{author} . ' | ' . $e->{date} . "\n" . $msg
322                    if $decorate_commit_message;
323    
324            sub cvs_commit {
325                    my $msg = shift || die "no msg?";
326                    if ( !@_ ) {
327                            warn "commit ignored, no files\n";
328                            return;
329                    }
330                    log_system(
331                            "$cvs commit -m '$msg' '" . join( "' '", @_ ) . "'",
332                            "cvs commit of " . join( ",",            @_ ) . " failed"
333                    );
334            }
335    
336            foreach my $p ( @{ $e->{'paths'}->{'path'} } ) {
337                    my ( $action, $path ) = ( $p->{'action'}, $p->{'content'} );
338    
339                    next if ( $path =~ m#/\.svnrev$# );
340    
341                  print "svn2cvs: $action $path\n";                  print "svn2cvs: $action $path\n";
342    
343                  # prepare path and message                  # prepare path and message
344                  my $file = $path;                  my $file = $path;
345                  $path =~ s,^$SVNREP/*,, || die "BUG: can't strip SVNREP '$SVNREP' from path";                  if ( $path !~ s#^\Q$SVNREP\E/*## ) {
346                            print
347                                    "NOTICE: skipping '$path' which isn't under repository root '$SVNREP'\n";
348                            die unless $partial_import;
349                            next;
350                    }
351    
352                  if (! $path) {                  if ( !$path ) {
353                          print "NOTICE: skipped this operation. Probably trunk creation\n";                          print "NOTICE: skipped this operation. Probably trunk creation\n";
354                          next;                          next;
355                  }                  }
356    
357                  my $msg = $e->{'msg'};                  my $msg = $e->{'msg'};
358                  $msg =~ s/'/'\\''/g;    # quote "                  $msg =~ s/'/'\\''/g;    # quote "
359    
360                  if ($action =~ /M/) {                  sub add_path {
361                          print "svn2cvs: modify $path -- nop\n";                          my $path = shift || die "no path?";
362                  } elsif ($action =~ /A/) {  
363                          if (-d $path) {                          if ( -d $path ) {
364                                  chdir($path) || die "can't cd into dir $path for import: $!";                                  add_dir( $path, $msg );
365                                  log_system("$cvs import -d -m '$msg' $CVSREP/$path svn r$rev", "cvs import of $path failed");                          }
366                                  if (-d "$CVSREP/$path") {                          elsif ( $path =~ m,^(.+)/[^/]+$, && !-e "$1/CVS/Root" ) {
                                         rmdir "$CVSREP/$path" || die "can't remove $CVSREP/$path: $!";  
                                 } else {  
                                         unlink "$CVSREP/$path" || die "can't remove $CVSREP/$path: $!";  
                                 }  
                                 chdir("$TMPDIR") || die "can't cd to $TMPDIR/$CVSREP: $!";  
                                 log_system("$cvs checkout $CVSREP/$path", "cvs checkout of imported dir $path failed");  
                                 chdir("$TMPDIR/$CVSREP") || die "can't cd back to $TMPDIR/$CVSREP: $!";  
                         } elsif ($path =~ m,^(.+)/[^/]+$, && ! -e "$1/CVS/Root") {  
367                                  my $dir = $1;                                  my $dir = $1;
368                                  in_entries($dir) || log_system("$cvs add $dir", "cvs add of dir $dir failed");                                  in_entries($dir) || add_dir( $dir, $msg );
369                                  in_entries($path) || log_system("$cvs add $path", "cvs add of $path failed");                                  in_entries($path) || log_system( "$cvs add '$path'",
370                          } else {                                          "cvs add of $path failed" );
371                                  in_entries($path) || log_system("$cvs add $path", "cvs add of $path failed");                          }
372                            else {
373                                    in_entries($path) || log_system( "$cvs add '$path'",
374                                            "cvs add of $path failed" );
375                          }                          }
376                  } elsif ($action =~ /D/) {                  }
377                          unlink $path || die "can't delete $path: $!";  
378                          log_system("$cvs delete $path", "cvs delete of $path failed");                  if ( $action =~ /M/ ) {
379                  } else {                          if ( in_entries($path) ) {
380                          print "WARNING: action $action not implemented on $path. Bug or missing feature of $0\n";                                  print "svn2cvs: modify $path -- nop\n";
381                            }
382                            else {
383                                    print "WARNING: modify $path which isn't in CVS, adding...\n";
384                                    add_path($path);
385                            }
386                    }
387                    elsif ( $action =~ /A/ ) {
388                            add_path($path);
389                    }
390                    elsif ( $action =~ /D/ ) {
391                            if ( -e $path ) {
392                                    if ( -d $path ) {
393                                            warn "#### remove directory: $path";
394                                            my @sub_commit;
395                                            foreach my $f ( entries($path) ) {
396                                                    $f = "$path/$f";
397                                                    if ( -f $f ) {
398                                                            unlink($f) || die "can't delete file $f: $!";
399    
400                                                      #                                             } else {
401                                                      #                                                     rmtree($f) || die "can't delete dir $f: $!";
402                                                    }
403                                                    log_system( "$cvs delete '$f'",
404                                                            "cvs delete of file $f failed" );
405                                                    push @sub_commit, $f;
406                                            }
407                                            log_system( "$cvs delete '$path'",
408                                                    "cvs delete of file $path failed" );
409                                            cvs_commit( $msg, @sub_commit, $path );
410                                            log_system(
411                                                    "$cvs update -dP '$path'",
412                                                    "cvs update -dP $path failed"
413                                            );
414                                            undef $path;
415                                    }
416                                    else {
417                                            warn "#### remove file: $path";
418                                            unlink($path) || die "can't delete $path: $!";
419                                            log_system( "$cvs delete '$path'",
420                                                    "cvs delete of dir $path failed" );
421                                    }
422                            }
423                            else {
424                                    print "WARNING: $path is not present, skipping...\n";
425                                    undef $path;
426                            }
427                    }
428                    else {
429                            print
430                                    "WARNING: action $action not implemented on $path. Bug or missing feature of $0\n";
431                  }                  }
432    
433                  # save commits for later                  # save commits for later
434                  push @commit, $path;                  push @commit, $path if ($path);
435    
436          }          }
437    
         my $msg = $e->{'msg'};  
         $msg =~ s/'/'\\''/g;    # quote "  
   
438          # now commit changes          # now commit changes
439          log_system("$cvs commit -m '$msg' ".join(" ",@commit), "cvs commit of ".join(",",@commit)." failed");          cvs_commit( $msg, @commit );
440    
441          commit_svnrev($rev);          commit_svnrev($rev);
442  }  }
443    
444    # cd out of $CVSREP before File::Temp::END is called
445    chdir("/tmp") || die "can't cd to /tmp: $!";
446    
447  __END__  __END__
448    
449  =pod  =pod
# Line 408  Documentation improvements and other sma Line 559  Documentation improvements and other sma
559    
560  Fixed path deduction (overlap between Subversion reporistory and CVS checkout).  Fixed path deduction (overlap between Subversion reporistory and CVS checkout).
561    
562    =item r21
563    
564    Use C<update -d> instead of checkout after import.
565    Added fixes by Paul Egan <paulegan@mail.com> for XMLin and fixing working
566    directory.
567    
568    =item r22
569    
570    Rewritten import from revision 0 to empty repository, better importing
571    of deep directory structures, initial support for recovery from partial
572    commit.
573    
574  =back  =back
575    
576  =head1 AUTHOR  =head1 AUTHOR

Legend:
Removed from v.20  
changed lines
  Added in v.41

  ViewVC Help
Powered by ViewVC 1.1.26