/[rdesktop]/sourceforge.net/trunk/rdesktop/secure.c
This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!
ViewVC logotype

Diff of /sourceforge.net/trunk/rdesktop/secure.c

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 740 by astrand, Sat Jul 31 13:07:41 2004 UTC revision 1237 by matthewc, Wed Jun 14 08:26:00 2006 UTC
# Line 1  Line 1 
1  /* -*- c-basic-offset: 8 -*-  /* -*- c-basic-offset: 8 -*-
2     rdesktop: A Remote Desktop Protocol client.     rdesktop: A Remote Desktop Protocol client.
3     Protocol services - RDP encryption and licensing     Protocol services - RDP encryption and licensing
4     Copyright (C) Matthew Chapman 1999-2002     Copyright (C) Matthew Chapman 1999-2005
5    
6     This program is free software; you can redistribute it and/or modify     This program is free software; you can redistribute it and/or modify
7     it under the terms of the GNU General Public License as published by     it under the terms of the GNU General Public License as published by
# Line 29  Line 29 
29  extern char g_hostname[16];  extern char g_hostname[16];
30  extern int g_width;  extern int g_width;
31  extern int g_height;  extern int g_height;
32  extern int g_keylayout;  extern unsigned int g_keylayout;
33    extern int g_keyboard_type;
34    extern int g_keyboard_subtype;
35    extern int g_keyboard_functionkeys;
36  extern BOOL g_encryption;  extern BOOL g_encryption;
37  extern BOOL g_licence_issued;  extern BOOL g_licence_issued;
38  extern BOOL g_use_rdp5;  extern BOOL g_use_rdp5;
39  extern BOOL g_console_session;  extern BOOL g_console_session;
40  extern int g_server_bpp;  extern int g_server_depth;
41  extern uint16 mcs_userid;  extern uint16 mcs_userid;
42  extern VCHANNEL g_channels[];  extern VCHANNEL g_channels[];
43  extern unsigned int g_num_channels;  extern unsigned int g_num_channels;
# Line 43  static int rc4_key_len; Line 46  static int rc4_key_len;
46  static RC4_KEY rc4_decrypt_key;  static RC4_KEY rc4_decrypt_key;
47  static RC4_KEY rc4_encrypt_key;  static RC4_KEY rc4_encrypt_key;
48  static RSA *server_public_key;  static RSA *server_public_key;
49    static uint32 server_public_key_len;
50    
51  static uint8 sec_sign_key[16];  static uint8 sec_sign_key[16];
52  static uint8 sec_decrypt_key[16];  static uint8 sec_decrypt_key[16];
53  static uint8 sec_encrypt_key[16];  static uint8 sec_encrypt_key[16];
54  static uint8 sec_decrypt_update_key[16];  static uint8 sec_decrypt_update_key[16];
55  static uint8 sec_encrypt_update_key[16];  static uint8 sec_encrypt_update_key[16];
56  static uint8 sec_crypted_random[SEC_MODULUS_SIZE];  static uint8 sec_crypted_random[SEC_MAX_MODULUS_SIZE];
57    
58  uint16 g_server_rdp_version = 0;  uint16 g_server_rdp_version = 0;
59    
60    /* These values must be available to reset state - Session Directory */
61    static int sec_encrypt_use_count = 0;
62    static int sec_decrypt_use_count = 0;
63    
64  /*  /*
65   * I believe this is based on SSLv3 with the following differences:   * I believe this is based on SSLv3 with the following differences:
66   *  MAC algorithm (5.2.3.1) uses only 32-bit length in place of seq_num/type/length fields   *  MAC algorithm (5.2.3.1) uses only 32-bit length in place of seq_num/type/length fields
# Line 248  sec_update(uint8 * key, uint8 * update_k Line 256  sec_update(uint8 * key, uint8 * update_k
256  static void  static void
257  sec_encrypt(uint8 * data, int length)  sec_encrypt(uint8 * data, int length)
258  {  {
259          static int use_count;          if (sec_encrypt_use_count == 4096)
   
         if (use_count == 4096)  
260          {          {
261                  sec_update(sec_encrypt_key, sec_encrypt_update_key);                  sec_update(sec_encrypt_key, sec_encrypt_update_key);
262                  RC4_set_key(&rc4_encrypt_key, rc4_key_len, sec_encrypt_key);                  RC4_set_key(&rc4_encrypt_key, rc4_key_len, sec_encrypt_key);
263                  use_count = 0;                  sec_encrypt_use_count = 0;
264          }          }
265    
266          RC4(&rc4_encrypt_key, length, data, data);          RC4(&rc4_encrypt_key, length, data, data);
267          use_count++;          sec_encrypt_use_count++;
268  }  }
269    
270  /* Decrypt data using RC4 */  /* Decrypt data using RC4 */
271  void  void
272  sec_decrypt(uint8 * data, int length)  sec_decrypt(uint8 * data, int length)
273  {  {
274          static int use_count;          if (sec_decrypt_use_count == 4096)
   
         if (use_count == 4096)  
275          {          {
276                  sec_update(sec_decrypt_key, sec_decrypt_update_key);                  sec_update(sec_decrypt_key, sec_decrypt_update_key);
277                  RC4_set_key(&rc4_decrypt_key, rc4_key_len, sec_decrypt_key);                  RC4_set_key(&rc4_decrypt_key, rc4_key_len, sec_decrypt_key);
278                  use_count = 0;                  sec_decrypt_use_count = 0;
279          }          }
280    
281          RC4(&rc4_decrypt_key, length, data, data);          RC4(&rc4_decrypt_key, length, data, data);
282          use_count++;          sec_decrypt_use_count++;
283  }  }
284    
285  static void  static void
# Line 294  reverse(uint8 * p, int len) Line 298  reverse(uint8 * p, int len)
298    
299  /* Perform an RSA public key encryption operation */  /* Perform an RSA public key encryption operation */
300  static void  static void
301  sec_rsa_encrypt(uint8 * out, uint8 * in, int len, uint8 * modulus, uint8 * exponent)  sec_rsa_encrypt(uint8 * out, uint8 * in, int len, uint32 modulus_size, uint8 * modulus, uint8 * exponent)
302  {  {
303          BN_CTX *ctx;          BN_CTX *ctx;
304          BIGNUM mod, exp, x, y;          BIGNUM mod, exp, x, y;
305          uint8 inr[SEC_MODULUS_SIZE];          uint8 inr[SEC_MAX_MODULUS_SIZE];
306          int outlen;          int outlen;
307    
308          reverse(modulus, SEC_MODULUS_SIZE);          reverse(modulus, modulus_size);
309          reverse(exponent, SEC_EXPONENT_SIZE);          reverse(exponent, SEC_EXPONENT_SIZE);
310          memcpy(inr, in, len);          memcpy(inr, in, len);
311          reverse(inr, len);          reverse(inr, len);
# Line 312  sec_rsa_encrypt(uint8 * out, uint8 * in, Line 316  sec_rsa_encrypt(uint8 * out, uint8 * in,
316          BN_init(&x);          BN_init(&x);
317          BN_init(&y);          BN_init(&y);
318    
319          BN_bin2bn(modulus, SEC_MODULUS_SIZE, &mod);          BN_bin2bn(modulus, modulus_size, &mod);
320          BN_bin2bn(exponent, SEC_EXPONENT_SIZE, &exp);          BN_bin2bn(exponent, SEC_EXPONENT_SIZE, &exp);
321          BN_bin2bn(inr, len, &x);          BN_bin2bn(inr, len, &x);
322          BN_mod_exp(&y, &x, &exp, &mod, ctx);          BN_mod_exp(&y, &x, &exp, &mod, ctx);
323          outlen = BN_bn2bin(&y, out);          outlen = BN_bn2bin(&y, out);
324          reverse(out, outlen);          reverse(out, outlen);
325          if (outlen < SEC_MODULUS_SIZE)          if (outlen < modulus_size)
326                  memset(out + outlen, 0, SEC_MODULUS_SIZE - outlen);                  memset(out + outlen, 0, modulus_size - outlen);
327    
328          BN_free(&y);          BN_free(&y);
329          BN_clear_free(&x);          BN_clear_free(&x);
# Line 385  sec_send(STREAM s, uint32 flags) Line 389  sec_send(STREAM s, uint32 flags)
389  static void  static void
390  sec_establish_key(void)  sec_establish_key(void)
391  {  {
392          uint32 length = SEC_MODULUS_SIZE + SEC_PADDING_SIZE;          uint32 length = server_public_key_len + SEC_PADDING_SIZE;
393          uint32 flags = SEC_CLIENT_RANDOM;          uint32 flags = SEC_CLIENT_RANDOM;
394          STREAM s;          STREAM s;
395    
396          s = sec_init(flags, 76);          s = sec_init(flags, length+4);
397    
398          out_uint32_le(s, length);          out_uint32_le(s, length);
399          out_uint8p(s, sec_crypted_random, SEC_MODULUS_SIZE);          out_uint8p(s, sec_crypted_random, server_public_key_len);
400          out_uint8s(s, SEC_PADDING_SIZE);          out_uint8s(s, SEC_PADDING_SIZE);
401    
402          s_mark_end(s);          s_mark_end(s);
# Line 446  sec_out_mcs_data(STREAM s) Line 450  sec_out_mcs_data(STREAM s)
450          rdp_out_unistr(s, g_hostname, hostlen);          rdp_out_unistr(s, g_hostname, hostlen);
451          out_uint8s(s, 30 - hostlen);          out_uint8s(s, 30 - hostlen);
452    
453          out_uint32_le(s, 4);          /* See
454          out_uint32(s, 0);             http://msdn.microsoft.com/library/default.asp?url=/library/en-us/wceddk40/html/cxtsksupportingremotedesktopprotocol.asp */
455          out_uint32_le(s, 12);          out_uint32_le(s, g_keyboard_type);
456            out_uint32_le(s, g_keyboard_subtype);
457            out_uint32_le(s, g_keyboard_functionkeys);
458          out_uint8s(s, 64);      /* reserved? 4 + 12 doublewords */          out_uint8s(s, 64);      /* reserved? 4 + 12 doublewords */
459          out_uint16_le(s, 0xca01);       /* colour depth? */          out_uint16_le(s, 0xca01);       /* colour depth? */
460          out_uint16_le(s, 1);          out_uint16_le(s, 1);
461    
462          out_uint32(s, 0);          out_uint32(s, 0);
463          out_uint8(s, g_server_bpp);          out_uint8(s, g_server_depth);
464          out_uint16_le(s, 0x0700);          out_uint16_le(s, 0x0700);
465          out_uint8(s, 0);          out_uint8(s, 0);
466          out_uint32_le(s, 1);          out_uint32_le(s, 1);
# Line 502  sec_parse_public_key(STREAM s, uint8 ** Line 508  sec_parse_public_key(STREAM s, uint8 **
508          }          }
509    
510          in_uint32_le(s, modulus_len);          in_uint32_le(s, modulus_len);
511          if (modulus_len != SEC_MODULUS_SIZE + SEC_PADDING_SIZE)          modulus_len -= SEC_PADDING_SIZE;
512            if ((modulus_len < 64) || (modulus_len > SEC_MAX_MODULUS_SIZE))
513          {          {
514                  error("modulus len 0x%x\n", modulus_len);                  error("Bad server public key size (%u bits)\n", modulus_len*8);
515                  return False;                  return False;
516          }          }
517    
518          in_uint8s(s, 8);        /* modulus_bits, unknown */          in_uint8s(s, 8);        /* modulus_bits, unknown */
519          in_uint8p(s, *exponent, SEC_EXPONENT_SIZE);          in_uint8p(s, *exponent, SEC_EXPONENT_SIZE);
520          in_uint8p(s, *modulus, SEC_MODULUS_SIZE);          in_uint8p(s, *modulus, modulus_len);
521          in_uint8s(s, SEC_PADDING_SIZE);          in_uint8s(s, SEC_PADDING_SIZE);
522            server_public_key_len = modulus_len;
523    
524          return s_check(s);          return s_check(s);
525  }  }
# Line 528  sec_parse_x509_key(X509 * cert) Line 536  sec_parse_x509_key(X509 * cert)
536          if (OBJ_obj2nid(cert->cert_info->key->algor->algorithm) == NID_md5WithRSAEncryption)          if (OBJ_obj2nid(cert->cert_info->key->algor->algorithm) == NID_md5WithRSAEncryption)
537          {          {
538                  DEBUG_RDP5(("Re-setting algorithm type to RSA in server certificate\n"));                  DEBUG_RDP5(("Re-setting algorithm type to RSA in server certificate\n"));
539                    ASN1_OBJECT_free(cert->cert_info->key->algor->algorithm);
540                  cert->cert_info->key->algor->algorithm = OBJ_nid2obj(NID_rsaEncryption);                  cert->cert_info->key->algor->algorithm = OBJ_nid2obj(NID_rsaEncryption);
541          }          }
542          epk = X509_get_pubkey(cert);          epk = X509_get_pubkey(cert);
# Line 537  sec_parse_x509_key(X509 * cert) Line 546  sec_parse_x509_key(X509 * cert)
546                  return False;                  return False;
547          }          }
548    
549          server_public_key = (RSA *) epk->pkey.ptr;          server_public_key = RSAPublicKey_dup((RSA *) epk->pkey.ptr);
550            EVP_PKEY_free(epk);
551    
552            server_public_key_len = RSA_size(server_public_key);
553            if ((server_public_key_len < 64) || (server_public_key_len > SEC_MAX_MODULUS_SIZE))
554            {
555                    error("Bad server public key size (%u bits)\n", server_public_key_len*8);
556                    return False;
557            }
558    
559          return True;          return True;
560  }  }
# Line 675  sec_parse_crypt_info(STREAM s, uint32 * Line 692  sec_parse_crypt_info(STREAM s, uint32 *
692                     MITM-attacks.                     MITM-attacks.
693                   */                   */
694    
695                    X509_free(cacert);
696    
697                  in_uint32_le(s, cert_len);                  in_uint32_le(s, cert_len);
698                  DEBUG_RDP5(("Certificate length is %d\n", cert_len));                  DEBUG_RDP5(("Certificate length is %d\n", cert_len));
699                  server_cert = d2i_X509(NULL, &(s->p), cert_len);                  server_cert = d2i_X509(NULL, &(s->p), cert_len);
# Line 693  sec_parse_crypt_info(STREAM s, uint32 * Line 712  sec_parse_crypt_info(STREAM s, uint32 *
712                  if (!sec_parse_x509_key(server_cert))                  if (!sec_parse_x509_key(server_cert))
713                  {                  {
714                          DEBUG_RDP5(("Didn't parse X509 correctly\n"));                          DEBUG_RDP5(("Didn't parse X509 correctly\n"));
715                            X509_free(server_cert);
716                          return False;                          return False;
717                  }                  }
718                    X509_free(server_cert);
719                  return True;    /* There's some garbage here we don't care about */                  return True;    /* There's some garbage here we don't care about */
720          }          }
721          return s_check_end(s);          return s_check_end(s);
# Line 707  sec_process_crypt_info(STREAM s) Line 728  sec_process_crypt_info(STREAM s)
728          uint8 *server_random, *modulus, *exponent;          uint8 *server_random, *modulus, *exponent;
729          uint8 client_random[SEC_RANDOM_SIZE];          uint8 client_random[SEC_RANDOM_SIZE];
730          uint32 rc4_key_size;          uint32 rc4_key_size;
         uint8 inr[SEC_MODULUS_SIZE];  
731    
732          if (!sec_parse_crypt_info(s, &rc4_key_size, &server_random, &modulus, &exponent))          if (!sec_parse_crypt_info(s, &rc4_key_size, &server_random, &modulus, &exponent))
733          {          {
# Line 716  sec_process_crypt_info(STREAM s) Line 736  sec_process_crypt_info(STREAM s)
736          }          }
737    
738          DEBUG(("Generating client random\n"));          DEBUG(("Generating client random\n"));
         /* Generate a client random, and hence determine encryption keys */  
         /* This is what the MS client do: */  
         memset(inr, 0, SEC_RANDOM_SIZE);  
         /*  *ARIGL!* Plaintext attack, anyone?  
            I tried doing:  
            generate_random(inr);  
            ..but that generates connection errors now and then (yes,  
            "now and then". Something like 0 to 3 attempts needed before a  
            successful connection. Nice. Not!  
          */  
   
739          generate_random(client_random);          generate_random(client_random);
740    
741          if (NULL != server_public_key)          if (NULL != server_public_key)
742          {                       /* Which means we should use          {                       /* Which means we should use
743                                     RDP5-style encryption */                                     RDP5-style encryption */
744                    uint8 inr[SEC_MAX_MODULUS_SIZE];
745                    uint32 padding_len = server_public_key_len - SEC_RANDOM_SIZE;
746    
747                  memcpy(inr + SEC_RANDOM_SIZE, client_random, SEC_RANDOM_SIZE);                  /* This is what the MS client do: */
748                  reverse(inr + SEC_RANDOM_SIZE, SEC_RANDOM_SIZE);                  memset(inr, 0, padding_len);
749                    /*  *ARIGL!* Plaintext attack, anyone?
750                       I tried doing:
751                       generate_random(inr);
752                       ..but that generates connection errors now and then (yes,
753                       "now and then". Something like 0 to 3 attempts needed before a
754                       successful connection. Nice. Not!
755                     */
756                    memcpy(inr + padding_len, client_random, SEC_RANDOM_SIZE);
757                    reverse(inr + padding_len, SEC_RANDOM_SIZE);
758    
759                  RSA_public_encrypt(SEC_MODULUS_SIZE,                  RSA_public_encrypt(server_public_key_len,
760                                     inr, sec_crypted_random, server_public_key, RSA_NO_PADDING);                                     inr, sec_crypted_random, server_public_key, RSA_NO_PADDING);
761    
762                  reverse(sec_crypted_random, SEC_MODULUS_SIZE);                  reverse(sec_crypted_random, server_public_key_len);
763    
764                    RSA_free(server_public_key);
765                    server_public_key = NULL;
766          }          }
767          else          else
768          {                       /* RDP4-style encryption */          {                       /* RDP4-style encryption */
769                  sec_rsa_encrypt(sec_crypted_random,                  sec_rsa_encrypt(sec_crypted_random,
770                                  client_random, SEC_RANDOM_SIZE, modulus, exponent);                                  client_random, SEC_RANDOM_SIZE, server_public_key_len, modulus, exponent);
771          }          }
772          sec_generate_keys(client_random, server_random, rc4_key_size);          sec_generate_keys(client_random, server_random, rc4_key_size);
773  }  }
# Line 759  sec_process_srv_info(STREAM s) Line 782  sec_process_srv_info(STREAM s)
782          if (1 == g_server_rdp_version)          if (1 == g_server_rdp_version)
783          {          {
784                  g_use_rdp5 = 0;                  g_use_rdp5 = 0;
785                  g_server_bpp = 8;                  g_server_depth = 8;
786          }          }
787  }  }
788    
# Line 848  sec_recv(uint8 * rdpver) Line 871  sec_recv(uint8 * rdpver)
871                                  licence_process(s);                                  licence_process(s);
872                                  continue;                                  continue;
873                          }                          }
874    
875                            if (sec_flags & 0x0400) /* SEC_REDIRECT_ENCRYPT */
876                            {
877                                    uint8 swapbyte;
878    
879                                    in_uint8s(s, 8);        /* signature */
880                                    sec_decrypt(s->p, s->end - s->p);
881    
882                                    /* Check for a redirect packet, starts with 00 04 */
883                                    if (s->p[0] == 0 && s->p[1] == 4)
884                                    {
885                                            /* for some reason the PDU and the length seem to be swapped.
886                                               This isn't good, but we're going to do a byte for byte
887                                               swap.  So the first foure value appear as: 00 04 XX YY,
888                                               where XX YY is the little endian length. We're going to
889                                               use 04 00 as the PDU type, so after our swap this will look
890                                               like: XX YY 04 00 */
891                                            swapbyte = s->p[0];
892                                            s->p[0] = s->p[2];
893                                            s->p[2] = swapbyte;
894    
895                                            swapbyte = s->p[1];
896                                            s->p[1] = s->p[3];
897                                            s->p[3] = swapbyte;
898    
899                                            swapbyte = s->p[2];
900                                            s->p[2] = s->p[3];
901                                            s->p[3] = swapbyte;
902                                    }
903    #ifdef WITH_DEBUG
904                                    /* warning!  this debug statement will show passwords in the clear! */
905                                    hexdump(s->p, s->end - s->p);
906    #endif
907                            }
908    
909                  }                  }
910    
911                  if (channel != MCS_GLOBAL_CHANNEL)                  if (channel != MCS_GLOBAL_CHANNEL)
912                  {                  {
913                          channel_process(s, channel);                          channel_process(s, channel);
914                          continue;                          *rdpver = 0xff;
915                            return s;
916                  }                  }
917    
918                  return s;                  return s;
# Line 883  sec_connect(char *server, char *username Line 942  sec_connect(char *server, char *username
942          return True;          return True;
943  }  }
944    
945    /* Establish a secure connection */
946    BOOL
947    sec_reconnect(char *server)
948    {
949            struct stream mcs_data;
950    
951            /* We exchange some RDP data during the MCS-Connect */
952            mcs_data.size = 512;
953            mcs_data.p = mcs_data.data = (uint8 *) xmalloc(mcs_data.size);
954            sec_out_mcs_data(&mcs_data);
955    
956            if (!mcs_reconnect(server, &mcs_data))
957                    return False;
958    
959            /*      sec_process_mcs_data(&mcs_data); */
960            if (g_encryption)
961                    sec_establish_key();
962            xfree(mcs_data.data);
963            return True;
964    }
965    
966  /* Disconnect a connection */  /* Disconnect a connection */
967  void  void
968  sec_disconnect(void)  sec_disconnect(void)
969  {  {
970          mcs_disconnect();          mcs_disconnect();
971  }  }
972    
973    /* reset the state of the sec layer */
974    void
975    sec_reset_state(void)
976    {
977            g_server_rdp_version = 0;
978            sec_encrypt_use_count = 0;
979            sec_decrypt_use_count = 0;
980            mcs_reset_state();
981    }
Legend:
Removed from v.740  
changed lines
  Added in v.1237
  ViewVC Help
Powered by ViewVC 1.1.26