/[rdesktop]/sourceforge.net/trunk/rdesktop/secure.c
This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!
ViewVC logotype

Diff of /sourceforge.net/trunk/rdesktop/secure.c

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 966 by astrand, Wed Aug 3 11:48:22 2005 UTC revision 1239 by astrand, Wed Jun 21 14:40:02 2006 UTC
# Line 29  Line 29 
29  extern char g_hostname[16];  extern char g_hostname[16];
30  extern int g_width;  extern int g_width;
31  extern int g_height;  extern int g_height;
32  extern int g_keylayout;  extern unsigned int g_keylayout;
33  extern int g_keyboard_type;  extern int g_keyboard_type;
34  extern int g_keyboard_subtype;  extern int g_keyboard_subtype;
35  extern int g_keyboard_functionkeys;  extern int g_keyboard_functionkeys;
# Line 37  extern BOOL g_encryption; Line 37  extern BOOL g_encryption;
37  extern BOOL g_licence_issued;  extern BOOL g_licence_issued;
38  extern BOOL g_use_rdp5;  extern BOOL g_use_rdp5;
39  extern BOOL g_console_session;  extern BOOL g_console_session;
40  extern int g_server_bpp;  extern int g_server_depth;
41  extern uint16 mcs_userid;  extern uint16 mcs_userid;
42  extern VCHANNEL g_channels[];  extern VCHANNEL g_channels[];
43  extern unsigned int g_num_channels;  extern unsigned int g_num_channels;
# Line 46  static int rc4_key_len; Line 46  static int rc4_key_len;
46  static RC4_KEY rc4_decrypt_key;  static RC4_KEY rc4_decrypt_key;
47  static RC4_KEY rc4_encrypt_key;  static RC4_KEY rc4_encrypt_key;
48  static RSA *server_public_key;  static RSA *server_public_key;
49    static uint32 server_public_key_len;
50    
51  static uint8 sec_sign_key[16];  static uint8 sec_sign_key[16];
52  static uint8 sec_decrypt_key[16];  static uint8 sec_decrypt_key[16];
53  static uint8 sec_encrypt_key[16];  static uint8 sec_encrypt_key[16];
54  static uint8 sec_decrypt_update_key[16];  static uint8 sec_decrypt_update_key[16];
55  static uint8 sec_encrypt_update_key[16];  static uint8 sec_encrypt_update_key[16];
56  static uint8 sec_crypted_random[SEC_MODULUS_SIZE];  static uint8 sec_crypted_random[SEC_MAX_MODULUS_SIZE];
57    
58  uint16 g_server_rdp_version = 0;  uint16 g_server_rdp_version = 0;
59    
60    /* These values must be available to reset state - Session Directory */
61    static int sec_encrypt_use_count = 0;
62    static int sec_decrypt_use_count = 0;
63    
64  /*  /*
65   * I believe this is based on SSLv3 with the following differences:   * I believe this is based on SSLv3 with the following differences:
66   *  MAC algorithm (5.2.3.1) uses only 32-bit length in place of seq_num/type/length fields   *  MAC algorithm (5.2.3.1) uses only 32-bit length in place of seq_num/type/length fields
# Line 251  sec_update(uint8 * key, uint8 * update_k Line 256  sec_update(uint8 * key, uint8 * update_k
256  static void  static void
257  sec_encrypt(uint8 * data, int length)  sec_encrypt(uint8 * data, int length)
258  {  {
259          static int use_count;          if (sec_encrypt_use_count == 4096)
   
         if (use_count == 4096)  
260          {          {
261                  sec_update(sec_encrypt_key, sec_encrypt_update_key);                  sec_update(sec_encrypt_key, sec_encrypt_update_key);
262                  RC4_set_key(&rc4_encrypt_key, rc4_key_len, sec_encrypt_key);                  RC4_set_key(&rc4_encrypt_key, rc4_key_len, sec_encrypt_key);
263                  use_count = 0;                  sec_encrypt_use_count = 0;
264          }          }
265    
266          RC4(&rc4_encrypt_key, length, data, data);          RC4(&rc4_encrypt_key, length, data, data);
267          use_count++;          sec_encrypt_use_count++;
268  }  }
269    
270  /* Decrypt data using RC4 */  /* Decrypt data using RC4 */
271  void  void
272  sec_decrypt(uint8 * data, int length)  sec_decrypt(uint8 * data, int length)
273  {  {
274          static int use_count;          if (sec_decrypt_use_count == 4096)
   
         if (use_count == 4096)  
275          {          {
276                  sec_update(sec_decrypt_key, sec_decrypt_update_key);                  sec_update(sec_decrypt_key, sec_decrypt_update_key);
277                  RC4_set_key(&rc4_decrypt_key, rc4_key_len, sec_decrypt_key);                  RC4_set_key(&rc4_decrypt_key, rc4_key_len, sec_decrypt_key);
278                  use_count = 0;                  sec_decrypt_use_count = 0;
279          }          }
280    
281          RC4(&rc4_decrypt_key, length, data, data);          RC4(&rc4_decrypt_key, length, data, data);
282          use_count++;          sec_decrypt_use_count++;
283  }  }
284    
285  static void  static void
# Line 297  reverse(uint8 * p, int len) Line 298  reverse(uint8 * p, int len)
298    
299  /* Perform an RSA public key encryption operation */  /* Perform an RSA public key encryption operation */
300  static void  static void
301  sec_rsa_encrypt(uint8 * out, uint8 * in, int len, uint8 * modulus, uint8 * exponent)  sec_rsa_encrypt(uint8 * out, uint8 * in, int len, uint32 modulus_size, uint8 * modulus,
302                    uint8 * exponent)
303  {  {
304          BN_CTX *ctx;          BN_CTX *ctx;
305          BIGNUM mod, exp, x, y;          BIGNUM mod, exp, x, y;
306          uint8 inr[SEC_MODULUS_SIZE];          uint8 inr[SEC_MAX_MODULUS_SIZE];
307          int outlen;          int outlen;
308    
309          reverse(modulus, SEC_MODULUS_SIZE);          reverse(modulus, modulus_size);
310          reverse(exponent, SEC_EXPONENT_SIZE);          reverse(exponent, SEC_EXPONENT_SIZE);
311          memcpy(inr, in, len);          memcpy(inr, in, len);
312          reverse(inr, len);          reverse(inr, len);
# Line 315  sec_rsa_encrypt(uint8 * out, uint8 * in, Line 317  sec_rsa_encrypt(uint8 * out, uint8 * in,
317          BN_init(&x);          BN_init(&x);
318          BN_init(&y);          BN_init(&y);
319    
320          BN_bin2bn(modulus, SEC_MODULUS_SIZE, &mod);          BN_bin2bn(modulus, modulus_size, &mod);
321          BN_bin2bn(exponent, SEC_EXPONENT_SIZE, &exp);          BN_bin2bn(exponent, SEC_EXPONENT_SIZE, &exp);
322          BN_bin2bn(inr, len, &x);          BN_bin2bn(inr, len, &x);
323          BN_mod_exp(&y, &x, &exp, &mod, ctx);          BN_mod_exp(&y, &x, &exp, &mod, ctx);
324          outlen = BN_bn2bin(&y, out);          outlen = BN_bn2bin(&y, out);
325          reverse(out, outlen);          reverse(out, outlen);
326          if (outlen < SEC_MODULUS_SIZE)          if (outlen < modulus_size)
327                  memset(out + outlen, 0, SEC_MODULUS_SIZE - outlen);                  memset(out + outlen, 0, modulus_size - outlen);
328    
329          BN_free(&y);          BN_free(&y);
330          BN_clear_free(&x);          BN_clear_free(&x);
# Line 388  sec_send(STREAM s, uint32 flags) Line 390  sec_send(STREAM s, uint32 flags)
390  static void  static void
391  sec_establish_key(void)  sec_establish_key(void)
392  {  {
393          uint32 length = SEC_MODULUS_SIZE + SEC_PADDING_SIZE;          uint32 length = server_public_key_len + SEC_PADDING_SIZE;
394          uint32 flags = SEC_CLIENT_RANDOM;          uint32 flags = SEC_CLIENT_RANDOM;
395          STREAM s;          STREAM s;
396    
397          s = sec_init(flags, 76);          s = sec_init(flags, length + 4);
398    
399          out_uint32_le(s, length);          out_uint32_le(s, length);
400          out_uint8p(s, sec_crypted_random, SEC_MODULUS_SIZE);          out_uint8p(s, sec_crypted_random, server_public_key_len);
401          out_uint8s(s, SEC_PADDING_SIZE);          out_uint8s(s, SEC_PADDING_SIZE);
402    
403          s_mark_end(s);          s_mark_end(s);
# Line 459  sec_out_mcs_data(STREAM s) Line 461  sec_out_mcs_data(STREAM s)
461          out_uint16_le(s, 1);          out_uint16_le(s, 1);
462    
463          out_uint32(s, 0);          out_uint32(s, 0);
464          out_uint8(s, g_server_bpp);          out_uint8(s, g_server_depth);
465          out_uint16_le(s, 0x0700);          out_uint16_le(s, 0x0700);
466          out_uint8(s, 0);          out_uint8(s, 0);
467          out_uint32_le(s, 1);          out_uint32_le(s, 1);
# Line 507  sec_parse_public_key(STREAM s, uint8 ** Line 509  sec_parse_public_key(STREAM s, uint8 **
509          }          }
510    
511          in_uint32_le(s, modulus_len);          in_uint32_le(s, modulus_len);
512          if (modulus_len != SEC_MODULUS_SIZE + SEC_PADDING_SIZE)          modulus_len -= SEC_PADDING_SIZE;
513            if ((modulus_len < 64) || (modulus_len > SEC_MAX_MODULUS_SIZE))
514          {          {
515                  error("modulus len 0x%x\n", modulus_len);                  error("Bad server public key size (%u bits)\n", modulus_len * 8);
516                  return False;                  return False;
517          }          }
518    
519          in_uint8s(s, 8);        /* modulus_bits, unknown */          in_uint8s(s, 8);        /* modulus_bits, unknown */
520          in_uint8p(s, *exponent, SEC_EXPONENT_SIZE);          in_uint8p(s, *exponent, SEC_EXPONENT_SIZE);
521          in_uint8p(s, *modulus, SEC_MODULUS_SIZE);          in_uint8p(s, *modulus, modulus_len);
522          in_uint8s(s, SEC_PADDING_SIZE);          in_uint8s(s, SEC_PADDING_SIZE);
523            server_public_key_len = modulus_len;
524    
525          return s_check(s);          return s_check(s);
526  }  }
# Line 533  sec_parse_x509_key(X509 * cert) Line 537  sec_parse_x509_key(X509 * cert)
537          if (OBJ_obj2nid(cert->cert_info->key->algor->algorithm) == NID_md5WithRSAEncryption)          if (OBJ_obj2nid(cert->cert_info->key->algor->algorithm) == NID_md5WithRSAEncryption)
538          {          {
539                  DEBUG_RDP5(("Re-setting algorithm type to RSA in server certificate\n"));                  DEBUG_RDP5(("Re-setting algorithm type to RSA in server certificate\n"));
540                    ASN1_OBJECT_free(cert->cert_info->key->algor->algorithm);
541                  cert->cert_info->key->algor->algorithm = OBJ_nid2obj(NID_rsaEncryption);                  cert->cert_info->key->algor->algorithm = OBJ_nid2obj(NID_rsaEncryption);
542          }          }
543          epk = X509_get_pubkey(cert);          epk = X509_get_pubkey(cert);
# Line 542  sec_parse_x509_key(X509 * cert) Line 547  sec_parse_x509_key(X509 * cert)
547                  return False;                  return False;
548          }          }
549    
550          server_public_key = (RSA *) epk->pkey.ptr;          server_public_key = RSAPublicKey_dup((RSA *) epk->pkey.ptr);
551            EVP_PKEY_free(epk);
552    
553            server_public_key_len = RSA_size(server_public_key);
554            if ((server_public_key_len < 64) || (server_public_key_len > SEC_MAX_MODULUS_SIZE))
555            {
556                    error("Bad server public key size (%u bits)\n", server_public_key_len * 8);
557                    return False;
558            }
559    
560          return True;          return True;
561  }  }
# Line 680  sec_parse_crypt_info(STREAM s, uint32 * Line 693  sec_parse_crypt_info(STREAM s, uint32 *
693                     MITM-attacks.                     MITM-attacks.
694                   */                   */
695    
696                    X509_free(cacert);
697    
698                  in_uint32_le(s, cert_len);                  in_uint32_le(s, cert_len);
699                  DEBUG_RDP5(("Certificate length is %d\n", cert_len));                  DEBUG_RDP5(("Certificate length is %d\n", cert_len));
700                  server_cert = d2i_X509(NULL, &(s->p), cert_len);                  server_cert = d2i_X509(NULL, &(s->p), cert_len);
# Line 698  sec_parse_crypt_info(STREAM s, uint32 * Line 713  sec_parse_crypt_info(STREAM s, uint32 *
713                  if (!sec_parse_x509_key(server_cert))                  if (!sec_parse_x509_key(server_cert))
714                  {                  {
715                          DEBUG_RDP5(("Didn't parse X509 correctly\n"));                          DEBUG_RDP5(("Didn't parse X509 correctly\n"));
716                            X509_free(server_cert);
717                          return False;                          return False;
718                  }                  }
719                    X509_free(server_cert);
720                  return True;    /* There's some garbage here we don't care about */                  return True;    /* There's some garbage here we don't care about */
721          }          }
722          return s_check_end(s);          return s_check_end(s);
# Line 712  sec_process_crypt_info(STREAM s) Line 729  sec_process_crypt_info(STREAM s)
729          uint8 *server_random, *modulus, *exponent;          uint8 *server_random, *modulus, *exponent;
730          uint8 client_random[SEC_RANDOM_SIZE];          uint8 client_random[SEC_RANDOM_SIZE];
731          uint32 rc4_key_size;          uint32 rc4_key_size;
         uint8 inr[SEC_MODULUS_SIZE];  
732    
733          if (!sec_parse_crypt_info(s, &rc4_key_size, &server_random, &modulus, &exponent))          if (!sec_parse_crypt_info(s, &rc4_key_size, &server_random, &modulus, &exponent))
734          {          {
# Line 721  sec_process_crypt_info(STREAM s) Line 737  sec_process_crypt_info(STREAM s)
737          }          }
738    
739          DEBUG(("Generating client random\n"));          DEBUG(("Generating client random\n"));
         /* Generate a client random, and hence determine encryption keys */  
         /* This is what the MS client do: */  
         memset(inr, 0, SEC_RANDOM_SIZE);  
         /*  *ARIGL!* Plaintext attack, anyone?  
            I tried doing:  
            generate_random(inr);  
            ..but that generates connection errors now and then (yes,  
            "now and then". Something like 0 to 3 attempts needed before a  
            successful connection. Nice. Not!  
          */  
   
740          generate_random(client_random);          generate_random(client_random);
741    
742          if (NULL != server_public_key)          if (NULL != server_public_key)
743          {                       /* Which means we should use          {                       /* Which means we should use
744                                     RDP5-style encryption */                                     RDP5-style encryption */
745                    uint8 inr[SEC_MAX_MODULUS_SIZE];
746                    uint32 padding_len = server_public_key_len - SEC_RANDOM_SIZE;
747    
748                  memcpy(inr + SEC_RANDOM_SIZE, client_random, SEC_RANDOM_SIZE);                  /* This is what the MS client do: */
749                  reverse(inr + SEC_RANDOM_SIZE, SEC_RANDOM_SIZE);                  memset(inr, 0, padding_len);
750                    /*  *ARIGL!* Plaintext attack, anyone?
751                       I tried doing:
752                       generate_random(inr);
753                       ..but that generates connection errors now and then (yes,
754                       "now and then". Something like 0 to 3 attempts needed before a
755                       successful connection. Nice. Not!
756                     */
757                    memcpy(inr + padding_len, client_random, SEC_RANDOM_SIZE);
758                    reverse(inr + padding_len, SEC_RANDOM_SIZE);
759    
760                  RSA_public_encrypt(SEC_MODULUS_SIZE,                  RSA_public_encrypt(server_public_key_len,
761                                     inr, sec_crypted_random, server_public_key, RSA_NO_PADDING);                                     inr, sec_crypted_random, server_public_key, RSA_NO_PADDING);
762    
763                  reverse(sec_crypted_random, SEC_MODULUS_SIZE);                  reverse(sec_crypted_random, server_public_key_len);
764    
765                    RSA_free(server_public_key);
766                    server_public_key = NULL;
767          }          }
768          else          else
769          {                       /* RDP4-style encryption */          {                       /* RDP4-style encryption */
770                  sec_rsa_encrypt(sec_crypted_random,                  sec_rsa_encrypt(sec_crypted_random,
771                                  client_random, SEC_RANDOM_SIZE, modulus, exponent);                                  client_random, SEC_RANDOM_SIZE, server_public_key_len, modulus,
772                                    exponent);
773          }          }
774          sec_generate_keys(client_random, server_random, rc4_key_size);          sec_generate_keys(client_random, server_random, rc4_key_size);
775  }  }
# Line 764  sec_process_srv_info(STREAM s) Line 784  sec_process_srv_info(STREAM s)
784          if (1 == g_server_rdp_version)          if (1 == g_server_rdp_version)
785          {          {
786                  g_use_rdp5 = 0;                  g_use_rdp5 = 0;
787                  g_server_bpp = 8;                  g_server_depth = 8;
788          }          }
789  }  }
790    
# Line 853  sec_recv(uint8 * rdpver) Line 873  sec_recv(uint8 * rdpver)
873                                  licence_process(s);                                  licence_process(s);
874                                  continue;                                  continue;
875                          }                          }
876    
877                            if (sec_flags & 0x0400) /* SEC_REDIRECT_ENCRYPT */
878                            {
879                                    uint8 swapbyte;
880    
881                                    in_uint8s(s, 8);        /* signature */
882                                    sec_decrypt(s->p, s->end - s->p);
883    
884                                    /* Check for a redirect packet, starts with 00 04 */
885                                    if (s->p[0] == 0 && s->p[1] == 4)
886                                    {
887                                            /* for some reason the PDU and the length seem to be swapped.
888                                               This isn't good, but we're going to do a byte for byte
889                                               swap.  So the first foure value appear as: 00 04 XX YY,
890                                               where XX YY is the little endian length. We're going to
891                                               use 04 00 as the PDU type, so after our swap this will look
892                                               like: XX YY 04 00 */
893                                            swapbyte = s->p[0];
894                                            s->p[0] = s->p[2];
895                                            s->p[2] = swapbyte;
896    
897                                            swapbyte = s->p[1];
898                                            s->p[1] = s->p[3];
899                                            s->p[3] = swapbyte;
900    
901                                            swapbyte = s->p[2];
902                                            s->p[2] = s->p[3];
903                                            s->p[3] = swapbyte;
904                                    }
905    #ifdef WITH_DEBUG
906                                    /* warning!  this debug statement will show passwords in the clear! */
907                                    hexdump(s->p, s->end - s->p);
908    #endif
909                            }
910    
911                  }                  }
912    
913                  if (channel != MCS_GLOBAL_CHANNEL)                  if (channel != MCS_GLOBAL_CHANNEL)
# Line 889  sec_connect(char *server, char *username Line 944  sec_connect(char *server, char *username
944          return True;          return True;
945  }  }
946    
947    /* Establish a secure connection */
948    BOOL
949    sec_reconnect(char *server)
950    {
951            struct stream mcs_data;
952    
953            /* We exchange some RDP data during the MCS-Connect */
954            mcs_data.size = 512;
955            mcs_data.p = mcs_data.data = (uint8 *) xmalloc(mcs_data.size);
956            sec_out_mcs_data(&mcs_data);
957    
958            if (!mcs_reconnect(server, &mcs_data))
959                    return False;
960    
961            /*      sec_process_mcs_data(&mcs_data); */
962            if (g_encryption)
963                    sec_establish_key();
964            xfree(mcs_data.data);
965            return True;
966    }
967    
968  /* Disconnect a connection */  /* Disconnect a connection */
969  void  void
970  sec_disconnect(void)  sec_disconnect(void)
971  {  {
972          mcs_disconnect();          mcs_disconnect();
973  }  }
974    
975    /* reset the state of the sec layer */
976    void
977    sec_reset_state(void)
978    {
979            g_server_rdp_version = 0;
980            sec_encrypt_use_count = 0;
981            sec_decrypt_use_count = 0;
982            mcs_reset_state();
983    }
Legend:
Removed from v.966  
changed lines
  Added in v.1239
  ViewVC Help
Powered by ViewVC 1.1.26