Diff for /parser3/src/main/pa_exec.C between versions 1.47 and 1.72

version 1.47, 2002/12/26 11:47:59 version 1.72, 2008/09/04 09:37:48
Line 1 Line 1
 /** @file  /** @file
         Parser: program executing for different OS-es.          Parser: program executing for different OS-es.
   
         Copyright(c) 2000,2001, 2002 ArtLebedev Group(http://www.artlebedev.com)          Copyright(c) 2000,2001-2005 ArtLebedev Group(http://www.artlebedev.com)
         Author: Alexandr Petrosian <paf@design.ru> (http://paf.design.ru)          Author: Alexandr Petrosian <paf@design.ru> (http://paf.design.ru)
   
         @todo setrlimit          @todo setrlimit
 */  */
   
 static const char* IDENT_EXEC_C="$Date$";  static const char * const IDENT_EXEC_C="$Date$";
   
 #include "pa_config_includes.h"  #include "pa_config_includes.h"
   
Line 27  static const char* IDENT_EXEC_C="$Date$" Line 27  static const char* IDENT_EXEC_C="$Date$"
   
 /// this func from http://www.ccas.ru/~posp/popov/spawn.htm  /// this func from http://www.ccas.ru/~posp/popov/spawn.htm
 static DWORD CreateHiddenConsoleProcess(LPCTSTR szCmdLine,  static DWORD CreateHiddenConsoleProcess(LPCTSTR szCmdLine,
                                                                                   LPCTSTR szScriptFileSpec,
                                                                                 char *szEnv,                                                                                  char *szEnv,
                                         PROCESS_INFORMATION* ppi,                                           PROCESS_INFORMATION* ppi, 
                                         LPHANDLE phInWrite,                                          LPHANDLE phInWrite,
                                         LPHANDLE phOutRead,                                          LPHANDLE phOutRead,
                                         LPHANDLE phErrRead)                                          LPHANDLE phErrRead)
 {  {
     DWORD result=0;          DWORD result=0;
         BOOL fCreated;          BOOL fCreated;
     STARTUPINFO si;          STARTUPINFO si;
     SECURITY_ATTRIBUTES sa={0};          SECURITY_ATTRIBUTES sa={0};
     HANDLE hInRead;          HANDLE hInRead;
     HANDLE hOutWrite;          HANDLE hOutWrite;
     HANDLE hErrWrite;          HANDLE hErrWrite;
           
     // Create pipes          // Create pipes
     // initialize security attributes for handle inheritance (for WinNT)          // initialize security attributes for handle inheritance (for WinNT)
     sa.nLength=sizeof(sa);          sa.nLength=sizeof(sa);
     sa.bInheritHandle=TRUE;          sa.bInheritHandle=TRUE;
     sa.lpSecurityDescriptor=NULL;          sa.lpSecurityDescriptor=NULL;
           
     // create STDIN pipe          // create STDIN pipe
     if(!CreatePipe(&hInRead, phInWrite, &sa, 0))          if(!CreatePipe(&hInRead, phInWrite, &sa, 0))
         goto error;                  goto error;
           
     // create STDOUT pipe          // create STDOUT pipe
     if(!CreatePipe(phOutRead, &hOutWrite, &sa, 0))          if(!CreatePipe(phOutRead, &hOutWrite, &sa, 0))
         goto error;                  goto error;
           
     // create STDERR pipe          // create STDERR pipe
     if(!CreatePipe(phErrRead, &hErrWrite, &sa, 0))          if(!CreatePipe(phErrRead, &hErrWrite, &sa, 0))
         goto error;                  goto error;
           
     // process startup information          // process startup information
     memset(&si, 0, sizeof(si));          memset(&si, 0, sizeof(si));
     si.cb=sizeof(si);           si.cb=sizeof(si); 
     si.dwFlags=STARTF_USESHOWWINDOW | STARTF_USESTDHANDLES;          si.dwFlags=STARTF_USESHOWWINDOW | STARTF_USESTDHANDLES;
     // child process' console must be hidden for Win95 compatibility          // child process' console must be hidden for Win95 compatibility
     si.wShowWindow=SW_HIDE;          si.wShowWindow=SW_HIDE;
     // assign "other" sides of pipes          // assign "other" sides of pipes
     si.hStdInput=hInRead;          si.hStdInput=hInRead;
     si.hStdOutput=hOutWrite;          si.hStdOutput=hOutWrite;
     si.hStdError=hErrWrite;          si.hStdError=hErrWrite;
           
         // calculating script's directory          // calculating script's directory
         char dir[MAX_STRING];          char dir[MAX_STRING];
         strncpy(dir, szCmdLine, MAX_STRING-1); dir[MAX_STRING-1]=0;          strncpy(dir, szScriptFileSpec, MAX_STRING-1); dir[MAX_STRING-1]=0;
         lsplit(dir,' '); // trim arguments          lsplit(dir,' '); // trim arguments
         rsplit(dir,'/'); rsplit(dir,'\\'); // trim filename          rsplit(dir,'/'); rsplit(dir,'\\'); // trim filename
         chdir(dir);          
           // Create a child process (suspended)
     // Create a child process (suspended)          fCreated=CreateProcess(NULL,
     fCreated=CreateProcess(NULL,                  (LPTSTR)szCmdLine,
                               (LPTSTR)szCmdLine,                  NULL,
                               NULL,                  NULL,
                               NULL,                  TRUE,
                               TRUE,                  CREATE_NO_WINDOW,
                               CREATE_NO_WINDOW,                  szEnv,
                               szEnv,                  dir,
                               dir,                  &si,
                               &si,                  ppi);
                               ppi);  
         if(!fCreated)          if(!fCreated)
                 result=GetLastError();                  result=GetLastError();
           
     CloseHandle(hInRead);          CloseHandle(hInRead);
     CloseHandle(hOutWrite);          CloseHandle(hOutWrite);
     CloseHandle(hErrWrite);          CloseHandle(hErrWrite);
           
     if(!fCreated)          if(!fCreated)
         goto error;                  goto error;
           
     return result;          return result;
           
 error:  error:
         if(!result/*yet*/)          if(!result/*yet*/)
                 result=GetLastError(); // get it                  result=GetLastError(); // get it
           
     CloseHandle(*phInWrite);          CloseHandle(*phInWrite);
     CloseHandle(*phOutRead);          CloseHandle(*phOutRead);
     CloseHandle(*phErrRead);          CloseHandle(*phErrRead);
           
     return result;          return result;
 }  }
   
 static void read_pipe(String& result, HANDLE hOutRead, const char *file_spec,   static void read_pipe(String& result, HANDLE hOutRead, String::Language lang){
                                           String::Untaint_lang lang){  
         while(true) {          while(true) {
                 char *buf=(char *)result.pool().malloc(MAX_STRING);                  char *buf=new(PointerFreeGC) char[MAX_STRING];
                 unsigned long size;                  unsigned long size;
                 if(!ReadFile(hOutRead, buf, MAX_STRING, &size, NULL) || !size)                   if(!ReadFile(hOutRead, buf, MAX_STRING-1, &size, NULL) || !size) 
                         break;                          break;
                 result.APPEND(buf, size, lang, file_spec, 0);                  buf[size]=0;
     }                  result.append_know_length(buf, size, lang);
           }
 }  }
   
   static void read_pipe(File_read_result& result, HANDLE hOutRead){
   
           char *buf=new(PointerFreeGC) char[MAX_STRING];
   
           unsigned long size = 0;
           unsigned long bufsize = 0;
           unsigned long newsize = 0;
   
           result.headers = 0;
           result.length = 0;
           result.str = 0;
           result.success = false;
   
           while(true) {
                   if(!ReadFile(hOutRead, buf, MAX_STRING-1, &size, NULL) || !size) 
                           break;
                   newsize = (size + result.length);
                   if(newsize > bufsize){
                           bufsize = (size==MAX_STRING-1)?newsize*2:newsize;
                           char *tmp = new(PointerFreeGC) char[bufsize];
                           if(result.str)
                                   memcpy(tmp, result.str, result.length);
                           memcpy(tmp+result.length, buf, size);
                           result.str = tmp;
                   }else{
                           memcpy(result.str+result.length, buf, size);
                   }
                   result.length = newsize;
           }
   }
   
 static const char *buildCommand(Pool& pool,   static const char* buildCommand(const char* file_spec_cstr, const ArrayString& argv) {
                                                                 const String& origin_string,          const char* result=file_spec_cstr;
                                                                 const char *file_spec_cstr, const Array *argv) {  
         const char *result=file_spec_cstr;  
         if(FILE *f=fopen(file_spec_cstr, "r")) {          if(FILE *f=fopen(file_spec_cstr, "r")) {
                   try {
                 char buf[MAX_STRING];                  char buf[MAX_STRING];
                 size_t size=fread(buf, 1, MAX_STRING-1, f);                  size_t size=fread(buf, 1, MAX_STRING-1, f);
                 if(size>2) {                  if(size>2) {
                         buf[size]=0;                          buf[size]=0;
                         if(strncmp(buf, "#!", 2)==0) {                          if(strncmp(buf, "#!", 2)==0) {
                                 const char *begin=buf+2;                                  const char* begin=buf+2;
                                 if(*begin==' ') // alx: were an old magic for some linux-es                                  while(*begin==' ') // alx: were an old magic for some linux-es
                                         begin++;                                          begin++;
                                 if(char *end=strchr(begin, '\n')) {                                  if(const char *end=strchr(begin, '\n')) {
                                         String string(pool);                                          String string(pa_strdup(begin, end-begin));
                                         string.APPEND_AS_IS(begin, end-begin,   
                                                 origin_string.origin().file, 0);  
                                         string << " " << file_spec_cstr;                                          string << " " << file_spec_cstr;
                                         result=string.cstr();                                          result=string.cstr();
                                 }                                  }
                         }                          }
                 }                  }
                   } catch(...) {
                           fclose(f);
                           rethrow;
                   }
                 fclose(f);                  fclose(f);
         }          }
         if(argv) {          { // appending argv
                 String buf(pool);                  String string(result);
                 buf << result;                  for(size_t i=0; i<argv.count(); i++) {
                 for(int i=0; i<argv->size(); i++) {                          string << " ";
                         buf << " ";                          string << *argv[i];
                         buf << *argv->get_string(i);  
                 }                  }
   
                 result=buf.cstr();                  result=string.cstr();
         }          }
   
         return result;          return result;
Line 163  static const char *buildCommand(Pool& po Line 193  static const char *buildCommand(Pool& po
   
 #else  #else
   
 static pid_t execve_piped(const char *file_spec_cstr,   static pid_t execve_piped(const char* file_spec_cstr, 
                         char * const argv[], char * const env[],                          char * const argv[], char * const env[],
                         int *pipe_in, int *pipe_out, int *pipe_err) {                          int *pipe_in, int *pipe_out, int *pipe_err) {
         pid_t pid;          pid_t pid;
Line 272  static pid_t execve_piped(const char *fi Line 302  static pid_t execve_piped(const char *fi
   
 static int get_exit_status(int pid) {  static int get_exit_status(int pid) {
         int status;          int status;
         if(!waitpid(pid, &status, 0))          pid_t cid;
           while ((cid=waitpid(pid, &status, WUNTRACED)) == -1 && errno == EINTR); 
           if(!cid)
                 return -1;                  return -1;
         return WIFEXITED(status) ?           return WIFEXITED(status) ? 
                 WEXITSTATUS(status) : -2;                  WEXITSTATUS(status) : -2;
 }  }
   
 static void read_pipe(String& result, int file, const char *file_spec, String::Untaint_lang lang){  static void read_pipe(String& result, int file, String::Language lang){
           while(true) {
                   char *buf=new(PointerFreeGC) char[MAX_STRING];
                   ssize_t length=read(file, buf, MAX_STRING-1);
                   if(length<=0)
                           break;
                   buf[length]=0;
                   result.append_know_length(buf, length, lang);
           }
   }
   
   static void read_pipe(File_read_result& result, int file){
           char *buf=new(PointerFreeGC) char[MAX_STRING];
   
           unsigned long bufsize = 0;
           unsigned long newsize = 0;
   
           result.headers = 0;
           result.length = 0;
           result.str = 0;
           result.success = false;
   
         while(true) {          while(true) {
                 char *buf=(char *)result.pool().malloc(MAX_STRING);                  ssize_t size=read(file, buf, MAX_STRING-1);
                 ssize_t size=read(file, buf, MAX_STRING);                  if(size <= 0)
                 if(size<=0)  
                         break;                          break;
                 result.APPEND(buf, size, lang, file_spec, 0);                  newsize = (size + result.length);
     }                  if(newsize > bufsize){
                           bufsize = (size==MAX_STRING-1)?newsize*2:newsize;
                           char *tmp = new(PointerFreeGC) char[bufsize];
                           if(result.str)
                                   memcpy(tmp, result.str, result.length);
                           memcpy(tmp+result.length, buf, size);
                           result.str = tmp;
                   }else{
                           memcpy(result.str+result.length, buf, size);
                   }
                   result.length = newsize;
           }
 }  }
   
 #endif  #endif
   
 ///@test maybe here and at argv construction --- cstr(String::UL_UNSPECIFIED  #ifndef DOXYGEN
 static void append_env_pair(const Hash::Key& key, Hash::Val *value, void *info) {  struct Append_env_pair_info {
 #ifdef WIN32  #ifdef WIN32
         String& string=*static_cast<String *>(info);          String::Body& body;
                   Append_env_pair_info(String::Body& abody): body(abody) {}
         string << key << "=" << *static_cast<String *>(value);  
         string.APPEND_AS_IS("", 1, 0, 0); // zero byte  
 #else  #else
         String string(key.pool());          char **env_ref;
         string << key << "=" << *static_cast<String *>(value);  #endif
   };
   #endif
   ///@test maybe here and at argv construction --- cstr(String::L_UNSPECIFIED
   static void append_env_pair(HashStringString::key_type key, HashStringString::value_type value,
                   Append_env_pair_info *info) {
   #ifdef WIN32
           info->body << key << "=" << value;
           info->body.append_know_length("\1", 1); // placeholder for of zero byte
   #else
           String::Body body;
           body << key << "=" << value.cstr();
   
         char ***env_ref=static_cast<char ***>(info);          *(info->env_ref++)=body.cstrm();
         **env_ref=string.cstr(String::UL_UNSPECIFIED);  (*env_ref)++;  
 #endif  #endif
 }  }
   
 int pa_exec(  PA_exec_result pa_exec(
                         bool forced_allow,                          bool 
   #if defined(NO_PA_EXEC) || defined(PA_SAFE_MODE)
                           forced_allow
   #endif
                           , 
                         const String& file_spec,                           const String& file_spec, 
                         const Hash *env,                          const HashStringString* env, 
                         const Array *argv,                          const ArrayString& argv, 
                         const String& in, String& out, String& err) {                          String& in) {
         Pool& pool=file_spec.pool();          PA_exec_result result;
   
 #ifdef NO_PA_EXECS  #ifdef NO_PA_EXECS
         if(!forced_allow)          if(!forced_allow)
                 throw Exception("parser.runtime",                  throw Exception(PARSER_RUNTIME,
                         &file_spec,                          &file_spec,
                         "parser execs are disabled [recompile parser without --disable-execs configure option]");                          "parser execs are disabled [recompile parser without --disable-execs configure option]");
 #endif  #endif
Line 325  int pa_exec( Line 400  int pa_exec(
   
         PROCESS_INFORMATION pi;           PROCESS_INFORMATION pi; 
         HANDLE hInWrite, hOutRead, hErrRead;          HANDLE hInWrite, hOutRead, hErrRead;
         char *file_spec_cstr=file_spec.cstr(String::UL_FILE_SPEC);           const char* script_spec_cstr=file_spec.cstr(String::L_FILE_SPEC);
         const char *cmd=buildCommand(file_spec.pool(), file_spec, file_spec_cstr, argv);          const char* cmd=buildCommand(script_spec_cstr, argv);
         char *env_cstr=0;          char* env_cstr=0;
         if(env) {          if(env) {
                 String string(env->pool());                  String::Body body;
                 env->for_each(append_env_pair, &string);                  Append_env_pair_info info(body);
                 env_cstr=string.cstr(String::UL_UNSPECIFIED);                  env->for_each<Append_env_pair_info*>(append_env_pair, &info);
                   env_cstr=info.body.cstrm();
                   for(char* replacer=env_cstr; *replacer; replacer++)
                           if(*replacer=='\1')
                                   *replacer=0;
         }          }
         if(DWORD error=CreateHiddenConsoleProcess(cmd, env_cstr, &pi, &hInWrite, &hOutRead, &hErrRead)) {          if(DWORD error=CreateHiddenConsoleProcess(cmd, script_spec_cstr, env_cstr, &pi, &hInWrite, &hOutRead, &hErrRead)) {
                 char szErrorDesc[MAX_STRING];                  char szErrorDesc[MAX_STRING];
                 char *param="the file you tried to run";                  const char* param="the file you tried to run";
                 size_t error_size=FormatMessage(                  size_t error_size=FormatMessage(
                         FORMAT_MESSAGE_FROM_SYSTEM|FORMAT_MESSAGE_ARGUMENT_ARRAY , NULL, error,                          FORMAT_MESSAGE_FROM_SYSTEM|FORMAT_MESSAGE_ARGUMENT_ARRAY , NULL, error,
                         MAKELANGID(LANG_NEUTRAL, SUBLANG_NEUTRAL),                          MAKELANGID(LANG_NEUTRAL, SUBLANG_NEUTRAL),
                         szErrorDesc, sizeof(szErrorDesc), &param);                          szErrorDesc, sizeof(szErrorDesc), (va_list *)&param);
                 if(error_size>3) // ".\r\n"                  if(error_size>3) // ".\r\n"
                         szErrorDesc[error_size-3]=0;                          szErrorDesc[error_size-3]=0;
                           
                 throw Exception(0,                  throw Exception("file.execute",
                         &file_spec,                          &file_spec,
                         "exec failed - %s (%ld). Consider adding shbang line (#!x:\\interpreter\\command line)",                           "exec failed - %s (%u). Consider adding shbang line (#!x:\\interpreter\\command line)", 
                                 error_size?szErrorDesc:"<unknown>", (long)error);                                  error_size?szErrorDesc:"<unknown>", error);
         } else {          } else {
                 const char *in_cstr=in.cstr();                  const char* in_cstr=in.cstr();
                 DWORD written_size;                  DWORD written_size;
                 WriteFile(hInWrite, in_cstr, in.size(), &written_size, NULL);                  WriteFile(hInWrite, in_cstr, in.length(), &written_size, NULL);
                 // EOF for stupid text reads                  // EOF for stupid text reads
                 // normally they should read CONTENT_LENGTH bytes,                  // normally they should read CONTENT_LENGTH bytes,
                 // without this char                  // without this char
                 WriteFile(hInWrite, "\x1A", 1, &written_size, NULL);                  WriteFile(hInWrite, "\x1A", 1, &written_size, NULL);
                 CloseHandle(hInWrite);                  CloseHandle(hInWrite);
                 read_pipe(out, hOutRead, file_spec_cstr, String::UL_AS_IS);                  read_pipe(result.out, hOutRead);
                 CloseHandle(hOutRead);                  CloseHandle(hOutRead);
                 read_pipe(err, hErrRead, file_spec_cstr, String::UL_TAINTED);                             read_pipe(result.err, hErrRead, String::L_TAINTED);             
                 CloseHandle(hErrRead);                  CloseHandle(hErrRead);
 /*        /*      
 from http://www.apache.org/websrc/cvsweb.cgi/apache-1.3/src/main/util_script.c?rev=1.151&content-type=text/vnd.viewcvs-markup  from http://www.apache.org/websrc/cvsweb.cgi/apache-1.3/src/main/util_script.c?rev=1.151&content-type=text/vnd.viewcvs-markup
Line 372  from http://www.apache.org/websrc/cvsweb Line 451  from http://www.apache.org/websrc/cvsweb
   
 #else  #else
   
           // execve needs non const
           char* file_spec_cstr=file_spec.cstrm(String::L_FILE_SPEC); 
   
         int pipe_write, pipe_read, pipe_err;          int pipe_write, pipe_read, pipe_err;
         char *file_spec_cstr=file_spec.cstr(String::UL_FILE_SPEC);  
   
 #ifdef PA_SAFE_MODE  #ifdef PA_SAFE_MODE
         if(!forced_allow) {          if(!forced_allow) {
                 struct stat finfo;                  struct stat finfo;
                 if(stat(file_spec_cstr, &finfo)!=0)                  if(stat(file_spec_cstr, &finfo)!=0)
                         throw Exception("file.missing",                           throw Exception("file.missing", 
                                         &file_spec,   
                                         "stat failed: %s (%d), actual filename '%s'",   
                                                 strerror(errno), errno, file_spec_cstr);  
   
                 if(finfo.st_uid/*foreign?*/!=geteuid()  
                         && finfo.st_gid/*foreign?*/!=getegid())  
                         throw Exception("parser.runtime",   
                                 &file_spec,                                   &file_spec, 
                                 "parser is in safe mode: executing files of foreign group and user disabled [recompile parser with --disable-safe-mode configure option], actual filename '%s'",                                   "stat failed: %s (%d), actual filename '%s'", 
                                         file_spec_cstr);                                          strerror(errno), errno, file_spec_cstr);
   
                   check_safe_mode(finfo, file_spec, file_spec_cstr);
         }          }
 #endif  #endif
   
         char *argv_cstrs[1+10+1]={file_spec_cstr, 0};          char* argv_cstrs[1+50+1]={file_spec_cstr, 0};
         if(argv) {          const int argv_size=argv.count();
                 const int argv_size=argv->size();          const int argv_max=sizeof(argv_cstrs)/sizeof(argv_cstrs[0])-1-1;
                 const int argv_max=sizeof(argv_cstrs)/sizeof(argv_cstrs[0])-1-1;          if(argv_size>argv_max)
                 if(argv_size>argv_max)                  throw Exception(PARSER_RUNTIME,
                         throw Exception("parser.runtime",                          &file_spec,
                                 &file_spec,                          "too many arguments (%d > max %d)", argv_size, argv_max);
                                 "too many arguments (%d > max %d)", argv_size, argv_max);          for(int i=0; i<argv_size; i++)
                 for(int i=0; i<argv_size; i++)                  argv_cstrs[1+i]=argv[i]->cstrm();
                         argv_cstrs[1+i]=argv->get_string(i)->cstr();          argv_cstrs[1+argv_size]=0;
                 argv_cstrs[1+argv_size]=0;  
         }          char **env_cstrs;
         char **env_cstrs=0;  
         if(env) {          if(env) {
                 env_cstrs=                  env_cstrs=new(PointerFreeGC) char *[env->count()+1/*0*/];
                         (char **)env->pool().malloc(sizeof(char *)*(env->size()+1/*0*/));                  Append_env_pair_info info={env_cstrs}; 
                 char **env_ref=env_cstrs;                  env->for_each(append_env_pair, &info);
                 env->for_each(append_env_pair, &env_ref);                  *info.env_ref=0;
                 *env_ref=0;          } else
         }                  env_cstrs=0;
   
         pid_t pid=execve_piped(          pid_t pid=execve_piped(
                 file_spec_cstr,                  file_spec_cstr,
Line 420  from http://www.apache.org/websrc/cvsweb Line 495  from http://www.apache.org/websrc/cvsweb
                 &pipe_write, &pipe_read, &pipe_err);                  &pipe_write, &pipe_read, &pipe_err);
         if(pid>0) {          if(pid>0) {
                 // in child                  // in child
                 const char *in_cstr=in.cstr();                  if(in.length()) {// there is some in data
                 if(*in_cstr) // there is some in data                          const char* in_cstr=in.cstr();
                         write(pipe_write, in_cstr, in.size());                          write(pipe_write, in_cstr, in.length());
                   }
                 close(pipe_write);                  close(pipe_write);
                 read_pipe(out, pipe_read, file_spec_cstr, String::UL_AS_IS);                  read_pipe(result.out, pipe_read);
                 close(pipe_read);                  close(pipe_read);
                 read_pipe(err, pipe_err, file_spec_cstr, String::UL_TAINTED);                  read_pipe(result.err, pipe_err, String::L_TAINTED);
                 close(pipe_err);                  close(pipe_err);
   
                 return get_exit_status(pid); // negative may mean "-errno[execl()]"                  result.status=get_exit_status(pid); // negative may mean "-errno[execl()]"
         } else           } else { 
                 throw Exception(0,                  const char* str=strerror(errno);
                   throw Exception("file.execute",
                         &file_spec,                          &file_spec,
                         "%s error: %s (%d)", pid<0?"fork":"pipe", strerror(errno), errno);                           "%s error: %s (%d)", pid<0?"fork":"pipe", str?str:"<unknown>", errno); 
           }
 #endif  #endif
   
         return 0;          return result;
 }  }

Removed from v.1.47  
changed lines
  Added in v.1.72


E-mail: