Diff for /parser3/src/targets/cgi/parser3.C between versions 1.207 and 1.347

version 1.207, 2002/12/05 09:41:56 version 1.347, 2022/01/26 17:04:46
Line 1 Line 1
 /** @file  /** @file
         Parser: scripting and CGI main.          Parser: scripting and CGI main.
   
         Copyright(c) 2001, 2002 ArtLebedev Group (http://www.artlebedev.com)          Copyright (c) 2001-2020 Art. Lebedev Studio (http://www.artlebedev.com)
         Author: Alexandr Petrosian <paf@design.ru> (http://paf.design.ru)          Author: Alexandr Petrosian <paf@design.ru> (http://paf.design.ru)
 */  */
   
 static const char* IDENT_PARSER3_C="$Date$";  volatile const char * IDENT_PARSER3_C="$Id$";
   
 #include "pa_config_includes.h"  #include "pa_config_includes.h"
   
 #if _MSC_VER  
 #       include <new.h>  
 #       include <crtdbg.h>  
 #endif  
   
 #include "pa_sapi.h"  #include "pa_sapi.h"
 #include "classes.h"  #include "classes.h"
 #include "pa_common.h"  #include "pa_common.h"
 #include "pa_request.h"  #include "pa_request.h"
 #include "pa_socks.h"  
 #include "pa_version.h"  #include "pa_version.h"
   #include "pa_threads.h"
   #include "pa_vconsole.h"
   #include "pa_sapi_info.h"
   
   #ifdef _MSC_VER
   #include <crtdbg.h>
   #include <windows.h>
   #include <direct.h>
   
 #include "pool_storage.h"  extern "C" HANDLE WINAPI GC_CreateThread(LPSECURITY_ATTRIBUTES, DWORD, LPTHREAD_START_ROUTINE, LPVOID, DWORD, LPDWORD);
   
 #ifdef WIN32  
 #       include <windows.h>  
 #       include "getopt.h"  
 #else  #else
 #       include <getopt.h>  
   extern "C" int GC_pthread_create(pthread_t *, const pthread_attr_t *, void *(*)(void *), void * /* arg */);
   
 #endif  #endif
   
 //#define DEBUG_POOL_MALLOC  // defines
 //#define DEBUG_STRING_APPENDS_VS_EXPANDS  
 //#define DEBUG_MAILRECEIVE "mailreceive.eml"  // comment remove me after debugging
   //#define PA_DEBUG_CGI_ENTRY_EXIT "parser3-debug.log"
 #ifdef DEBUG_STRING_APPENDS_VS_EXPANDS  
 extern ulong   #if defined(_MSC_VER) && !defined(_DEBUG)
         string_piece_appends,   #       define PA_SUPPRESS_SYSTEM_EXCEPTION
         wcontext_result_size,  
         total_alloc_size,  
         string_string_shortcut_economy;  
 #endif  #endif
   
 // consts  // consts
   
 #define REDIRECT_PREFIX "REDIRECT_"  #define REDIRECT_PREFIX "REDIRECT_"
 #define PARSER_CONFIG_ENV_NAME "CGI_PARSER_CONFIG"  #define PARSER_CONFIG_ENV_NAME "CGI_PARSER_CONFIG"
   #define PARSER_LOG_ENV_NAME "CGI_PARSER_LOG"
   
 /// IIS refuses to read bigger chunks  static const char* filespec_to_process = 0; // [file]
 const size_t READ_POST_CHUNK_SIZE=0x400*0x400; // 1M   static const char* httpd_host_port = 0; // -p option
   static const char* config_filespec = 0; // -f option or from env or next to the executable if exists
 static const char *argv0;  static bool mail_received = false; // -m option? [asked to parse incoming message to $mail:received]
 static const char *config_filespec_cstr=0;  static const char* parser3_filespec = 0; // argv[0]
 static bool fail_on_config_read_problem=true;  static char** argv_extra = NULL;
   
 static Pool_storage global_pool_storage; ///< global pool storage  // for error logging
 static Pool global_pool(&global_pool_storage); ///< global pool  static THREAD_LOCAL Request_info *request_info_4log = NULL; // global for correct log() reporting
 static bool cgi; ///< we were started as CGI?  static const char* filespec_4log = NULL; // null only if system-wide auto.p used
 static bool mail_received=false; ///< we were started with -m option? [asked to parse incoming message to $mail:received]  
   
 // for signal handlers  
 Request *request=0;  
   
 // SAPI  // SAPI
   
 static void log(const char *fmt, va_list args) {  static void pa_log(const char* fmt, va_list args) {
         bool opened=false;          bool opened=false;
         FILE *f=0;          FILE *f=0;
   
         if(config_filespec_cstr) {          const char* log_by_env=getenv(PARSER_LOG_ENV_NAME);
           if(!log_by_env)
                   log_by_env=getenv(REDIRECT_PREFIX PARSER_LOG_ENV_NAME);
           if(log_by_env) {
                   f=fopen(log_by_env, "at");
                   opened=f!=0;
           }
   #ifdef PA_DEBUG_CGI_ENTRY_EXIT
           f=fopen(PA_DEBUG_CGI_ENTRY_EXIT, "at");
           opened=f!=0;
   #endif
   
           if(!opened && filespec_4log) {
                 char beside_config_path[MAX_STRING];                  char beside_config_path[MAX_STRING];
                 strncpy(beside_config_path, config_filespec_cstr, MAX_STRING-1);  beside_config_path[MAX_STRING-1]=0;                  pa_strncpy(beside_config_path, filespec_4log, MAX_STRING);
                 if(!(                  if(!(rsplit(beside_config_path, '/') || rsplit(beside_config_path, '\\'))) { // strip filename
                         rsplit(beside_config_path, '/') ||   
                         rsplit(beside_config_path, '\\'))) { // strip filename  
                         // no path, just filename                          // no path, just filename
                         beside_config_path[0]='.'; beside_config_path[1]=0;                          strcpy(beside_config_path, ".");
                 }                  }
   
                 char file_spec[MAX_STRING];                  char file_spec[MAX_STRING];
                 snprintf(file_spec, MAX_STRING,                   snprintf(file_spec, MAX_STRING, "%s/parser3.log", beside_config_path);
                         "%s/parser3.log", beside_config_path);  
                 f=fopen(file_spec, "at");                  f=fopen(file_spec, "at");
                 opened=f!=0;                  opened=f!=0;
         }          }
Line 88  static void log(const char *fmt, va_list Line 92  static void log(const char *fmt, va_list
         if(!opened)          if(!opened)
                 f=stderr;                  f=stderr;
   
           // use no memory [so that we could log out-of-memory error]
           setbuf(f, 0); // stderr stream is unbuffered by default, but still...
   
         // prefix          // prefix
         time_t t=time(0);          time_t t=time(0);
         if(const char *stamp=ctime(&t)) { // never saw that          if(const char* stamp=ctime(&t)) { // never saw that
                 if(size_t len=strlen(stamp)) // saw once stamp being =""                  if(size_t len=strlen(stamp)) // saw once stamp being =""
                         fprintf(f, "[%.*s] ", len-1, stamp);                          fprintf(f, "[%.*s] [%u] ", (int)len-1, stamp, (unsigned int)pa_get_thread_id() );
         }          }
         // message          // message
   
         char buf[MAX_STRING];          char buf[MAX_LOG_STRING];
         size_t size=vsnprintf(buf, MAX_STRING, fmt, args);          size_t size=vsnprintf(buf, MAX_LOG_STRING, fmt, args);
         remove_crlf(buf, buf+size);          size=remove_crlf(buf, buf+size);
   
         fwrite(buf, size, 1, f);          fwrite(buf, size, 1, f);
         // newline  
         fprintf(f, "\n");          if(request_info_4log && request_info_4log->method) {
                   fprintf(f, " [uri=%s, method=%s, cl=%lu]\n", request_info_4log->uri ? request_info_4log->uri : "<unknown>", request_info_4log->method, (unsigned long)request_info_4log->content_length);
           } else
                   fputs(" [no request info]\n", f);
   
         if(opened)          if(opened)
                 fclose(f);                  fclose(f);
Line 110  static void log(const char *fmt, va_list Line 119  static void log(const char *fmt, va_list
                 fflush(f);                  fflush(f);
 }  }
   
 // appends to parser3.log located beside my binary if openable, to stderr otherwize  void pa_log(const char* fmt, ...) {
 void SAPI::log(Pool& , const char *fmt, ...) {          va_list args;
     va_list args;  
         va_start(args,fmt);          va_start(args,fmt);
         ::log(fmt, args);          pa_log(fmt, args);
         va_end(args);          va_end(args);
 }  }
   
 void SAPI::die(const char *fmt, ...) {  // appends to parser3.log located next to the config file if openable, to stderr otherwize
 #ifdef DEBUG_POOL_MALLOC  void SAPI::log(SAPI_Info&, const char* fmt, ...) {
         extern void log_pool_stats(Pool& pool);          va_list args;
         log_pool_stats(global_pool);  
 #endif  
   
     va_list args;  
         va_start(args,fmt);          va_start(args,fmt);
         // log          pa_log(fmt, args);
   
         // logging is more important than user   
         // she can cancel download, we'd get SIGPIPE,   
         // nothing would be logged then  
         ::log(fmt, args);  
   
         // inform user  
   
         char body[MAX_STRING];  
         int content_length=vsnprintf(body, MAX_STRING, fmt, args);  
   
         va_end(args);          va_end(args);
   }
   
         // prepare header  void SAPI::die(const char* fmt, ...) {
         // let's be honest, that's bad we couldn't produce valid output          va_list args;
         SAPI::add_header_attribute(global_pool, "status", "500");  
         SAPI::add_header_attribute(global_pool, "content-type", "text/plain");  
         char content_length_cstr[MAX_NUMBER];  
         snprintf(content_length_cstr, sizeof(content_length_cstr), "%u", content_length);  
         SAPI::add_header_attribute(global_pool, "content-length", content_length_cstr);  
   
         // send header          // logging first, first vsnprintf
         SAPI::send_header(global_pool);          va_start(args,fmt);
           pa_log(fmt, args);
           va_end(args);
   
         // body          // inform user, second vsnprintf
         SAPI::send_body(global_pool, body, content_length);          va_start(args, fmt);
           char message[MAX_STRING];
           vsnprintf(message, MAX_STRING, fmt, args);
   
           SAPI::send_error(*sapiInfo, message);
         exit(1);          exit(1);
   //      va_end(args);
 }  }
   
 const char *SAPI::get_env(Pool& , const char *name) {  char* SAPI::Env::get(SAPI_Info& info, const char* name) {
         return getenv(name);          return info.get_env(name);
 }  }
   
 const char *const *SAPI::environment(Pool&) {  bool SAPI::Env::set(SAPI_Info& info, const char* name, const char* value) {
 #ifdef _MSC_VER          return info.set_env(name, value);
         extern char **_environ;  
         return _environ;  
 #else  
         extern char **environ;  
         return environ;  
 #endif  
 }  }
   
 size_t SAPI::read_post(Pool& , char *buf, size_t max_bytes) {  const char* const *SAPI::Env::get(SAPI_Info& info) {
         size_t read_size=0;          return info.get_env();
         do {  
                 ssize_t chunk_size=read(fileno(stdin),   
                         buf+read_size, min(READ_POST_CHUNK_SIZE, max_bytes-read_size));  
                 if(chunk_size<=0)  
                         break;  
                 read_size+=chunk_size;  
         } while(read_size<max_bytes);  
   
         return read_size;  
 }  }
   
 void SAPI::add_header_attribute(Pool& , const char *key, const char *value) {  size_t SAPI::read_post(SAPI_Info& info, char *buf, size_t max_bytes) {
         if(cgi)          return info.read_post(buf, max_bytes);
                 printf("%s: %s\n", key, value);  
 }  }
   
 /// @todo intelligent cache-control  void SAPI::add_header_attribute(SAPI_Info& info, const char* dont_store_key, const char* dont_store_value) {
 void SAPI::send_header(Pool& ) {          info.add_header_attribute(dont_store_key, dont_store_value);
         if(cgi) {  
 //              puts("expires: Fri, 23 Mar 2001 09:32:23 GMT");  
   
                 // header | body  delimiter  
                 puts("");  
         }  
 }  }
   
 void SAPI::send_body(Pool& , const void *buf, size_t size) {  void SAPI::send_header(SAPI_Info& info) {
         stdout_write(buf, size);          info.send_header();
 }  }
   
 //  size_t SAPI::send_body(SAPI_Info& info, const void *buf, size_t size) {
           return info.send_body(buf, size);
   }
   
 static void full_file_spec(const char *file_name, char *buf, size_t buf_size) {  static void full_disk_path(const char* file_name, char *buf, size_t buf_size) {
         if(file_name)          if(file_name[0]=='/' 
                 if(file_name[0]=='/'   
 #ifdef WIN32  #ifdef WIN32
                         || (file_name[0] && file_name[1]==':')                  || file_name[0] && file_name[1]==':'
 #endif  #endif
                         )           ){
                         strncpy(buf, file_name, buf_size);                  pa_strncpy(buf, file_name, buf_size);
                 else {          } else {
                         char cwd[MAX_STRING];  getcwd(cwd, MAX_STRING);                  char cwd[MAX_STRING];
                         snprintf(buf, buf_size, "%s/%s", cwd, file_name);                  snprintf(buf, buf_size, "%s/%s", getcwd(cwd, MAX_STRING) ? cwd : "", file_name);
                 }          }
         else  
                 buf[0]=0;  
 #ifdef WIN32  #ifdef WIN32
         back_slashes_to_slashes(buf);          back_slashes_to_slashes(buf);
 #endif  #endif
 }  }
   
 static void log_signal(const char *signal_name) {  static void log_signal(const char* signal_name) {
         SAPI::log(global_pool, request? "%s received. uri=%s, qs=%s"          SAPI::log(*sapiInfo, "%s received %s processing request", signal_name, request ? "while" : "before or after");
                 :"%s received. no request being processed",   
                 signal_name,  
                 request && request->info.uri?request->info.uri:"-",  
                 request && request->info.query_string?request->info.query_string:"-");  
 }  }
   
 #ifdef SIGUSR1  
 static void SIGUSR1_handler(int /*sig*/){  
         log_signal("SIGUSR1");  
 }  
 #endif  
   
 #ifdef SIGPIPE  #ifdef SIGPIPE
   #define SIGPIPE_NAME "SIGPIPE"
   static const String sigpipe_name(SIGPIPE_NAME);
 static void SIGPIPE_handler(int /*sig*/){  static void SIGPIPE_handler(int /*sig*/){
         log_signal("SIGPIPE");          Value* sigpipe=0;
         if(request)          if(request)
                 request->interrupt();                  sigpipe=request->main_class.get_element(sigpipe_name);
           if(sigpipe && sigpipe->as_bool())
                   log_signal(SIGPIPE_NAME);
   
           if(request)
                   request->set_skip(Request::SKIP_INTERRUPTED);
 }  }
 #endif  #endif
   
 /**  // requires pa_thread_request() in entry_exists() under Windows
 main workhorse  static const char *locate_config(const char *config_filespec_option, const char *executable_path){
           filespec_4log=config_filespec_option;
           if(!filespec_4log)
                   filespec_4log=getenv(PARSER_CONFIG_ENV_NAME);
           if(!filespec_4log)
                   filespec_4log=getenv(REDIRECT_PREFIX PARSER_CONFIG_ENV_NAME);
           if(!filespec_4log){
                           // next to the executable
                           char *beside_executable_path = pa_strdup(executable_path);
                           bool stripped_filename = rsplit(beside_executable_path, '/') || rsplit(beside_executable_path, '\\');
                           filespec_4log = pa_strcat(stripped_filename ? beside_executable_path : "." /* no path, just filename */ , "/" AUTO_FILE_NAME);
                           if(entry_exists(filespec_4log))
                                   return filespec_4log;
   #ifdef SYSTEM_CONFIG_FILE
                           if(entry_exists(SYSTEM_CONFIG_FILE)){
                                   filespec_4log=NULL;
                                   return SYSTEM_CONFIG_FILE;
                           }
   #endif
                           return NULL;
           }
           return filespec_4log;
   }
   
   @todo   #ifdef WIN32
                 IIS: remove trailing default-document[index.html] from $request.uri.  const char* maybe_reconstruct_IIS_status_in_qs(const char* original) {
                 to do that we need to consult metabase,          // 404;http://servername/page[?param=value...]
                 wich is tested but seems slow.          // ';' should be urlencoded by HTTP standard, so we shouldn't get it from browser 
                 IIS5 todo find out proper 'illegal call' check           // and can consider that as an indication that this is IIS way to report errors
 */  
 static void real_parser_handler(          if(original && isdigit((unsigned char)original[0]) && isdigit((unsigned char)original[1]) && isdigit((unsigned char)original[2]) && original[3]==';'){
                                         const char *filespec_to_process,                  size_t original_len=strlen(original);
                                         const char *request_method, bool header_only) {                  char* reconstructed=new(PointerFreeGC) char[original_len +12/*IIS-STATUS=&*/ +14/*IIS-DOCUMENT=&*/ +1];
         // init socks                  char* cur=reconstructed;
         init_socks(global_pool);                  memcpy(cur, "IIS-STATUS=", 11);  cur+=11;
                           memcpy(cur, original, 3); cur+=3;
         // init global classes                  *cur++='&';
         init_methoded_array(global_pool);  
         // init global variables                  const char* qmark_at=strchr(original, '?');
         pa_globals_init(global_pool);                  memcpy(cur, "IIS-DOCUMENT=", 13);  cur+=13;
                           {
         // request pool, must be different ptr from global [used in VStateless_class.add_method]                          size_t value_len=(qmark_at ? qmark_at-original : original_len)-4;
         Pool request_pool(&global_pool_storage);                          memcpy(cur, original+4, value_len);  cur+=value_len;
                   }
   
         if(!filespec_to_process || !*filespec_to_process)                  if(qmark_at) {
                 SAPI::die("Parser/%s", PARSER_VERSION);                          *cur++='&';
                                   strcpy(cur, qmark_at+1/*skip ? itself*/);
         // Request info  
         Request::Info request_info;  
         char document_root_buf[MAX_STRING];  
         if(cgi) {  
                 if(const char *env_document_root=SAPI::get_env(request_pool, "DOCUMENT_ROOT"))  
                         request_info.document_root=env_document_root;  
                 else if(const char *path_info=SAPI::get_env(request_pool, "PATH_INFO")) {  
                         // IIS  
                         size_t len=min(sizeof(document_root_buf)-1, strlen(filespec_to_process)-strlen(path_info));  
                         memcpy(document_root_buf, filespec_to_process, len); document_root_buf[len]=0;  
                         request_info.document_root=document_root_buf;  
                 } else                  } else
                         throw Exception("parser.runtime",                          *cur=0;
                                 0,  
                                 "CGI: no PATH_INFO defined(in reinventing DOCUMENT_ROOT)");                  return reconstructed;
         } else {  
                 full_file_spec("", document_root_buf, sizeof(document_root_buf));  
                 request_info.document_root=document_root_buf;  
         }          }
         request_info.path_translated=filespec_to_process;  
         request_info.method=request_method ? request_method : "GET";  
         const char *query_string=SAPI::get_env(request_pool, "QUERY_STRING");  
         request_info.query_string=query_string;  
         if(cgi) {  
                 if(const char *env_request_uri=SAPI::get_env(request_pool, "REQUEST_URI"))  
                         request_info.uri=env_request_uri;  
                 else if(const char *path_info=SAPI::get_env(request_pool, "PATH_INFO"))  
                         if(query_string) {  
                                 char *reconstructed_uri=(char *)request_pool.malloc(  
                                         strlen(path_info)+1/*'?'*/+  
                                         strlen(query_string)+1/*0*/);  
                                 strcpy(reconstructed_uri, path_info);  
                                 strcat(reconstructed_uri, "?");  
                                 strcat(reconstructed_uri, query_string);  
                                 request_info.uri=reconstructed_uri;  
                         } else  
                                 request_info.uri=path_info;  
                 else  
                         throw Exception("parser.runtime",  
                                 0,  
                                 "CGI: no PATH_INFO defined(in reinventing REQUEST_URI)");  
                           
                         // they've changed this under IIS5.  
                         if(const char *script_name=SAPI::get_env(request_pool, "SCRIPT_NAME")) {  
                                 size_t script_name_len=strlen(script_name);  
                                 size_t uri_len=strlen(request_info.uri);  
                                 if(strncmp(request_info.uri,script_name, script_name_len)==0 &&  
                                         script_name_len != uri_len) // under IIS they are the same  
                                         SAPI::die("CGI: illegal call");  
                         }  
         } else  
                 request_info.uri="";  
                   
         request_info.content_type=SAPI::get_env(request_pool, "CONTENT_TYPE");          return original;
         const char *content_length=SAPI::get_env(request_pool, "CONTENT_LENGTH");  }
         request_info.content_length=(content_length?atoi(content_length):0);  
         request_info.cookie=SAPI::get_env(request_pool, "HTTP_COOKIE");  
         request_info.mail_received=mail_received;  
   
   #define MAYBE_RECONSTRUCT_IIS_STATUS_IN_QS(s) maybe_reconstruct_IIS_status_in_qs(s)
   #else
   #define MAYBE_RECONSTRUCT_IIS_STATUS_IN_QS(s) s
   #endif
   
   class RequestController {
   public:
           RequestController(Request* r){
                   request=r;
           }
           ~RequestController(){
                   request=0;
           }
   };
   
   class RequestInfoController {
   public:
           RequestInfoController(Request_info* rinfo){
                   request_info_4log=rinfo;
           }
           ~RequestInfoController(){
                   request_info_4log=0;
           }
   };
   
   /** httpd support */
   static const String httpd_class_name("httpd");
   
   static void config_handler(SAPI_Info &info) {
           char document_root_buf[MAX_STRING];
           full_disk_path("", document_root_buf, sizeof(document_root_buf));
   
           Request_info request_info;
           RequestInfoController ric(&request_info);
   
           request_info.document_root = document_root_buf;
           request_info.uri = "";
           request_info.argv = argv_extra;
   
         // prepare to process request          // prepare to process request
         Request request(request_pool,          Request r(info, request_info, String::Language(String::L_HTML|String::L_OPTIMIZE_BIT));
                 request_info,          // only once
 /*#ifdef _DEBUG          config_filespec = locate_config(config_filespec, parser3_filespec);
                 String::UL_HTML|String::UL_OPTIMIZE_BIT          // process main auto.p only
 #else*/          r.core(config_filespec, false, String::Empty);
                 cgi ? String::UL_HTML|String::UL_OPTIMIZE_BIT : String::UL_AS_IS  }
 /*#endif*/  
                 ,  static void connection_handler(SAPI_Info_HTTPD &info, HTTPD_Connection &connection) {
                 true /* status_allowed */);          Request_info request_info;
           RequestInfoController ric(&request_info);
         // get request ptr for signal handlers  
         ::request=&request;          try {
                   if(!connection.read_header())
         char config_filespec_buf[MAX_STRING];                          return; // ignore "void" connections
         if(!config_filespec_cstr) {                  info.populate_env();
                 const char *config_by_env=getenv(PARSER_CONFIG_ENV_NAME);  
                 if(!config_by_env)                  char document_root_buf[MAX_STRING];
                         config_by_env=getenv(REDIRECT_PREFIX PARSER_CONFIG_ENV_NAME);                  full_disk_path("", document_root_buf, sizeof(document_root_buf));
                 if(config_by_env)  
                         config_filespec_cstr=config_by_env;                  request_info.document_root = document_root_buf;
                 else {                  request_info.path_translated = filespec_to_process;
                         // beside by binary                  request_info.method = connection.method();
                         char beside_binary_path[MAX_STRING];                  request_info.query_string = connection.query();
                         strncpy(beside_binary_path, argv0, MAX_STRING-1);  beside_binary_path[MAX_STRING-1]=0; // filespec of my binary                  request_info.uri = request_info.strip_absolute_uri(connection.uri());
                         if(!(                  request_info.content_type = connection.content_type();
                                 rsplit(beside_binary_path, '/') ||                   request_info.content_length = (size_t)connection.content_length();
                                 rsplit(beside_binary_path, '\\'))) { // strip filename                  request_info.cookie = info.get_env("HTTP_COOKIE");
                                 // no path, just filename                  request_info.mail_received = false;
                                 // @todo full path, not ./!                  request_info.argv = argv_extra;
                                 beside_binary_path[0]='.'; beside_binary_path[1]=0;  
                   // prepare to process request
                   Request r(info, request_info, String::Language(String::L_HTML|String::L_OPTIMIZE_BIT));
                   // process the request
                   r.core(config_filespec, strcasecmp(request_info.method, "HEAD")==0, main_method_name, &httpd_class_name);
           } catch(const Exception& e) { // exception in connection handling or unhandled exception
                   SAPI::log(info, "%s", e.comment());
                   const char *status = info.exception_http_status(e.type());
                   if(*status){
                           info.clear_response_headers();
                           SAPI::send_error(info, e.comment(), status);
                   }
           }
   }
   
   #ifdef _MSC_VER
   DWORD WINAPI connection_thread(void *arg){
   #else
   static void *connection_thread(void *arg){
   #endif
           HTTPD_Connection &connection=*(HTTPD_Connection*)arg;
           SAPI_Info_HTTPD info(connection);
   
           try {
                   connection_handler(info, connection);
           } catch(const Exception& e) { // exception in send_error
                   SAPI::log(*sapiInfo, "%s", e.comment());
           }
   
           delete(&connection);
           return 0;
   }
   
   static void httpd_mode() {
           config_handler(*sapiInfo);
   
           SOCKET sock = HTTPD_Server::bind(httpd_host_port);
   
   #ifdef SIGPIPE
           signal(SIGPIPE, SIG_IGN);
   #endif
   
           while(1){
   #ifndef _MSC_VER
                   pid_t pid=1;
                   if(HTTPD_Server::mode == HTTPD_Server::PARALLEL)
                           while (waitpid((pid_t)(-1), 0, WNOHANG) > 0);
   #endif
                   try {
                           HTTPD_Connection connection;
                           if(!connection.accept(sock, 500))
                                   continue;
   
                           switch (HTTPD_Server::mode) {
                                   case HTTPD_Server::MULTITHREADED:
   #ifdef _MSC_VER
                                           if (!GC_CreateThread(0, 0, connection_thread, new HTTPD_Connection(connection), 0, 0))
                                                   throw Exception("httpd.fork", 0, "thread creation failed");
                                           connection.sock=INVALID_SOCKET;
                                           break;
   #else
   #ifdef HAVE_TLS
                                           pthread_t thread;
                                           pthread_attr_t attr;
                                           pthread_attr_init(&attr);
                                           pthread_attr_setdetachstate(&attr, PTHREAD_CREATE_DETACHED);
   
                                           if(int result=GC_pthread_create(&thread, &attr, connection_thread, new HTTPD_Connection(connection)))
                                                   throw Exception("httpd.fork", 0, "thread creation failed (%d)", result);
                                           connection.sock=INVALID_SOCKET;
                                           break;
   #endif
                                   case HTTPD_Server::PARALLEL:
                                           pid=fork();
                                           if(pid<0)
                                                   throw Exception("httpd.fork", 0, "fork failed: %s (%d)", strerror(errno), errno);
                                           if(pid>0)
                                                   continue; // parent should close connection.sock as well
   #endif
                                   case HTTPD_Server::SEQUENTIAL: // and fork child
   
                                           SAPI_Info_HTTPD info(connection);
                                           connection_handler(info, connection);
                         }                          }
                         snprintf(config_filespec_buf, MAX_STRING,                           // closing connection socket in HTTPD_Connection destructor
                                 "%s/%s",                   } catch(const Exception& e) { // exception in accept or send_error
                                 beside_binary_path, AUTO_FILE_NAME);                          SAPI::log(*sapiInfo, "%s", e.comment());
                         config_filespec_cstr=config_filespec_buf;  
                         fail_on_config_read_problem=entry_exists(config_filespec_cstr);  
                 }                  }
   
   #ifndef _MSC_VER
                   if(pid==0) // fork child
                           exit(0);
   #endif
           }
   }
   
   /** main workhorse */
   
   static void real_parser_handler(bool cgi) {
           // init libraries
           pa_globals_init();
   
           if(httpd_host_port){
                   httpd_mode();
         }          }
           
         // process the request  
         request.core(  
                 config_filespec_cstr, fail_on_config_read_problem,  
                 header_only);  
   
         // no request [prevent signal handlers from accessing invalid memory]          const char* request_method=getenv("REQUEST_METHOD");
         ::request=0;  
           if(!filespec_to_process)
                   SAPI::die("Parser/%s", PARSER_VERSION);
                   
         //          char document_root_buf[MAX_STRING];
         done_socks();  
           // global request info
           Request_info request_info;
           RequestInfoController ric(&request_info);
   
           request_info.path_translated = filespec_to_process;
           request_info.method = request_method ? request_method : "GET";
           request_info.query_string = MAYBE_RECONSTRUCT_IIS_STATUS_IN_QS(getenv("QUERY_STRING"));
   
           if(cgi) {
                   // obligatory
                   const char* path_info=getenv("PATH_INFO");
                   if(!path_info)
                           SAPI::die("CGI: illegal call (missing PATH_INFO)");
                   
                   request_info.document_root = getenv("DOCUMENT_ROOT");
                   if(!request_info.document_root) {
                           // IIS or fcgiwrap minimalistic setup
                           ssize_t prefix_len = strlen(filespec_to_process) - strlen(path_info);
                           if(prefix_len < 0 || strcmp(filespec_to_process + prefix_len, path_info) != 0)
                                   SAPI::die("CGI: illegal call (invalid PATH_INFO in reinventing DOCUMENT_ROOT)");
   
                           char* document_root = new(PointerFreeGC) char[prefix_len + 1/*0*/];
                           memcpy(document_root, filespec_to_process, prefix_len); document_root[prefix_len] = 0;
                           request_info.document_root = document_root;
                   }
   
                   request_info.uri = request_info.strip_absolute_uri(getenv("REQUEST_URI"));
                   if(request_info.uri) { // apache & others stuck to standards
                           // another obligatory
                           const char* script_name = getenv("SCRIPT_NAME");
                           if(!script_name)
                                   SAPI::die("CGI: illegal call (missing SCRIPT_NAME)");
                           /*
                                   http://parser3/env.html?123  =OK
                                   $request:uri=/env.html?123
                                   REQUEST_URI='/env.html?123'
                                   SCRIPT_NAME='/cgi-bin/parser3'
                                   PATH_INFO='/env.html'
                                   
                                   http://parser3/cgi-bin/parser3/env.html?123 =ERROR
                                   $request:uri=/cgi-bin/parser3/env.html?123
                                   REQUEST_URI='/cgi-bin/parser3/env.html?123'
                                   SCRIPT_NAME='/cgi-bin/parser3'
                                   PATH_INFO='/env.html'
                           */
                           size_t script_name_len = strlen(script_name);
                           size_t uri_len = strlen(request_info.uri);
                           if(strncmp(request_info.uri, script_name, script_name_len)==0 && script_name_len != uri_len) // under IIS they are the same
                                   SAPI::die("CGI: illegal call (1)");
                   } else { // fcgiwrap minimalistic setup
                           request_info.uri = request_info.query_string && *request_info.query_string ? pa_strcat(path_info, "?", request_info.query_string) : path_info;
                   }
           } else{
                   full_disk_path("", document_root_buf, sizeof(document_root_buf));
                   request_info.document_root = document_root_buf;
                   request_info.uri = "";
           }
                   
 #ifdef DEBUG_POOL_MALLOC          request_info.content_type = getenv("CONTENT_TYPE");
         extern void log_pool_stats(Pool& pool);          request_info.content_length = (size_t)pa_atoul(getenv("CONTENT_LENGTH"));
         log_pool_stats(request_pool);          request_info.cookie = getenv("HTTP_COOKIE");
 #endif          request_info.mail_received = mail_received;
   
           request_info.argv = argv_extra;
   
 #ifdef DEBUG_STRING_APPENDS_VS_EXPANDS  #ifdef PA_DEBUG_CGI_ENTRY_EXIT
         SAPI::log(global_pool,           log("request_info: method=%s, uri=%s, q=%s, dr=%s, pt=%s", request_info.method, request_info.uri, request_info.query_string, request_info.document_root, request_info.path_translated);
                 "string piece appends=%lu, wcontext_result_size=%lu, string_string_shortcut_economy_closer=%lu, total_alloc_size=%lu",   
                 string_piece_appends,  
                 wcontext_result_size,  
                 string_string_shortcut_economy,  
                 total_alloc_size);  
 #endif  #endif
   
           // prepare to process request
           Request r(*sapiInfo, request_info, cgi ? String::Language(String::L_HTML|String::L_OPTIMIZE_BIT) : String::L_AS_IS);
           {
                   // initing ::request ptr for signal handlers
                   RequestController rc(&r);
                   // process the request
                   r.core(locate_config(config_filespec, parser3_filespec), strcasecmp(request_info.method, "HEAD")==0);
                   // clearing ::request in RequestController destructor to prevent signal handlers from accessing invalid memory
           }
   
           // finalize libraries
           pa_globals_done();
 }  }
   
 static void call_real_parser_handler__do_SEH(  #ifdef PA_SUPPRESS_SYSTEM_EXCEPTION
                                                                  const char *filespec_to_process,  static const Exception call_real_parser_handler__do_PEH_return_it(bool cgi) {
                                                                  const char *request_method, bool header_only) {          try {
 #if _MSC_VER && !defined(_DEBUG)                  real_parser_handler(cgi);
           } catch(const Exception& e) {
                   return e;
           }
   
           return Exception();
   }
   
   static void call_real_parser_handler__supress_system_exception(bool cgi) {
           Exception parser_exception;
         LPEXCEPTION_POINTERS system_exception=0;          LPEXCEPTION_POINTERS system_exception=0;
   
         __try {          __try {
 #endif                  parser_exception=call_real_parser_handler__do_PEH_return_it(cgi);
                 real_parser_handler(          } __except ( (system_exception=GetExceptionInformation()), EXCEPTION_EXECUTE_HANDLER) {
                         filespec_to_process,  
                         request_method, header_only);  
                   
 #if _MSC_VER && !defined(_DEBUG)  
         } __except (  
                 (system_exception=GetExceptionInformation()),   
                 EXCEPTION_EXECUTE_HANDLER) {  
                   
                 if(system_exception)                  if(system_exception)
                         if(_EXCEPTION_RECORD *er=system_exception->ExceptionRecord)                          if(_EXCEPTION_RECORD *er=system_exception->ExceptionRecord)
                                 throw Exception(0,                                  throw Exception("system", 0, "0x%08X at 0x%08X", er->ExceptionCode,  er->ExceptionAddress);
                                         0,  
                                         "Exception 0x%08X at 0x%08X", er->ExceptionCode,  er->ExceptionAddress);  
                         else  
                                 throw Exception(0, 0, "Exception <no exception record>");  
                         else                          else
                                 throw Exception(0, 0, "Exception <no exception information>");                                  throw Exception("system", 0, "<no exception record>");
                   else
                           throw Exception("system", 0, "<no exception information>");
         }          }
 #endif  
 }  
   
 #if _MSC_VER          if(parser_exception)
 int failed_new(size_t size) {                  throw Exception(parser_exception);
         SAPI::die("out of memory in 'new', failed to allocated %u bytes", size);  
         return 0; // not reached  
 }  }
 #endif  
   
 #ifdef HAVE_SET_NEW_HANDLER  #define REAL_PARSER_HANDLER call_real_parser_handler__supress_system_exception
 static void failed_new() {  #else
     SAPI::die("out of memory in 'new'");  #define REAL_PARSER_HANDLER real_parser_handler
 }  
 #endif  #endif
   
 static void usage(const char *program) {  static void usage(const char* program) {
         printf(          printf(
                 "Parser/%s Copyright(c) 2001, 2002 ArtLebedev Group (http://www.artlebedev.com)\n"                  "Parser/%s\n"
                   "Copyright (c) 2001-2020 Art. Lebedev Studio (http://www.artlebedev.com)\n"
                 "Author: Alexandr Petrosian <paf@design.ru> (http://paf.design.ru)\n"                  "Author: Alexandr Petrosian <paf@design.ru> (http://paf.design.ru)\n"
                 "\n"                  "\n"
                 "Usage: %s [options] file\n"                  "Usage: %s [options] [file]\n"
                 "Options are:\n"                  "Options are:\n"
 #ifdef WITH_MAILRECEIVE  #ifdef WITH_MAILRECEIVE
                 "    -m              Parse mail, put received letter to $mail:received\n"                  "    -m              Parse mail, put received letter to $mail:received\n"
 #endif  #endif
                 "    -f config_file  Use this config file (/path/to/auto.p)\n"                  "    -f config_file  Use this config file (/path/to/auto.p)\n"
                 "    -h              Display usage information (this message)\n"                  "    -p [host:]port  Start web server on this port\n"
                 , PARSER_VERSION,                   "    -h              Display usage information (this message)\n",
                   PARSER_VERSION,
                 program);                  program);
         exit(EINVAL);          exit(EINVAL);
 }  }
   
   
 int main(int argc, char *argv[]) {  int main(int argc, char *argv[]) {
 #ifdef SIGUSR1  #ifdef PA_DEBUG_CGI_ENTRY_EXIT
     if(signal(SIGUSR1, SIGUSR1_handler)==SIG_ERR)          log("main: entry");
                 SAPI::die("Can not set handler for SIGUSR1");  
 #endif  
 #ifdef SIGPIPE  
     if(signal(SIGPIPE, SIGPIPE_handler)==SIG_ERR)  
                 SAPI::die("Can not set handler for SIGPIPE");  
 #endif  #endif
   
           parser3_filespec = argc ? argv[0] : "parser3";
           umask(2);
   
 #ifdef DEBUG_MAILRECEIVE          // were we started as CGI?
         if(FILE *fake_in=fopen(DEBUG_MAILRECEIVE, "rt")) {          bool cgi=(getenv("SERVER_SOFTWARE") || getenv("SERVER_NAME") || getenv("GATEWAY_INTERFACE") || getenv("REQUEST_METHOD")) && !getenv("PARSER_VERSION");
                 dup2(fake_in->_file, 0/*STDIN_FILENO*/);          sapiInfo = cgi ? new SAPI_Info_CGI() : new SAPI_Info();
         }  
 #endif  
   
 #ifdef _DEBUG  #ifdef SIGPIPE
 //      _crtBreakAlloc=33112;          signal(SIGPIPE, SIGPIPE_handler);
 #endif  #endif
 //      _asm int 3;  
         argv0=argv[0];  
   
         umask(2);          char *raw_filespec_to_process = NULL;
           if(cgi) {
         // were we started as CGI?  
         cgi=  
                 getenv("SERVER_SOFTWARE") ||   
                 getenv("SERVER_NAME") ||   
                 getenv("GATEWAY_INTERFACE") ||   
                 getenv("REQUEST_METHOD");  
           
         char *raw_filespec_to_process;  
         if(cgi)   
                 raw_filespec_to_process=getenv("PATH_TRANSLATED");                  raw_filespec_to_process=getenv("PATH_TRANSLATED");
         else {                  argv_extra=argv + 1;
                 optind = 1;          } else {
                 opterr = 0;                  int optind=1;
                 int c;                  while(optind < argc){
                 while((c = getopt(argc, argv, "hf:"                          char *carg = argv[optind];
 #ifdef WITH_MAILRECEIVE                          if(carg[0] != '-')
                         "m"  
 #endif  
                         )) > 0) {  
                         switch (c) {  
                         case 'h':  
                                 usage(argv[0]);  
                                 break;  
                         case 'f':  
                                 config_filespec_cstr=optarg;  
                                 break;                                  break;
   
                           for(size_t k = 1; k < strlen(carg); k++){
                                   char c = carg[k];
                                   switch (c) {
                                           case 'h':
                                                   usage(parser3_filespec);
                                                   break;
                                           case 'f':
                                                   if(optind < argc - 1){
                                                           optind++;
                                                           config_filespec=argv[optind];
                                                   }
                                                   break;
                                           case 'p':
                                                   if(optind < argc - 1){
                                                           optind++;
                                                           httpd_host_port=argv[optind];
                                                   }
                                                   break;
 #ifdef WITH_MAILRECEIVE  #ifdef WITH_MAILRECEIVE
                         case 'm':                                          case 'm':
                                 mail_received=true;                                                  mail_received=true;
                                 break;                                                  break;
 #endif  #endif
                         default:                                          default:
                                 fprintf(stderr, "%s: invalid option '%c'\n", argv[0], optopt);                                                  fprintf(stderr, "%s: invalid option '%c'\n", parser3_filespec, c);
                                 usage(argv[0]);                                                  usage(parser3_filespec);
                                 break;                                                  break;
                                   }
                         }                          }
                 }                          optind++;
                 if (optind != argc - 1) {  
                         fprintf(stderr, "%s: file not specified\n", argv[0]);  
                         usage(argv[0]);  
                 }                  }
                                   
                 raw_filespec_to_process=argv[optind++];                  if (optind > argc - 1) {
                           if(!httpd_host_port) {
                                   fprintf(stderr, "%s: file not specified\n", parser3_filespec);
                                   usage(parser3_filespec);
                           }
                   } else {
                           raw_filespec_to_process=argv[optind];
                   }
   
                   if (httpd_host_port && mail_received) {
                                   fprintf(stderr, "%s: -p and -m options should not be used together\n", parser3_filespec);
                                   usage(parser3_filespec);
                   }
   
                   argv_extra=argv + optind;
         }          }
   
 #ifdef WIN32  #ifdef _MSC_VER
         setmode(fileno(stdin), _O_BINARY);          setmode(fileno(stdin), _O_BINARY);
         setmode(fileno(stdout), _O_BINARY);          setmode(fileno(stdout), _O_BINARY);
         setmode(fileno(stderr), _O_BINARY);          setmode(fileno(stderr), _O_BINARY);
 #endif  #endif
   
 #if _MSC_VER  #if defined(_MSC_VER) && defined(_DEBUG)
         _set_new_handler(failed_new);  
   
 #ifdef _DEBUG  
         // Get current flag          // Get current flag
         int tmpFlag = _CrtSetDbgFlag( _CRTDBG_REPORT_FLAG );          int tmpFlag = _CrtSetDbgFlag( _CRTDBG_REPORT_FLAG );
   
Line 546  int main(int argc, char *argv[]) { Line 685  int main(int argc, char *argv[]) {
   
         // Set flag to the new value          // Set flag to the new value
         _CrtSetDbgFlag( tmpFlag );          _CrtSetDbgFlag( tmpFlag );
 //      _CrtSetBreakAlloc(471);  
   
 #endif  
   
 #endif  
   
 #ifdef HAVE_SET_NEW_HANDLER          _CrtSetReportMode( _CRT_WARN, _CRTDBG_MODE_FILE );
         std::set_new_handler(failed_new);          _CrtSetReportFile( _CRT_WARN, _CRTDBG_FILE_STDERR );
 #endif  #endif
   
         char filespec_to_process[MAX_STRING];  
         full_file_spec(raw_filespec_to_process, filespec_to_process, sizeof(filespec_to_process));  
   
         const char *request_method=getenv("REQUEST_METHOD");  
         bool header_only=request_method && strcasecmp(request_method, "HEAD")==0;  
   
         try { // global try          try { // global try
                 call_real_parser_handler__do_SEH(                  char filespec_to_process_buf[MAX_STRING];
                         filespec_to_process,                  if(raw_filespec_to_process && *raw_filespec_to_process){
                         request_method, header_only);                          full_disk_path(raw_filespec_to_process, filespec_to_process_buf, sizeof(filespec_to_process_buf));
         } catch(const Exception& e) { // global problem                           filespec_to_process=filespec_to_process_buf;
                 // don't allocate anything on pool here:                  }
                 //   possible pool' exception not catch-ed now  
                 //   and there could be out-of-memory exception                  REAL_PARSER_HANDLER(cgi);
           } catch(const Exception& e) { // exception in unhandled exception
                 SAPI::die("exception in request exception handler: %s", e.comment());                  SAPI::die("%s", e.comment());
 #ifndef _DEBUG  
         } catch(...) {   
                 SAPI::die("<unknown exception>");  
 #endif  
         }          }
           
   
 #ifndef WIN32  #ifdef PA_DEBUG_CGI_ENTRY_EXIT
         //           log("main: successful return");
         if(!cgi)  
                 SAPI::send_body(global_pool, "\n", 1);  
 #endif  #endif
           return sapiInfo->http_response_code < 100 ? sapiInfo->http_response_code : 0;
         //_asm int 3;  
         return 0;  
 }  }

Removed from v.1.207  
changed lines
  Added in v.1.347


E-mail: