[BACK]Return to pa_request.C CVS log [TXT] [DIR] Up to [parser3project] / parser3 / src / main

Diff for /parser3/src/main/pa_request.C between versions 1.385 and 1.407

version 1.385, 2020/10/28 22:43:48 version 1.407, 2020/12/16 19:45:33
Line 1 Line 1
 /** @file  /** @file
         Parser: request class main part. @see compile.C and execute.C.          Parser: request class main part. @see compile.C and execute.C.
   
         Copyright (c) 2001-2017 Art. Lebedev Studio (http://www.artlebedev.com)          Copyright (c) 2001-2020 Art. Lebedev Studio (http://www.artlebedev.com)
         Author: Alexandr Petrosian <paf@design.ru> (http://paf.design.ru)          Author: Alexandr Petrosian <paf@design.ru> (http://paf.design.ru)
 */  */
   
Line 25 Line 25
 #include "pa_charset.h"  #include "pa_charset.h"
 #include "pa_charsets.h"  #include "pa_charsets.h"
 #include "pa_cache_managers.h"  #include "pa_cache_managers.h"
   #include "pa_http.h"
 #include "pa_vmail.h"  #include "pa_vmail.h"
 #include "pa_vform.h"  #include "pa_vform.h"
 #include "pa_vcookie.h"  #include "pa_vcookie.h"
Line 44  const char* DEFAULT_CONTENT_TYPE="text/h Line 45  const char* DEFAULT_CONTENT_TYPE="text/h
   
 const uint LOOP_LIMIT=20000;  const uint LOOP_LIMIT=20000;
 const uint EXECUTE_RECOURSION_LIMIT=1000;  const uint EXECUTE_RECOURSION_LIMIT=1000;
   const uint HTTPD_TIMEOUT=4;
 const size_t FILE_SIZE_LIMIT=512*1024*1024;  const size_t FILE_SIZE_LIMIT=512*1024*1024;
   
 // defines for globals  // defines for globals
Line 75  static const String origin_key(ORIGIN_KE Line 77  static const String origin_key(ORIGIN_KE
   
 int pa_loop_limit=LOOP_LIMIT;  int pa_loop_limit=LOOP_LIMIT;
 int pa_execute_recoursion_limit=EXECUTE_RECOURSION_LIMIT;  int pa_execute_recoursion_limit=EXECUTE_RECOURSION_LIMIT;
   int pa_httpd_timeout=HTTPD_TIMEOUT;
 size_t pa_file_size_limit=FILE_SIZE_LIMIT;  size_t pa_file_size_limit=FILE_SIZE_LIMIT;
   
 // defines for statics  // defines for statics
   
 #define CHARSETS_NAME "CHARSETS"  
 #define MIME_TYPES_NAME "MIME-TYPES"  #define MIME_TYPES_NAME "MIME-TYPES"
 #define STRICT_VARS_NAME "STRICT-VARS"  
 #define PROTOTYPE_NAME "OBJECT-PROTOTYPE"  
 #define LIMITS_NAME "LIMITS"  
 #define LOOP_LIMIT_NAME "max_loop"  
 #define RECOURSION_LIMIT_NAME "max_recoursion"  
 #define FILE_SIZE_LIMIT_NAME "max_file_size"  
 #define LOCK_WAIT_TIMEOUT_NAME "lock_wait_timeout"  
 #define CONF_METHOD_NAME "conf"  
 #define POST_PROCESS_METHOD_NAME "postprocess"  
 #define CLASS_PATH_NAME "CLASS_PATH"  #define CLASS_PATH_NAME "CLASS_PATH"
 #define RESPONSE_BODY_FILE_NAME "file"  
   
 #define DOWNLOAD_NAME_UPPER "DOWNLOAD"  #define DOWNLOAD_NAME_UPPER "DOWNLOAD"
 #define BODY_NAME_UPPER "BODY"  #define BODY_NAME_UPPER "BODY"
   
 // statics  // statics
   
 static const String charsets_name(CHARSETS_NAME);  
 static const String main_class_name(MAIN_CLASS_NAME);  static const String main_class_name(MAIN_CLASS_NAME);
 static const String mime_types_name(MIME_TYPES_NAME);  static const String mime_types_name(MIME_TYPES_NAME);
 static const String strict_vars_name(STRICT_VARS_NAME);  
 static const String prototype_name(PROTOTYPE_NAME);  
 static const String limits_name(LIMITS_NAME);  
 static const String loop_limit_name(LOOP_LIMIT_NAME);  
 static const String recoursion_limit_name(RECOURSION_LIMIT_NAME);  
 static const String file_size_limit_name(FILE_SIZE_LIMIT_NAME);  
 static const String lock_wait_timeout_name(LOCK_WAIT_TIMEOUT_NAME);  
   
 static const String conf_method_name(CONF_METHOD_NAME);  
 static const String post_process_method_name(POST_PROCESS_METHOD_NAME);  
 static const String class_path_name(CLASS_PATH_NAME);  static const String class_path_name(CLASS_PATH_NAME);
 static const String response_body_file_name(RESPONSE_BODY_FILE_NAME);  
   static const String charsets_name("CHARSETS");
   static const String strict_vars_name("STRICT-VARS");
   static const String prototype_name("OBJECT-PROTOTYPE");
   static const String limits_name("LIMITS");
   static const String loop_limit_name("max_loop");
   static const String recoursion_limit_name("max_recoursion");
   static const String file_size_limit_name("max_file_size");
   static const String lock_wait_timeout_name("lock_wait_timeout");
   static const String httpd_name("HTTPD");
   static const String httpd_timeout_name("timeout");
   static const String httpd_mode_name("mode");
   
   static const String conf_method_name("conf");
   static const String post_process_method_name("postprocess");
   static const String response_body_file_name("file");
   
 static const String download_name_upper(DOWNLOAD_NAME_UPPER);  static const String download_name_upper(DOWNLOAD_NAME_UPPER);
 static const String body_name_upper(BODY_NAME_UPPER);  static const String body_name_upper(BODY_NAME_UPPER);
Line 242  static void load_charset(HashStringValue Line 238  static void load_charset(HashStringValue
         pa_charsets.load_charset(*charsets, akey, avalue->as_string());          pa_charsets.load_charset(*charsets, akey, avalue->as_string());
 }  }
   
   
   #define CONF_OPTION(config, name, code, exception_name)         \
           if(config)                                              \
                   if(Value* option=config->get_element(name)) {   \
                           if(option->is_evaluated_expr()) {       \
                                   code;                           \
                           } else                                  \
                                   throw Exception(PARSER_RUNTIME, 0, "$main:" exception_name, name.cstr()); \
                   }
   
 void Request::configure_admin(VStateless_class& conf_class) {  void Request::configure_admin(VStateless_class& conf_class) {
         if(configure_admin_done)          if(configure_admin_done)
                 throw Exception(PARSER_RUNTIME, 0, "parser already configured");                  throw Exception(PARSER_RUNTIME, 0, "parser already configured");
Line 260  void Request::configure_admin(VStateless Line 266  void Request::configure_admin(VStateless
                         if(HashStringValue* charsets=vcharsets->get_hash())                          if(HashStringValue* charsets=vcharsets->get_hash())
                                 charsets->for_each<Request_charsets*>(load_charset, &this->charsets);                                  charsets->for_each<Request_charsets*>(load_charset, &this->charsets);
                         else                          else
                                 throw Exception(PARSER_RUNTIME, 0, "$" MAIN_CLASS_NAME ":" CHARSETS_NAME " must be hash");                                  throw Exception(PARSER_RUNTIME, 0, "$main:%s must be hash", charsets_name.cstr());
                 }                  }
         }          }
   
Line 270  void Request::configure_admin(VStateless Line 276  void Request::configure_admin(VStateless
                 if(strict_vars->is_bool())                  if(strict_vars->is_bool())
                         VVoid::strict_vars=strict_vars->as_bool();                          VVoid::strict_vars=strict_vars->as_bool();
                 else                  else
                         throw Exception(PARSER_RUNTIME, 0, "$" MAIN_CLASS_NAME ":" STRICT_VARS_NAME " must be bool");                          throw Exception(PARSER_RUNTIME, 0, "$main:%s must be bool", strict_vars_name.cstr());
         }          }
 #endif  #endif
   
Line 280  void Request::configure_admin(VStateless Line 286  void Request::configure_admin(VStateless
                 if(prototype->is_bool())                  if(prototype->is_bool())
                         VClass::prototype=prototype->as_bool();                          VClass::prototype=prototype->as_bool();
                 else                  else
                         throw Exception(PARSER_RUNTIME, 0, "$" MAIN_CLASS_NAME ":" PROTOTYPE_NAME " must be bool");                          throw Exception(PARSER_RUNTIME, 0, "$main:%s must be bool", prototype_name.cstr());
         }          }
 #endif  #endif
   
         Value* limits=conf_class.get_element(limits_name);          Value* limits=conf_class.get_element(limits_name);
   
         pa_loop_limit=LOOP_LIMIT;          pa_loop_limit=LOOP_LIMIT;
         if(limits)          CONF_OPTION(limits, loop_limit_name, {
                 if(Value* loop_limit=limits->get_element(loop_limit_name)) {                  pa_loop_limit=option->as_int();
                         if(loop_limit->is_evaluated_expr()) {                  if(pa_loop_limit==0) pa_loop_limit=INT_MAX;
                                 pa_loop_limit=loop_limit->as_int();          }, "LIMITS.%s must be int");
                                 if(pa_loop_limit==0) pa_loop_limit=INT_MAX;  
                         } else  
                                 throw Exception(PARSER_RUNTIME, 0, "$" MAIN_CLASS_NAME ":LIMITS." LOOP_LIMIT_NAME " must be int");  
                 }  
   
         pa_execute_recoursion_limit=EXECUTE_RECOURSION_LIMIT;          pa_execute_recoursion_limit=EXECUTE_RECOURSION_LIMIT;
         if(limits)          CONF_OPTION(limits, recoursion_limit_name, {
                 if(Value* recoursion_limit=limits->get_element(recoursion_limit_name)) {                  pa_execute_recoursion_limit=option->as_int();
                         if(recoursion_limit->is_evaluated_expr()) {                  if(pa_execute_recoursion_limit==0) pa_execute_recoursion_limit=INT_MAX;
                                 pa_execute_recoursion_limit=recoursion_limit->as_int();          }, "LIMITS.%s must be int");
                                 if(pa_execute_recoursion_limit==0) pa_execute_recoursion_limit=INT_MAX;  
                         } else  
                                 throw Exception(PARSER_RUNTIME, 0, "$" MAIN_CLASS_NAME ":LIMITS." RECOURSION_LIMIT_NAME " must be int");  
                 }  
   
         pa_file_size_limit=FILE_SIZE_LIMIT;          pa_file_size_limit=FILE_SIZE_LIMIT;
         if(limits)          CONF_OPTION(limits, file_size_limit_name, {
                 if(Value* file_size_limit=limits->get_element(file_size_limit_name)) {                  double limit=option->as_double();
                         if(file_size_limit->is_evaluated_expr()) {                  if(limit >= (double)SSIZE_MAX)
                                 double limit=file_size_limit->as_double();                          throw Exception(PARSER_RUNTIME, 0, "$main:LIMITS.%s must be less then %.15g", file_size_limit_name.cstr(), (double)SSIZE_MAX);
                                 if(limit >= (double)SSIZE_MAX)                  pa_file_size_limit=(size_t)limit;
                                         throw Exception(PARSER_RUNTIME, 0, "$" MAIN_CLASS_NAME ":LIMITS." FILE_SIZE_LIMIT_NAME " must be less then %.15g", (double)SSIZE_MAX);                  if(pa_file_size_limit==0)
                                 pa_file_size_limit=(size_t)limit;                          pa_file_size_limit=SSIZE_MAX;
                                 if(pa_file_size_limit==0) pa_file_size_limit=SSIZE_MAX;          }, "LIMITS.%s must be number");
                         } else  
                                 throw Exception(PARSER_RUNTIME, 0, "$" MAIN_CLASS_NAME ":LIMITS." FILE_SIZE_LIMIT_NAME " must be number");  
                 }  
   
         pa_lock_attempts=PA_LOCK_ATTEMPTS;          pa_lock_attempts=PA_LOCK_ATTEMPTS;
         if(limits)          CONF_OPTION(limits, lock_wait_timeout_name, {
                 if(Value* lock_wait_timeout=limits->get_element(lock_wait_timeout_name)) {                  double limit=option->as_double();
                         if(lock_wait_timeout->is_evaluated_expr()) {                  if(limit >= 3600*24)
                                 double limit=lock_wait_timeout->as_double();                          throw Exception(PARSER_RUNTIME, 0, "$main:LIMITS.%s must be less then %d", lock_wait_timeout_name.cstr(), 3600*24);
                                 if(limit >= 3600*24)                  pa_lock_attempts=(unsigned int)(limit*2)+1;
                                         throw Exception(PARSER_RUNTIME, 0, "$" MAIN_CLASS_NAME ":LIMITS." LOCK_WAIT_TIMEOUT_NAME " must be less then %d", 3600*24);          }, "LIMITS.%s must be number");
                                 pa_lock_attempts=(unsigned int)(limit*2)+1;  
                         } else          Value* httpd=conf_class.get_element(httpd_name);
                                 throw Exception(PARSER_RUNTIME, 0, "$" MAIN_CLASS_NAME ":LIMITS." LOCK_WAIT_TIMEOUT_NAME " must be number");  
           pa_httpd_timeout=HTTPD_TIMEOUT;
           CONF_OPTION(httpd, httpd_timeout_name, {
                   pa_httpd_timeout=option->as_int();
                   if(pa_httpd_timeout==0) pa_httpd_timeout=INT_MAX;
           }, "HTTPD.%s must be int");
   
           if(httpd)
                   if(Value* option=httpd->get_element( httpd_mode_name)) {
                           if(option->get_junction())
                                   throw Exception(PARSER_RUNTIME, 0, "$main:HTTPD:mode must be string");
                           HTTPD_Server::set_mode(option->as_string());
                 }                  }
   
         // configure method_frame options          // configure method_frame options
Line 374  const char* Request::get_exception_cstr( Line 380  const char* Request::get_exception_cstr(
         return result;          return result;
 }  }
   
   Table &Request::Exception_trace::table(Request &r){
           // $stack[^table::create{name   file    lineno  colno}]
           Table::columns_type stack_trace_columns(new ArrayString);
           *stack_trace_columns+=new String("name");
           *stack_trace_columns+=new String("file");
           *stack_trace_columns+=new String("lineno");
           *stack_trace_columns+=new String("colno");
           Table& stack_trace=*new Table(stack_trace_columns);
   
           if(!is_empty()/*signed!*/)
                   for(size_t i=bottom_index(); i<top_index(); i++) {
                           Trace trace=get(i);
                           Table::element_type row(new ArrayString);
   
                           *row+=trace.name(); // name column
                           Operation::Origin origin=trace.origin();
                           if(origin.file_no) {
                                   *row+=new String(r.file_list[origin.file_no], String::L_TAINTED); // 'file' column
                                   *row+=new String(String::Body::Format(1+origin.line), String::L_CLEAN); // 'lineno' column
                                   *row+=new String(String::Body::Format(1+origin.col), String::L_CLEAN); // 'colno' column
                           }
                           stack_trace+=row;
                   }
   
           return stack_trace;
   }
   
 void Request::configure() {  void Request::configure() {
         // configure admin options if not configured yet          // configure admin options if not configured yet
         if(!configure_admin_done)          if(!configure_admin_done)
Line 385  void Request::configure() { Line 418  void Request::configure() {
         // $MAIN:MIME-TYPES          // $MAIN:MIME-TYPES
         if(Value* element=main_class.get_element(mime_types_name))          if(Value* element=main_class.get_element(mime_types_name))
                 if(Table *table=element->get_table())                  if(Table *table=element->get_table())
                         mime_types=table;                                                 mime_types=table;
 }  }
 /**  /**
         load MAIN class, execute @main.          load MAIN class, execute @main.
Line 398  void Request::configure() { Line 431  void Request::configure() {
         @test log stack trace          @test log stack trace
   
 */  */
 void Request::core(const char* config_filespec, bool header_only) {  void Request::core(const char* config_filespec, bool header_only, const String &amain_method_name) {
           VFile* body_file=NULL;
           bool as_attachment=false;
   
         try {          try {
                 // loading config                  // loading config
                 if(config_filespec)                  if(config_filespec)
                         use_file_directly(main_class, *new String(config_filespec));                          use_file_directly(*new String(config_filespec));
   
                 // filling mail received                  // filling mail received
                 mail.fill_received(*this);                  mail.fill_received(*this);
   
                 // loading auto.p files from document_root/..   
                 // to the one beside requested file.  
                 // all assigned bases from upper dir  
                 {  
                         const char* after=request_info.path_translated;  
                         size_t drlen=strlen(request_info.document_root);  
                         if(memcmp(after, request_info.document_root, drlen)==0) {  
                                 after+=drlen;  
                                 if(after[-1]=='/')   
                                         --after;  
                         }  
                           
                         while(const char* before=strchr(after, '/')) {  
                                 String& sfile_spec=*new String;  
                                 if(after!=request_info.path_translated) {  
                                         sfile_spec.append_strdup(request_info.path_translated, before-request_info.path_translated, String::L_CLEAN);  
                                         sfile_spec << "/" AUTO_FILE_NAME;  
   
                                         use_file_directly(main_class, sfile_spec, false /*ignore absence, sole user*/);  
                                 }  
                                 for(after=before+1;*after=='/';after++);  
                         }  
                 }  
   
                 try {                  try {
                         // compile requested file                          // compile requested file
                         String& spath_translated=*new String;                          if(request_info.path_translated)
                         spath_translated.append_help_length(request_info.path_translated, 0, String::L_TAINTED);                                  use_file_directly(*new String(request_info.path_translated, String::L_TAINTED), true, true /* load auto.p files */);
                         use_file_directly(main_class, spath_translated);  
   
                         configure();                          configure();
                 } catch(...) {                  } catch(...) {
                         configure(); // configure anyway, useful in @unhandled_exception [say, if they would want to mail by SMTP something]                          configure(); // configure anyway, useful in @unhandled_exception [say, if they would want to mail by SMTP something]
Line 444  void Request::core(const char* config_fi Line 454  void Request::core(const char* config_fi
                 }                  }
   
                 // execute @main[]                  // execute @main[]
                 const String* body_string=execute_method(main_class, main_method_name);                  const String* body_string=amain_method_name.is_empty() ? &String::Empty : execute_method(main_class, amain_method_name);
                 if(!body_string)                  if(!body_string)
                         throw Exception(PARSER_RUNTIME, 0, "'" MAIN_METHOD_NAME "' method not found");                          throw Exception(PARSER_RUNTIME, 0, "'%s' method not found", amain_method_name.cstr());
   
                 // extract response body                  // extract response body
                 Value* body_value=response.fields().get(download_name_upper); // $response:download?                  Value* body_value=response.fields().get(download_name_upper); // $response:download?
                 bool as_attachment=body_value!=0;                  as_attachment=body_value!=0;
                 if(!body_value)                  if(!body_value)
                         body_value=response.fields().get(body_name_upper); // $response:body                          body_value=response.fields().get(body_name_upper); // $response:body
                 if(!body_value)                  if(!body_value)
Line 458  void Request::core(const char* config_fi Line 468  void Request::core(const char* config_fi
   
                 // @postprocess                  // @postprocess
                 if(const Method *method=main_class.get_method(post_process_method_name)) {                  if(const Method *method=main_class.get_method(post_process_method_name)) {
                         // preparing to pass parameters to  
                         //      @postprocess[data]  
                         METHOD_FRAME_ACTION(*method, 0 /*no parent*/, main_class, {                          METHOD_FRAME_ACTION(*method, 0 /*no parent*/, main_class, {
                                 frame.store_params(&body_value, 1);                                  frame.store_params(&body_value, 1);
                                 call(frame);                                  call(frame);
Line 467  void Request::core(const char* config_fi Line 475  void Request::core(const char* config_fi
                         });                          });
                 }                  }
   
                 VFile* body_file=body_value->as_vfile(flang, &charsets);                  body_file=body_value->as_vfile(flang, &charsets);
   
                 // OK. write out the result  
                 output_result(body_file, header_only, as_attachment);  
   
         } catch(const Exception& e) { // request handling problem          } catch(const Exception& e) { // request handling problem
                 try {                  try {
                 // we're returning not result, but error explanation                          // we're returning not result, but error explanation
   
                 Request::Exception_details details=get_details(e);                          Request::Exception_details details=get_details(e);
                 const char* exception_cstr=get_exception_cstr(e, details);                          const char* exception_cstr=get_exception_cstr(e, details);
   
                 // reset language to default                          // reset language to default
                 flang=fdefault_lang;                          flang=fdefault_lang;
                                           // reset response
                 // reset response                          response.fields().clear();
                 response.fields().clear();  
                           // this is what we'd return in $response:body
                 // this is what we'd return in $response:body                          const String* body_string=0;
                 const String* body_string=0;  
                           // maybe we'd be lucky enough as to report an error in a gracefull way...
                 // maybe we'd be lucky enough as to report an error                          if(const Method *method=main_class.get_method(*new String(UNHANDLED_EXCEPTION_METHOD_NAME))) {
                 // in a gracefull way...                                  // preparing parameters to @unhandled_exception[exception;stack]
                 if(const Method *method=main_class.get_method(*new String(UNHANDLED_EXCEPTION_METHOD_NAME))) {  
                         // preparing to pass parameters to                                   Table& stack_trace=exception_trace.table(*this);
                         //      @unhandled_exception[exception;stack]                                  exception_trace.clear(); // forget all about previous life, in case there would be error inside of this method, error handled would not be mislead by old stack contents (see extract_origin)
   
                         // $stack[^table::create{name   file    lineno  colno}]                                  Value *params[]={&details.vhash, new VTable(&stack_trace)};
                         Table::columns_type stack_trace_columns(new ArrayString);                                  METHOD_FRAME_ACTION(*method, 0 /*no caller*/, main_class, {
                         *stack_trace_columns+=new String("name");                                          frame.store_params(params, 2);
                         *stack_trace_columns+=new String("file");                                          call(frame);
                         *stack_trace_columns+=new String("lineno");                                          body_string=&frame.result().as_string();
                         *stack_trace_columns+=new String("colno");                                  });
                         Table& stack_trace=*new Table(stack_trace_columns);                          }
                         if(!exception_trace.is_empty()/*signed!*/)   
                                 for(size_t i=exception_trace.bottom_index(); i<exception_trace.top_index(); i++) {  
                                         Trace trace=exception_trace.get(i);  
                                         Table::element_type row(new ArrayString);  
   
                                         *row+=trace.name(); // name column  
                                         Operation::Origin origin=trace.origin();  
                                         if(origin.file_no) {  
                                                 *row+=new String(file_list[origin.file_no], String::L_TAINTED); // 'file' column  
                                                 *row+=new String(String::Body::Format(1+origin.line), String::L_CLEAN); // 'lineno' column  
                                                 *row+=new String(String::Body::Format(1+origin.col), String::L_CLEAN); // 'colno' column  
                                         }  
                                         stack_trace+=row;  
                                 }  
   
                         // future $response:body=                          // conditionally log it
                         //   execute ^unhandled_exception[exception;stack]                          Value* vhandled=details.vhash.hash().get(exception_handled_part_name);
                         exception_trace.clear(); // forget all about previous life, in case there would be error inside of this method, error handled  would not be mislead by old stack contents (see extract_origin)                          if(!vhandled || !vhandled->as_bool()) {
                                   SAPI::log(sapi_info, "%s", exception_cstr);
                           }
   
                         Value *params[]={&details.vhash, new VTable(&stack_trace)};                          if(body_string) {  // could report an error beautifully?
                         METHOD_FRAME_ACTION(*method, 0 /*no caller*/, main_class, {                                  VString body_vstring(*body_string);
                                 frame.store_params(params, 2);  
                                 call(frame);  
                                 body_string=&frame.result().as_string();  
                         });  
                 }  
                   
                 // conditionally log it  
                 Value* vhandled=details.vhash.hash().get(exception_handled_part_name);  
                 if(!vhandled || !vhandled->as_bool()) {  
                         SAPI::log(sapi_info, "%s", exception_cstr);  
                 }  
   
                 if(body_string) {  // could report an error beautifully?                                  body_file=body_vstring.as_vfile(flang, &charsets);
                         VString body_vstring(*body_string);                                  as_attachment=false;
                         VFile* body_file=body_vstring.as_vfile(flang, &charsets);                          } else {
                         // write it out the error                                  // doing that ugly
                         output_result(body_file, header_only, false);                                  SAPI::send_error(sapi_info, exception_cstr, !strcmp(e.type(), "file.missing") ? "404" : "500");
                 } else {                                  return;
                         // doing that ugly                          }
                         SAPI::send_error(sapi_info, exception_cstr, !strcmp(e.type(), "file.missing") ? "404" : "500");  
                 }  
   
                 } catch(const Exception& e) { // exception in unhandled exception                  } catch(const Exception& e) { // exception in unhandled exception
                         Request::Exception_details details=get_details(e);                          Request::Exception_details details=get_details(e);
                         const char* exception_cstr=get_exception_cstr(e, details);  
                         // unconditionally log the beast in exception handler                          // unconditionally log the beast in exception handler
                         throw Exception(0, 0, "Unhandled exception in %s", exception_cstr);                          throw Exception(0, 0, "Unhandled exception in %s", get_exception_cstr(e, details));
                 }                  }
         }          }
   
           // write out the result outside of try as network exceptions should not be handled by parser code.
           output_result(body_file, header_only, as_attachment);
 }  }
   
 uint Request::register_file(String::Body file_spec) {  uint Request::register_file(String::Body file_spec) {
Line 558  uint Request::register_file(String::Body Line 540  uint Request::register_file(String::Body
         return file_list.count()-1;          return file_list.count()-1;
 }  }
   
 void Request::use_file_directly(VStateless_class& aclass, const String& file_spec, bool fail_on_file_absence) {  void Request::use_file_directly(const String& file_spec, bool fail_on_file_absence, bool with_auto_p) {
         // cyclic dependence check          // cyclic dependence check
         if(used_files.get(file_spec))          if(used_files.get(file_spec))
                 return;                  return;
Line 567  void Request::use_file_directly(VStatele Line 549  void Request::use_file_directly(VStatele
         if(!fail_on_file_absence && !entry_exists(file_spec)) // ignore file absence if asked for          if(!fail_on_file_absence && !entry_exists(file_spec)) // ignore file absence if asked for
                 return;                  return;
   
           if(with_auto_p) {
                   // loading auto.p files from document_root/.. 
                   // to the one beside requested file.
                   // all assigned bases from upper dir
                   const char* target=file_spec.cstr();
   
                   // all relative paths are calculated from main document
                   request_info.path_translated=target;
   
                   const char* after=target;
                   size_t drlen=strlen(request_info.document_root);
                   if(memcmp(after, request_info.document_root, drlen)==0) {
                           after+=drlen;
                           if(after[-1]=='/') 
                                   --after;
                   }
   
                   while(const char* before=strchr(after, '/')) {
                           String& sfile_spec=*new String;
                           if(after!=target) {
                                   sfile_spec.append_strdup(target, before-target, String::L_CLEAN);
                                   sfile_spec << "/" AUTO_FILE_NAME;
   
                                   use_file_directly(sfile_spec, false /*ignore absence, sole user*/);
                           }
                           for(after=before+1;*after=='/';after++);
                   }
           }
   
         if(const char* source=file_read_text(charsets, file_spec, true))          if(const char* source=file_read_text(charsets, file_spec, true))
                 use_buf(aclass, source, 0, register_file(file_spec));                  use_buf(main_class, source, 0, register_file(file_spec));
 }  }
   
   
 void Request::use_file(VStateless_class& aclass, const String& file_name, const String* use_filespec/*absolute*/) {  void Request::use_file(const String& file_name, const String* use_filespec/*absolute*/, bool with_auto_p) {
         if(file_name.is_empty())          if(file_name.is_empty())
                 throw Exception(PARSER_RUNTIME, 0, "usage failed - no filename was specified");                  throw Exception(PARSER_RUNTIME, 0, "usage failed - no filename was specified");
   
         const String* filespec=0;          const String* filespec=0;
   
         if(file_name.first_char()=='/') //absolute path? [no need to scan MAIN:CLASS_PATH]          if(file_name.first_char()=='/') //absolute path? [no need to scan MAIN:CLASS_PATH]
                 filespec=&absolute(file_name);                  filespec=&full_disk_path(file_name);
         else if(use_filespec){ // search in current dir first          else if(use_filespec){ // search in current dir first
                 size_t last_slash_pos=use_filespec->strrpbrk("/");                  size_t last_slash_pos=use_filespec->strrpbrk("/");
                 if(last_slash_pos!=STRING_NOT_FOUND)                  if(last_slash_pos!=STRING_NOT_FOUND)
Line 593  void Request::use_file(VStateless_class& Line 604  void Request::use_file(VStateless_class&
                 searched_along_class_path.put(file_name, true);                  searched_along_class_path.put(file_name, true);
                 if(Value* element=main_class.get_element(class_path_name)) {                  if(Value* element=main_class.get_element(class_path_name)) {
                         if(element->is_string()) {                          if(element->is_string()) {
                                 filespec=file_exist(absolute(element->as_string()), file_name); // found at class_path?                                  filespec=file_exist(full_disk_path(element->as_string()), file_name); // found at class_path?
                         } else if(Table *table=element->get_table()) {                          } else if(Table *table=element->get_table()) {
                                 for(size_t i=table->count(); i--; ) {                                  for(size_t i=table->count(); i--; ) {
                                         const String& path=*(*table->get(i))[0];                                          const String& path=*(*table->get(i))[0];
                                         if(filespec=file_exist(absolute(path), file_name))                                          if(filespec=file_exist(full_disk_path(path), file_name))
                                                 break; // found along class_path                                                  break; // found along class_path
                                 }                                  }
                         } else                          } else
                                 throw Exception(PARSER_RUNTIME, 0, "$" CLASS_PATH_NAME " must be string or table");                                  throw Exception(PARSER_RUNTIME, 0, "$" CLASS_PATH_NAME " must be string or table");
                         if(!filespec)                          if(!filespec)
                                 throw Exception(PARSER_RUNTIME, &file_name, "not found along $" MAIN_CLASS_NAME ":" CLASS_PATH_NAME);                                  throw Exception(PARSER_RUNTIME, &file_name, "not found along $main:" CLASS_PATH_NAME);
                 } else                   } else 
                         throw Exception(PARSER_RUNTIME, &file_name, "usage failed - no $" MAIN_CLASS_NAME  ":" CLASS_PATH_NAME " were specified");                          throw Exception(PARSER_RUNTIME, &file_name, "usage failed - no $main:" CLASS_PATH_NAME " were specified");
         }          }
   
         use_file_directly(aclass, *filespec);          use_file_directly(*filespec, true, with_auto_p);
 }  }
   
 void Request::use_file(const String& file_name, const String* use_filespec/*absolute*/, Operation::Origin origin) {  void Request::use_file(const String& file_name, const String* use_filespec/*absolute*/, Operation::Origin origin) {
Line 666  const String& Request::relative(const ch Line 677  const String& Request::relative(const ch
         return result;          return result;
 }  }
   
 const String& Request::absolute(const String& relative_name) {  const String& Request::full_disk_path(const String& relative_name) {
         if(relative_name.first_char()=='/') {          if(relative_name.first_char()=='/') {
                 String& result=*new String(pa_strdup(request_info.document_root));                  String& result=*new String(pa_strdup(request_info.document_root));
                 result << relative_name;                  result << relative_name;
                 return result;                  return result;
         } else           }
                 if(relative_name.pos("://")!=STRING_NOT_FOUND // something like "http://xxx"          if(relative_name.pos("://")!=STRING_NOT_FOUND // something like "http://xxx"
 #ifdef WIN32  #ifdef WIN32
                         || relative_name.pos(":")==1  // DRIVE:                  || relative_name.pos(":")==1  // DRIVE:
                         || relative_name.starts_with("\\\\") // UNC1                  || relative_name.starts_with("\\\\") // UNC1
                         || relative_name.starts_with("//") // UNC2                  || relative_name.starts_with("//") // UNC2
 #endif  #endif
                         )                  )
                         return relative_name;                  return relative_name;
                 else  
                         return relative(request_info.path_translated, relative_name);          return relative(request_info.path_translated ? request_info.path_translated : request_info.document_root, relative_name);
 }  }
   
 #ifndef DOXYGEN  #ifndef DOXYGEN
Line 728  static void output_sole_piece(Request& r Line 739  static void output_sole_piece(Request& r
 #ifndef DOXYGEN  #ifndef DOXYGEN
 struct Range  struct Range
 {  {
         size_t start;          uint64_t start;
         size_t end;          uint64_t end;
 };  };
 #endif  #endif
   
   #define UNSET ((uint64_t)-1)
   
 static void parse_range(const String* s, Array<Range> &ar) {  static void parse_range(const String* s, Array<Range> &ar) {
         const char *p = s->cstr();          const char *p = s->cstr();
         if(s->starts_with("bytes="))          if(s->starts_with("bytes="))
                 p += 6;                  p += 6;
         Range r;          Range r;
         while(*p){          while(*p){
                 r.start = (size_t)-1;                  r.start = UNSET;
                 r.end = (size_t)-1;                  r.end = UNSET;
   
                   while(*p==' ' || *p=='\t') p++;
   
                 if(*p >= '0' && *p <= '9'){                  if(*p >= '0' && *p <= '9'){
                         r.start = atol(p);                          const char *s=p;
                         while(*p>='0' && *p<='9') ++p;                          while(*p>='0' && *p<='9') p++;
                           r.start = pa_atoul(pa_strdup(s,p-s));
                 }                  }
   
                   while(*p==' ' || *p=='\t') p++;
   
                 if(*p++ != '-') break;                  if(*p++ != '-') break;
   
                   while(*p==' ' || *p=='\t') p++;
   
                 if(*p >= '0' && *p <= '9'){                  if(*p >= '0' && *p <= '9'){
                         r.end = atol(p);                          const char *s=p;
                         while(*p>='0' && *p<='9') ++p;                          while(*p>='0' && *p<='9') p++;
                           r.end = pa_atoul(pa_strdup(s,p-s));
                 }                  }
                 if(*p == ',') ++p;  
                   while(*p==' ' || *p=='\t') p++;
   
                   if(*p)
                           if(*p++ != ',') break;
   
                 ar += r;                  ar += r;
         }          }
 }  }
   
 static void output_pieces(Request& r, bool header_only, const String& filename, size_t content_length, Value& date, bool add_last_modified) {  struct Send_range_action_info {
         SAPI::add_header_attribute(r.sapi_info, "accept-ranges", "bytes");          Request *r;
           uint64_t offset;
           uint64_t part_length;
   };
   
   static void send_range(struct stat& /*finfo*/, int f, const String& /*file_spec*/, void *context){
           Send_range_action_info &info = *(Send_range_action_info*)context;
   
           pa_lseek(f, info.offset, SEEK_SET);
   
         const size_t BUFSIZE = 128*0x400;          const size_t BUFSIZE = 128*0x400;
         char buf[BUFSIZE];          char buf[BUFSIZE];
           do{
                   size_t to_read = info.part_length < BUFSIZE ? (size_t)info.part_length : BUFSIZE;
                   size_t to_write = file_block_read(f, buf, to_read);
   
                   if(to_write == 0)
                           break;
   
                   size_t size = SAPI::send_body(info.r->sapi_info, buf, to_write);
                   if(size != to_write)
                           break;
   
                   info.part_length -= to_write;
           } while (info.part_length);
   }
   
   static void output_pieces(Request& r, bool header_only, const String& filename, uint64_t content_length, Value& date, bool add_last_modified) {
           SAPI::add_header_attribute(r.sapi_info, "accept-ranges", "bytes");
   
         const char *range = SAPI::Env::get(r.sapi_info, "HTTP_RANGE");          const char *range = SAPI::Env::get(r.sapi_info, "HTTP_RANGE");
         size_t offset=0;          uint64_t offset=0;
         size_t part_length=content_length;          uint64_t part_length=content_length;
         if(range){  
           if(range && content_length){
                 Array<Range> ar;                  Array<Range> ar;
                 parse_range(new String(range), ar);                  parse_range(new String(range), ar);
                 size_t count = ar.count();                  int count = ar.count();
                 if(count == 1){                  if(count == 1){
                         Range &rg = ar.get_ref(0);                          Range &rg = ar.get_ref(0);
                         if(rg.start == (size_t)-1 && rg.end == (size_t)-1){  
                                 SAPI::add_header_attribute(r.sapi_info, HTTP_STATUS, "416 Requested Range Not Satisfiable");                          if(rg.start == UNSET && rg.end == UNSET)
                                 return;                                  return SAPI::send_error(r.sapi_info, "", "416");
                         }  
                         if(rg.start == (size_t)-1 && rg.end != (size_t)-1){                          if(rg.start == UNSET && rg.end != UNSET){
                                   if(rg.end > content_length)
                                           rg.end = content_length;
                                 rg.start = content_length - rg.end;                                  rg.start = content_length - rg.end;
                                 rg.end = content_length;                                  rg.end =  content_length-1;
                                 offset += rg.start;                          } else if(rg.start != UNSET && rg.end == UNSET){
                                 part_length = rg.end-rg.start;                                  if(rg.start >= content_length)
                         }else if(rg.start != (size_t)-1 && rg.end == (size_t)-1){                                          return SAPI::send_error(r.sapi_info, "", "416");
                                 rg.end = content_length-1;                                  rg.end = content_length-1;
                                 offset += rg.start;                          } else {
                                 part_length -= rg.start;                                  if(rg.start >= content_length || rg.start > rg.end)
                                           return SAPI::send_error(r.sapi_info, "", "416");
                                   if(rg.end >= content_length)
                                           rg.end = content_length-1;
                         }                          }
                         if(part_length == 0){  
                                 SAPI::add_header_attribute(r.sapi_info, HTTP_STATUS, "204 No Content");                          offset = rg.start;
                                 return;                          part_length = rg.end-rg.start+1;
                         }  
                         SAPI::add_header_attribute(r.sapi_info, HTTP_STATUS, "206 Partial Content");                          char buf[MAX_STRING];
                         snprintf(buf, BUFSIZE, "bytes %u-%u/%u", rg.start, rg.end, content_length);                          snprintf(buf, MAX_STRING, "bytes %.15g-%.15g/%.15g", (double)rg.start, (double)rg.end, (double)content_length);
                           SAPI::add_header_attribute(r.sapi_info, HTTP_STATUS, "206");
                         SAPI::add_header_attribute(r.sapi_info, "content-range", buf);                          SAPI::add_header_attribute(r.sapi_info, "content-range", buf);
                 }else if(count != 0){                  } else {
                         SAPI::add_header_attribute(r.sapi_info, HTTP_STATUS, "501 Not Implemented");                          return SAPI::send_error(r.sapi_info, count ? "Multiple ranges not supported" : "Invalid range", count ? "501" : "400");
                         return;  
                 }                  }
         }          }
   
           SAPI::add_header_attribute(r.sapi_info, HTTP_CONTENT_LENGTH, format((double)part_length, "%.15g"));
         SAPI::add_header_attribute(r.sapi_info, HTTP_CONTENT_LENGTH, format(part_length, "%u"));  
   
         if(add_last_modified)          if(add_last_modified)
                 SAPI::add_header_attribute(r.sapi_info, "last-modified", attributed_meaning_to_string(date, String::L_AS_IS, true).cstr());                  SAPI::add_header_attribute(r.sapi_info, "last-modified", attributed_meaning_to_string(date, String::L_AS_IS, true).cstr());
   
         SAPI::send_header(r.sapi_info);          SAPI::send_header(r.sapi_info);
   
         const String& filespec=r.absolute(filename);  
   
         size_t sent = 0;  
         if(!header_only){          if(!header_only){
                 size_t to_read = 0;                  Send_range_action_info info = { &r, offset, part_length};
                 size_t size = 0;                  file_read_action_under_lock(r.full_disk_path(filename), "send", send_range, &info);
                 do{  
                         to_read = part_length < BUFSIZE ? part_length : BUFSIZE;  
                         File_read_result read_result=file_read_binary(filespec, true /*fail on problem*/, buf, offset, to_read);  
                         to_read=read_result.length;  
                         if(to_read == 0)  
                                 break;  
                         offset += to_read;  
   
                         size = SAPI::send_body(r.sapi_info, read_result.str, to_read);  
                         sent += size;  
                         if(size != to_read)  
                                 break;  
                         part_length -= to_read;  
                 }while(part_length);  
         }          }
 }  }
   
Line 830  void Request::output_result(VFile* body_ Line 874  void Request::output_result(VFile* body_
         // header: cookies          // header: cookies
         cookie.output_result(sapi_info);          cookie.output_result(sapi_info);
                   
         // _file_ content-type might be specified          // $.file and $.name (when body is real vfile)
         Value* body_file_content_type=body_file->fields().get(content_type_name);          Value* vfile = body_file->fields().get(response_body_file_name);
           Value* vname = body_file->fields().get(name_name);
   
         // Content-Disposition          const String* sfile = vfile ? &vfile->as_string() : NULL;
         Value* vfile_name=body_file->fields().get(name_name);          const String* sname = vname ? &vname->as_string() : NULL;
         if(!vfile_name) {  
                 vfile_name=body_file->fields().get(response_body_file_name);  
                 if(vfile_name) {  
                         char* name_cstr=vfile_name->as_string().cstrm();  
                         if(char *after_slash=rsplit(name_cstr, '\\'))  
                                 name_cstr=after_slash;  
                         if(char *after_slash=rsplit(name_cstr, '/'))  
                                 name_cstr=after_slash;  
                         vfile_name=new VString(*new String(name_cstr));  
                 }  
         }  
         if(vfile_name) {  
                 const String& sfile_name=vfile_name->as_string();  
                 if(sfile_name!=NONAME_DAT) {  
                         VHash& hash=*new VHash();  
                         HashStringValue &h=hash.hash();  
                         h.put(value_name, new VString( as_attachment ? content_disposition_attachment : content_disposition_inline ));  
                         h.put(content_disposition_filename_name, new VString(*new String(sfile_name, String::L_HTTP_HEADER)));  
   
                         response.fields().put(content_disposition_name_upper, &hash);          if(sname && *sname == NONAME_DAT)
                   sname = NULL;
   
                         if(!body_file_content_type)          // Content-Disposition
                                 body_file_content_type=new VString(mime_type_of(sfile_name.cstr()));          const String* disposition_name = sname ? sname->is_empty() ? NULL : sname : sfile;
                 }          if(disposition_name) {
                   VHash& hash=*new VHash();
                   hash.hash().put(value_name, new VString(as_attachment ? content_disposition_attachment : content_disposition_inline));
                   hash.hash().put(content_disposition_filename_name, new VString(*new String(*disposition_name, String::L_HTTP_HEADER)));
                   response.fields().put(content_disposition_name_upper, &hash);
           }
   
           // _file_ content-type might be specified
           Value* body_file_content_type = body_file->fields().get(content_type_name);
           if(!body_file_content_type){
                   const String* scontent_name = sname && !sname->is_empty() ? sname : sfile;
                   if(scontent_name)
                           body_file_content_type = new VString(mime_type_of(scontent_name->cstr()));
         }          }
   
         // set Content-Type          // set Content-Type
Line 874  void Request::output_result(VFile* body_ Line 914  void Request::output_result(VFile* body_
         Add_header_attribute_info info(*this);          Add_header_attribute_info info(*this);
         response.fields().for_each<Add_header_attribute_info*>(add_header_attribute, &info);          response.fields().for_each<Add_header_attribute_info*>(add_header_attribute, &info);
   
         if(Value* vresponse_body_file=body_file->fields().get(response_body_file_name)) {          if(sfile) {
                 // $response:[download|body][$.file[filespec]] -- optput specified file                  // $response:[download|body][$.file[filespec]] -- optput specified file
                 const String& sresponse_body_file=vresponse_body_file->as_string();  
                 uint64_t content_length=0;                  uint64_t content_length=0;
                 time_t atime=0, mtime=0, ctime=0;                  time_t atime=0, mtime=0, ctime=0;
                 file_stat(absolute(sresponse_body_file), content_length, atime, mtime, ctime);                  file_stat(full_disk_path(*sfile), content_length, atime, mtime, ctime);
   
                 VDate* vdate=0;                  VDate* vdate=0;
                 if(Value* v=body_file->fields().get("mdate")) {                  if(Value* v=body_file->fields().get("mdate")) {
Line 891  void Request::output_result(VFile* body_ Line 930  void Request::output_result(VFile* body_
                 if(!vdate)                  if(!vdate)
                         vdate=new VDate((pa_time_t)mtime);                          vdate=new VDate((pa_time_t)mtime);
   
                 output_pieces(*this, header_only, sresponse_body_file, (size_t)content_length, *vdate, info.add_last_modified);                  output_pieces(*this, header_only, *sfile, content_length, *vdate, info.add_last_modified);
         } else {          } else {
                 if(body_file_content_type)                  if(body_file_content_type)
                         if(HashStringValue *hash=body_file_content_type->get_hash())                          if(HashStringValue *hash=body_file_content_type->get_hash())
Line 914  const String& Request::mime_type_of(cons Line 953  const String& Request::mime_type_of(cons
                                 if(const String* result=mime_types->item(1))                                  if(const String* result=mime_types->item(1))
                                         return *result;                                          return *result;
                                 else                                  else
                                         throw Exception(PARSER_RUNTIME, 0, MIME_TYPES_NAME  " table column elements must not be empty");                                          throw Exception(PARSER_RUNTIME, 0, MIME_TYPES_NAME " table column elements must not be empty");
                         }                          }
                 }                  }
   
Removed from v.1.385  
changed lines
  Added in v.1.407

E-mail: