Annotation of parser3/src/targets/cgi/parser3.C, revision 1.169

1.27      paf         1: /** @file
                      2:        Parser: scripting and CGI main.
                      3: 
1.155     paf         4:        Copyright(c) 2001, 2002 ArtLebedev Group (http://www.artlebedev.com)
1.154     paf         5:        Author: Alexandr Petrosian <paf@design.ru> (http://paf.design.ru)
1.27      paf         6: 
1.169   ! paf         7:        $Id: parser3.C,v 1.168 2002/04/09 08:10:37 paf Exp $
1.1       paf         8: */
                      9: 
1.40      paf        10: #include "pa_config_includes.h"
1.3       paf        11: 
1.139     paf        12: #if _MSC_VER
1.131     paf        13: #      include <new.h>
1.148     paf        14: #      include <crtdbg.h>
1.151     paf        15: #else
                     16: #      include "pa_config_paths.h"
1.3       paf        17: #endif
1.27      paf        18: 
1.37      paf        19: #include "pa_sapi.h"
1.76      paf        20: #include "classes.h"
1.24      paf        21: #include "pa_common.h"
1.2       paf        22: #include "pa_request.h"
1.57      paf        23: #include "pa_socks.h"
1.68      paf        24: #include "pa_version.h"
1.125     parser     25: #include "pool_storage.h"
1.69      paf        26: 
1.149     paf        27: #ifdef WIN32
                     28: #      include <windows.h>
1.120     parser     29: #endif
                     30: 
1.158     paf        31: //#define DEBUG_POOL_MALLOC
1.162     paf        32: //#define DEBUG_STRING_APPENDS_VS_EXPANDS
1.160     paf        33: 
                     34: #ifdef DEBUG_STRING_APPENDS_VS_EXPANDS
                     35: extern ulong 
                     36:        string_piece_appends, 
                     37:        wcontext_result_size,
                     38:        total_alloc_size,
                     39:        string_string_shortcut_economy;
                     40: #endif
1.84      parser     41: 
1.109     parser     42: // consts
1.113     parser     43: 
                     44: extern const char *main_RCSIds[];
1.116     parser     45: #ifdef USE_SMTP
1.113     parser     46: extern const char *smtp_RCSIds[];
1.114     parser     47: #endif
1.113     parser     48: extern const char *gd_RCSIds[];
                     49: extern const char *classes_RCSIds[];
                     50: extern const char *types_RCSIds[];
1.115     parser     51: extern const char *parser3_RCSIds[];
1.113     parser     52: const char **RCSIds[]={
                     53:        main_RCSIds,
1.116     parser     54: #ifdef USE_SMTP
1.113     parser     55:        smtp_RCSIds,
1.114     parser     56: #endif
1.113     parser     57:        gd_RCSIds,
                     58:        classes_RCSIds,
                     59:        types_RCSIds,
1.115     parser     60:        parser3_RCSIds,
1.113     parser     61:        0
                     62: };
1.84      parser     63: 
1.164     paf        64: const char *PARSER_ROOT_CONFIG_ENV_NAME="HTTP_PARSER_ROOT_CONFIG";
                     65: const char *PARSER_SITE_CONFIG_ENV_NAME="HTTP_PARSER_SITE_CONFIG";
1.159     paf        66: 
1.42      paf        67: /// IIS refuses to read bigger chunks
                     68: const size_t READ_POST_CHUNK_SIZE=0x400*0x400; // 1M 
                     69: 
1.45      paf        70: const char *argv0;
1.125     parser     71: Pool_storage pool_storage;
                     72: Pool pool(&pool_storage); // global pool [dont describe to doxygen: it confuses it with param names]
1.27      paf        73: bool cgi; ///< we were started as CGI?
1.5       paf        74: 
1.46      paf        75: // SAPI
1.86      parser     76: 
1.124     parser     77: static void log(const char *fmt, va_list args) {
1.61      paf        78:        bool opened;
                     79:        FILE *f=0;
                     80: 
                     81:        if(argv0) {
                     82:                // beside by binary
                     83:                char file_spec[MAX_STRING];
1.98      parser     84:                strncpy(file_spec, argv0, MAX_STRING-1);  file_spec[MAX_STRING-1]=0; // filespec of my binary
1.61      paf        85:                rsplit(file_spec, '/');  rsplit(file_spec, '\\');// strip filename
                     86:                strcat(file_spec, "/parser3.log");
                     87:                f=fopen(file_spec, "at");
                     88:        }
                     89:        opened=f!=0;
                     90:        if(!opened)
                     91:                f=stderr;
                     92: 
                     93:        // prefix
                     94:        time_t t=time(0);
                     95:        const char *stamp=ctime(&t);
                     96:        fprintf(f, "[%.*s] ", strlen(stamp)-1, stamp);
                     97:        // message
1.117     parser     98: 
                     99:        char buf[MAX_STRING];
                    100:        size_t size=vsnprintf(buf, MAX_STRING, fmt, args);
                    101:        remove_crlf(buf, buf+size);
                    102: 
                    103:        fwrite(buf, size, 1, f);
1.61      paf       104:        // newline
                    105:        fprintf(f, "\n");
                    106: 
                    107:        if(opened)
                    108:                fclose(f);
1.85      parser    109:        else
                    110:                fflush(f);
1.124     parser    111: }
                    112: 
                    113: // appends to parser3.log located beside my binary if openable, to stderr otherwize
                    114: void SAPI::log(Pool& , const char *fmt, ...) {
                    115:     va_list args;
                    116:        va_start(args,fmt);
                    117:        ::log(fmt, args);
                    118:        va_end(args);
                    119: }
                    120: 
                    121: void SAPI::die(const char *fmt, ...) {
1.137     paf       122: #ifdef DEBUG_POOL_MALLOC
                    123:        extern void log_pool_stats(Pool& pool);
                    124:        log_pool_stats(pool);
                    125: #endif
                    126: 
1.144     paf       127:     va_list args;
                    128:        va_start(args,fmt);
1.138     paf       129:        // log
                    130: 
                    131:        // logging is more important than user 
                    132:        // she can cancel download, we'd get SIG_PIPE, 
                    133:        // nothing would be logged then
1.124     parser    134:        ::log(fmt, args);
                    135: 
1.138     paf       136:        // inform user
                    137: 
1.134     paf       138:        char body[MAX_STRING];
1.138     paf       139:        int content_length=vsnprintf(body, MAX_STRING, fmt, args);
1.134     paf       140: 
1.144     paf       141:        va_end(args);
                    142: 
1.134     paf       143:        // prepare header
                    144:        // let's be honest, that's bad we couldn't produce valid output
                    145:        SAPI::add_header_attribute(pool, "status", "500");
                    146:        SAPI::add_header_attribute(pool, "content-type", "text/plain");
                    147:        char content_length_cstr[MAX_NUMBER];
1.168     paf       148:        snprintf(content_length_cstr, sizeof(content_length_cstr), "%u", content_length);
1.134     paf       149:        SAPI::add_header_attribute(pool, "content-length", content_length_cstr);
                    150: 
                    151:        // send header
                    152:        SAPI::send_header(pool);
                    153: 
                    154:        // body
                    155:        SAPI::send_body(pool, body, content_length);
                    156: 
1.124     parser    157:        exit(1);
1.61      paf       158: }
                    159: 
1.122     parser    160: const char *SAPI::get_env(Pool& , const char *name) {
1.109     parser    161:        return getenv(name);
1.28      paf       162: }
                    163: 
1.122     parser    164: size_t SAPI::read_post(Pool& , char *buf, size_t max_bytes) {
1.59      paf       165:        size_t read_size=0;
1.12      paf       166:        do {
1.36      paf       167:                int chunk_size=read(fileno(stdin), 
1.42      paf       168:                        buf+read_size, min(READ_POST_CHUNK_SIZE, max_bytes-read_size));
1.129     paf       169:                if(chunk_size<=0)
1.12      paf       170:                        break;
                    171:                read_size+=chunk_size;
                    172:        } while(read_size<max_bytes);
                    173: 
                    174:        return read_size;
1.10      paf       175: }
                    176: 
1.122     parser    177: void SAPI::add_header_attribute(Pool& , const char *key, const char *value) {
1.68      paf       178:        if(cgi)
1.20      paf       179:                printf("%s: %s\n", key, value);
1.19      paf       180: }
                    181: 
1.56      paf       182: /// @todo intelligent cache-control
1.122     parser    183: void SAPI::send_header(Pool& ) {
1.33      paf       184:        if(cgi) {
1.147     paf       185: //             puts("expires: Fri, 23 Mar 2001 09:32:23 GMT");
1.33      paf       186: 
                    187:                // header | body  delimiter
1.20      paf       188:                puts("");
1.33      paf       189:        }
1.30      paf       190: }
1.20      paf       191: 
1.122     parser    192: void SAPI::send_body(Pool& , const void *buf, size_t size) {
1.19      paf       193:        stdout_write(buf, size);
1.58      paf       194: }
                    195: 
1.97      parser    196: //
                    197: 
1.166     paf       198: void full_file_spec(const char *file_name, char *buf, size_t buf_size) {
1.167     paf       199:        if(file_name)
                    200:                if(file_name[0]=='/' 
                    201: #ifdef WIN32
                    202:                        || (file_name[0] && file_name[1]==':')
                    203: #endif
                    204:                        ) 
                    205:                        strncpy(buf, file_name, buf_size);
                    206:                else {
                    207:                        char cwd[MAX_STRING];  getcwd(cwd, MAX_STRING);
                    208:                        snprintf(buf, buf_size, "%s/%s", cwd, file_name);
                    209:                }
                    210:        else
                    211:                buf[0]=0;
1.166     paf       212: #ifdef WIN32
                    213:        back_slashes_to_slashes(buf);
                    214: #endif
1.97      parser    215: }
                    216: 
1.40      paf       217: /**
1.122     parser    218: main workhorse
1.19      paf       219: 
1.122     parser    220:   @todo 
1.40      paf       221:                IIS: remove trailing default-document[index.html] from $request.uri.
                    222:                to do that we need to consult metabase,
                    223:                wich is tested but seems slow.
1.144     paf       224:                IIS5 todo find out proper 'illegal call' check 
1.40      paf       225: */
1.122     parser    226: void real_parser_handler(
                    227:                                        const char *filespec_to_process,
                    228:                                        const char *request_method, bool header_only) {
                    229:        // init socks
                    230:        init_socks(pool);
                    231:        
                    232:        // init global classes
                    233:        init_methoded_array(pool);
                    234:        // init global variables
                    235:        pa_globals_init(pool);
                    236:        
                    237:        if(!filespec_to_process)
1.144     paf       238:                SAPI::die("Parser/%s", PARSER_VERSION);
1.122     parser    239:        
                    240:        // Request info
                    241:        Request::Info request_info;
1.166     paf       242:        char document_root_buf[MAX_STRING];
1.122     parser    243:        if(cgi) {
                    244:                if(const char *env_document_root=SAPI::get_env(pool, "DOCUMENT_ROOT"))
                    245:                        request_info.document_root=env_document_root;
                    246:                else if(const char *path_info=SAPI::get_env(pool, "PATH_INFO")) {
                    247:                        // IIS
1.166     paf       248:                        size_t len=min(sizeof(document_root_buf)-1, strlen(filespec_to_process)-strlen(path_info));
                    249:                        memcpy(document_root_buf, filespec_to_process, len); document_root_buf[len]=0;
                    250:                        request_info.document_root=document_root_buf;
1.122     parser    251:                } else
1.165     paf       252:                        throw Exception("parser.runtime",
                    253:                                0,
                    254:                                "CGI: no PATH_INFO defined(in reinventing DOCUMENT_ROOT)");
1.122     parser    255:        } else {
1.166     paf       256:                full_file_spec("", document_root_buf, sizeof(document_root_buf));
                    257:                request_info.document_root=document_root_buf;
1.122     parser    258:        }
                    259:        request_info.path_translated=filespec_to_process;
                    260:        request_info.method=request_method ? request_method : "GET";
                    261:        const char *query_string=SAPI::get_env(pool, "QUERY_STRING");
                    262:        request_info.query_string=query_string;
                    263:        if(cgi) {
                    264:                if(const char *env_request_uri=SAPI::get_env(pool, "REQUEST_URI"))
                    265:                        request_info.uri=env_request_uri;
                    266:                else if(const char *path_info=SAPI::get_env(pool, "PATH_INFO"))
                    267:                        if(query_string) {
                    268:                                char *reconstructed_uri=(char *)pool.malloc(
                    269:                                        strlen(path_info)+1/*'?'*/+
                    270:                                        strlen(query_string)+1/*0*/);
                    271:                                strcpy(reconstructed_uri, path_info);
                    272:                                strcat(reconstructed_uri, "?");
                    273:                                strcat(reconstructed_uri, query_string);
                    274:                                request_info.uri=reconstructed_uri;
                    275:                        } else
                    276:                                request_info.uri=path_info;
                    277:                        else
1.165     paf       278:                                throw Exception("parser.runtime",
                    279:                                        0,
                    280:                                        "CGI: no PATH_INFO defined(in reinventing REQUEST_URI)");
1.145     paf       281:                        
                    282: #ifndef WIN32
                    283:                        // they've changed this under IIS5.
1.122     parser    284:                        if(const char *script_name=SAPI::get_env(pool, "SCRIPT_NAME")) {
                    285:                                size_t script_name_len=strlen(script_name);
                    286:                                size_t uri_len=strlen(request_info.uri);
                    287:                                if(strncmp(request_info.uri,script_name, script_name_len)==0 &&
                    288:                                        script_name_len != uri_len) // under IIS they are the same
1.144     paf       289:                                        SAPI::die("CGI: illegal call");
1.122     parser    290:                        }
1.145     paf       291: #endif
1.122     parser    292:        } else
                    293:                request_info.uri=0;
                    294:        
                    295:        request_info.content_type=SAPI::get_env(pool, "CONTENT_TYPE");
                    296:        const char *content_length=SAPI::get_env(pool, "CONTENT_LENGTH");
                    297:        request_info.content_length=(content_length?atoi(content_length):0);
                    298:        request_info.cookie=SAPI::get_env(pool, "HTTP_COOKIE");
                    299:        request_info.user_agent=SAPI::get_env(pool, "HTTP_USER_AGENT");
                    300:        
                    301:        // prepare to process request
                    302:        Request request(pool,
                    303:                request_info,
1.143     paf       304: #ifdef _DEBUG
                    305:                String::UL_HTML|String::UL_OPTIMIZE_BIT
                    306: #else
                    307:                cgi ? String::UL_HTML|String::UL_OPTIMIZE_BIT : String::UL_AS_IS
                    308: #endif
                    309:                ,
1.130     paf       310:                true /* status_allowed */);
1.122     parser    311:        
                    312:        // some root-controlled location
1.169   ! paf       313:        const char *root_config_filespec_cstr;
        !           314:        char root_config_filespec_buf[MAX_STRING];
1.159     paf       315:        if(const char *root_config_by_env=getenv(PARSER_ROOT_CONFIG_ENV_NAME))
1.169   ! paf       316:                root_config_filespec_cstr=root_config_by_env;
1.159     paf       317:        else {
1.152     paf       318: #ifdef ROOT_CONFIG_DIR
1.169   ! paf       319:                root_config_filespec_cstr=ROOT_CONFIG_DIR "/" CONFIG_FILE_NAME;
1.122     parser    320: #else
                    321: #      ifdef WIN32
1.159     paf       322:                // c:\windows
                    323:                char windows_dir[MAX_STRING];
                    324:                GetWindowsDirectory(windows_dir, MAX_STRING);
                    325: 
1.169   ! paf       326:                
        !           327:                snprintf(root_config_filespec_buf, MAX_STRING, 
1.159     paf       328:                        "%s/%s", 
                    329:                        windows_dir, CONFIG_FILE_NAME);
                    330:                
1.169   ! paf       331:                root_config_filespec_cstr=root_config_filespec_buf;
1.122     parser    332: #      else
                    333: #error must be compiled either configure/make or MSVC++
                    334: #      endif
                    335: #endif
1.159     paf       336:        }
1.122     parser    337:        
1.169   ! paf       338:        const char *site_config_filespec_cstr;
        !           339:        char site_config_filespec_buf[MAX_STRING];
1.164     paf       340:        if(const char *site_config_by_env=getenv(PARSER_SITE_CONFIG_ENV_NAME))
1.169   ! paf       341:                site_config_filespec_cstr=site_config_by_env;
1.164     paf       342:        else {
1.122     parser    343:        // beside by binary
                    344:        // @todo full path, not ./!
1.164     paf       345:                char beside_binary_path[MAX_STRING];
                    346:                strncpy(beside_binary_path, argv0, MAX_STRING-1);  beside_binary_path[MAX_STRING-1]=0; // filespec of my binary
                    347:                if(!(
                    348:                        rsplit(beside_binary_path, '/') || 
                    349:                        rsplit(beside_binary_path, '\\'))) { // strip filename
                    350:                        // no path, just filename
                    351:                        beside_binary_path[0]='.'; beside_binary_path[1]=0;
                    352:                }
1.169   ! paf       353:                snprintf(site_config_filespec_buf, MAX_STRING, 
1.164     paf       354:                        "%s/%s", 
                    355:                        beside_binary_path, CONFIG_FILE_NAME);
1.169   ! paf       356:                site_config_filespec_cstr=site_config_filespec_buf;
1.122     parser    357:        }
                    358:        
                    359:        // process the request
                    360:        request.core(
1.169   ! paf       361:                root_config_filespec_cstr, true/*fail_on_read_problem*/,
        !           362:                site_config_filespec_cstr, true /*fail_on_read_problem*/,
1.122     parser    363:                header_only);
                    364:        
                    365:        //
                    366:        done_socks();
                    367:        
                    368: #ifdef DEBUG_POOL_MALLOC
                    369:        extern void log_pool_stats(Pool& pool);
                    370:        log_pool_stats(pool);
                    371: #endif
1.160     paf       372: 
                    373: #ifdef DEBUG_STRING_APPENDS_VS_EXPANDS
                    374:        SAPI::log(pool, 
1.161     paf       375:                "string piece appends=%lu, wcontext_result_size=%lu, string_string_shortcut_economy_closer=%lu, total_alloc_size=%lu", 
1.160     paf       376:                string_piece_appends,
                    377:                wcontext_result_size,
                    378:                string_string_shortcut_economy,
                    379:                total_alloc_size);
                    380: #endif
                    381: 
1.122     parser    382: }
                    383: 
                    384: void call_real_parser_handler__do_SEH(
                    385:                                                                 const char *filespec_to_process,
                    386:                                                                 const char *request_method, bool header_only) {
1.133     paf       387: #if _MSC_VER && !defined(_DEBUG)
1.122     parser    388:        LPEXCEPTION_POINTERS system_exception=0;
                    389:        __try {
                    390: #endif
                    391:                real_parser_handler(
                    392:                        filespec_to_process,
                    393:                        request_method, header_only);
                    394:                
1.133     paf       395: #if _MSC_VER && !defined(_DEBUG)
1.122     parser    396:        } __except (
                    397:                (system_exception=GetExceptionInformation()), 
                    398:                EXCEPTION_EXECUTE_HANDLER) {
                    399:                
                    400:                if(system_exception)
                    401:                        if(_EXCEPTION_RECORD *er=system_exception->ExceptionRecord)
1.165     paf       402:                                throw Exception(0,
                    403:                                        0,
                    404:                                        "Exception 0x%08X at 0x%08X", er->ExceptionCode,  er->ExceptionAddress);
1.122     parser    405:                        else
1.165     paf       406:                                throw Exception(0, 0, "Exception <no exception record>");
1.122     parser    407:                        else
1.165     paf       408:                                throw Exception(0, 0, "Exception <no exception information>");
1.122     parser    409:        }
                    410: #endif
                    411: }
                    412: 
1.139     paf       413: #if _MSC_VER
1.135     paf       414: int failed_new(size_t size) {
                    415:        SAPI::die("out of memory in 'new', failed to allocated %u bytes", size);
                    416:        return 0; // not reached
1.131     paf       417: }
1.135     paf       418: #endif
1.131     paf       419: 
1.135     paf       420: #ifdef HAVE_SET_NEW_HANDLER
1.134     paf       421: void failed_new() {
1.135     paf       422:     SAPI::die("out of memory in 'new'");
1.131     paf       423: }
                    424: #endif
                    425: 
1.5       paf       426: int main(int argc, char *argv[]) {
1.144     paf       427: //     _asm int 3;
1.45      paf       428:        argv0=argv[0];
                    429: 
1.32      paf       430:        umask(2);
                    431: 
1.3       paf       432:        // were we started as CGI?
1.146     paf       433:        cgi=
1.109     parser    434:                getenv("SERVER_SOFTWARE") || 
                    435:                getenv("SERVER_NAME") || 
                    436:                getenv("GATEWAY_INTERFACE") || 
                    437:                getenv("REQUEST_METHOD");
1.5       paf       438:        
1.10      paf       439:        if(!cgi) {
                    440:                if(argc<2) {
1.69      paf       441:                        printf(
1.155     paf       442:                                "Parser/%s Copyright(c) 2001, 2002 ArtLebedev Group (http://www.artlebedev.com)\n"
1.154     paf       443:                                "Author: Alexandr Petrosian <paf@design.ru> (http://paf.design.ru)\n"
1.100     parser    444:                                "\n"
                    445:                                "Usage: %s <file>\n",
1.69      paf       446:                                PARSER_VERSION, 
                    447:                                argv0?argv0:"parser3");
1.67      paf       448:                        return 1;
1.10      paf       449:                }
                    450:        }
                    451: 
1.100     parser    452: #ifdef WIN32
                    453:        setmode(fileno(stdin), _O_BINARY);
                    454:        setmode(fileno(stdout), _O_BINARY);
                    455:        setmode(fileno(stderr), _O_BINARY);
                    456: #endif
                    457: 
1.139     paf       458: #if _MSC_VER
1.138     paf       459:        _set_new_handler(failed_new);
1.148     paf       460: 
                    461: #ifdef _DEBUG
                    462:        // Get current flag
                    463:        int tmpFlag = _CrtSetDbgFlag( _CRTDBG_REPORT_FLAG );
                    464: 
                    465:        // Turn on leak-checking bit
                    466:        tmpFlag |= _CRTDBG_LEAK_CHECK_DF;
                    467: 
                    468:        // Set flag to the new value
                    469:        _CrtSetDbgFlag( tmpFlag );
                    470: //     _CrtSetBreakAlloc(471);
                    471: 
                    472: #endif
                    473: 
1.138     paf       474: #endif
                    475: 
                    476: #ifdef HAVE_SET_NEW_HANDLER
                    477:        std::set_new_handler(failed_new);
                    478: #endif
                    479: 
1.166     paf       480:        char *raw_filespec_to_process=cgi?getenv("PATH_TRANSLATED"):argv[1];
                    481:        char filespec_to_process[MAX_STRING];
                    482:        full_file_spec(raw_filespec_to_process, filespec_to_process, sizeof(filespec_to_process));
1.10      paf       483: 
1.109     parser    484:        const char *request_method=getenv("REQUEST_METHOD");
1.35      paf       485:        bool header_only=request_method && strcasecmp(request_method, "HEAD")==0;
1.131     paf       486: 
1.122     parser    487:        try { // global try
                    488:                call_real_parser_handler__do_SEH(
                    489:                        filespec_to_process,
                    490:                        request_method, header_only);
                    491:        } catch(const Exception& e) { // global problem 
1.44      paf       492:                // don't allocate anything on pool here:
                    493:                //   possible pool' exception not catch-ed now
                    494:                //   and there could be out-of-memory exception
1.43      paf       495: 
1.144     paf       496:                SAPI::die("exception in request exception handler: %s", e.comment());
1.134     paf       497: #ifndef _DEBUG
1.131     paf       498:        } catch(...) { 
1.134     paf       499:                SAPI::die("<unknown exception>");
1.133     paf       500: #endif
1.16      paf       501:        }
1.122     parser    502:        
1.109     parser    503: 
                    504: #ifndef WIN32
                    505:        // 
                    506:        if(!cgi)
                    507:                SAPI::send_body(pool, "\n", 1);
                    508: #endif
1.156     paf       509: //_asm int 3;
1.134     paf       510:        return 0;
1.1       paf       511: }

E-mail: