Annotation of parser3/src/classes/file.C, revision 1.83

1.17      paf         1: /** @file
                      2:        Parser: @b file parser class.
                      3: 
1.71      paf         4:        Copyright (c) 2001, 2002 ArtLebedev Group (http://www.artlebedev.com)
1.72      paf         5:        Author: Alexandr Petrosian <paf@design.ru> (http://paf.design.ru)
1.17      paf         6: 
1.83    ! paf         7:        $Id: file.C,v 1.82 2002/06/11 12:20:41 paf Exp $
1.1       paf         8: */
1.47      parser      9: 
                     10: #include "pa_config_includes.h"
                     11: 
                     12: #include "pcre.h"
1.1       paf        13: 
1.35      paf        14: #include "classes.h"
1.1       paf        15: #include "pa_request.h"
                     16: #include "pa_vfile.h"
1.11      paf        17: #include "pa_table.h"
1.21      paf        18: #include "pa_vint.h"
1.24      paf        19: #include "pa_exec.h"
1.40      parser     20: #include "pa_vdate.h"
1.47      parser     21: #include "pa_dir.h"
                     22: #include "pa_vtable.h"
1.67      paf        23: #include "pa_charset.h"
1.1       paf        24: 
1.32      paf        25: // defines
                     26: 
1.48      parser     27: #define TEXT_MODE_NAME "text"
                     28: 
1.83    ! paf        29: // consts
        !            30: 
        !            31: /// from apache-1.3|src|support|suexec.c 
        !            32: static const char *suexec_safe_env_lst[]={
        !            33:     "AUTH_TYPE",
        !            34:     "CONTENT_LENGTH",
        !            35:     "CONTENT_TYPE",
        !            36:     "DATE_GMT",
        !            37:     "DATE_LOCAL",
        !            38:     "DOCUMENT_NAME",
        !            39:     "DOCUMENT_PATH_INFO",
        !            40:     "DOCUMENT_ROOT",
        !            41:     "DOCUMENT_URI",
        !            42:     "FILEPATH_INFO",
        !            43:     "GATEWAY_INTERFACE",
        !            44:     "LAST_MODIFIED",
        !            45:     "PATH_INFO",
        !            46:     "PATH_TRANSLATED",
        !            47:     "QUERY_STRING",
        !            48:     "QUERY_STRING_UNESCAPED",
        !            49:     "REMOTE_ADDR",
        !            50:     "REMOTE_HOST",
        !            51:     "REMOTE_IDENT",
        !            52:     "REMOTE_PORT",
        !            53:     "REMOTE_USER",
        !            54:     "REDIRECT_QUERY_STRING",
        !            55:     "REDIRECT_STATUS",
        !            56:     "REDIRECT_URL",
        !            57:     "REQUEST_METHOD",
        !            58:     "REQUEST_URI",
        !            59:     "SCRIPT_FILENAME",
        !            60:     "SCRIPT_NAME",
        !            61:     "SCRIPT_URI",
        !            62:     "SCRIPT_URL",
        !            63:     "SERVER_ADMIN",
        !            64:     "SERVER_NAME",
        !            65:     "SERVER_ADDR",
        !            66:     "SERVER_PORT",
        !            67:     "SERVER_PROTOCOL",
        !            68:     "SERVER_SOFTWARE",
        !            69:     "UNIQUE_ID",
        !            70:     "USER_NAME",
        !            71:     "TZ",
        !            72:     NULL
        !            73: };
        !            74: 
1.32      paf        75: // class
                     76: 
                     77: class MFile : public Methoded {
                     78: public: // VStateless_class
                     79:        
                     80:        Value *create_new_value(Pool& pool) { return new(pool) VFile(pool); }
                     81: 
1.33      paf        82: public: // Methoded
                     83:        bool used_directly() { return true; }
                     84: 
1.32      paf        85: public:
                     86:        MFile(Pool& pool);
1.33      paf        87: 
1.32      paf        88: };
                     89: 
1.9       paf        90: // consts
                     91: 
                     92: const int FIND_MONKEY_MAX_HOPS=10;
                     93: 
1.1       paf        94: // methods
                     95: 
1.26      paf        96: static void _save(Request& r, const String&, MethodParams *params) {
1.48      parser     97:        Value& vmode_name=params-> as_no_junction(0, "mode must not be code");
1.49      parser     98:        Value& vfile_name=params->as_no_junction(1, "file name must not be code");
1.4       paf        99: 
1.7       paf       100:        // save
1.48      parser    101:        static_cast<VFile *>(r.self)->save(r.absolute(vfile_name.as_string()),
                    102:                vmode_name.as_string()==TEXT_MODE_NAME);
1.7       paf       103: }
                    104: 
1.26      paf       105: static void _delete(Request& r, const String&, MethodParams *params) {
1.39      parser    106:        Value& vfile_name=params->as_no_junction(0, "file name must not be code");
1.7       paf       107: 
                    108:        // unlink
1.68      paf       109:        file_delete(r.absolute(vfile_name.as_string()));
1.1       paf       110: }
                    111: 
1.45      parser    112: static void _move(Request& r, const String&, MethodParams *params) {
                    113:        Value& vfrom_file_name=params->as_no_junction(0, "from file name must not be code");
                    114:        Value& vto_file_name=params->as_no_junction(1, "to file name must not be code");
                    115: 
1.51      parser    116:        // move
1.68      paf       117:        file_move(
1.45      parser    118:                r.absolute(vfrom_file_name.as_string()),
                    119:                r.absolute(vto_file_name.as_string()));
                    120: }
                    121: 
1.26      paf       122: static void _find(Request& r, const String& method_name, MethodParams *params) {
1.8       paf       123:        Pool& pool=r.pool();
1.39      parser    124:        Value& vfile_name=params->as_no_junction(0, "file name must not be code");
1.8       paf       125: 
1.18      paf       126:        const String &lfile_name=vfile_name.as_string();
1.8       paf       127: 
                    128:        // passed file name simply exists in current dir
                    129:        if(file_readable(r.absolute(lfile_name))) {
1.76      paf       130:                r.write_no_lang(lfile_name);
1.8       paf       131:                return;
                    132:        }
                    133: 
                    134:        // scan .. dirs for result
1.9       paf       135:        for(int i=0; i<FIND_MONKEY_MAX_HOPS; i++) {
1.76      paf       136:                String local_test_name(pool);
1.8       paf       137:                for(int j=0; j<i; j++)
1.76      paf       138:                        local_test_name.APPEND_CONST("../");
                    139:                local_test_name.append(lfile_name, String::UL_CLEAN);
                    140:                if(file_readable(r.absolute(local_test_name))) {
                    141:                        r.write_no_lang(*new(pool) String(local_test_name));
1.8       paf       142:                        return;
                    143:                }
                    144:        }
                    145: 
                    146:        // not found
                    147:        if(params->size()==2) {
1.39      parser    148:                Value& not_found_code=params->as_junction(1, "not-found param must be code");
1.77      paf       149:                r.write_pass_lang(r.process(not_found_code));
1.8       paf       150:        }
                    151: }
                    152: 
1.26      paf       153: static void _load(Request& r, const String& method_name, MethodParams *params) {
1.9       paf       154:        Pool& pool=r.pool();
1.48      parser    155:        Value& vmode_name=params-> as_no_junction(0, "mode must not be code");
                    156:        Value& vfile_name=params->as_no_junction(1, "file name must not be code");
1.9       paf       157: 
1.18      paf       158:        const String& lfile_name=vfile_name.as_string();
1.9       paf       159: 
1.12      paf       160:        void *data;  size_t size;
1.48      parser    161:        file_read(pool, r.absolute(lfile_name), data, size, 
                    162:                vmode_name.as_string()==TEXT_MODE_NAME);
1.9       paf       163: 
1.61      paf       164:        char *user_file_name=params->size()>2?
                    165:                params->as_string(2, "filename must be string").cstr(String::UL_FILE_SPEC)
1.53      parser    166:                :lfile_name.cstr(String::UL_FILE_SPEC);
1.10      paf       167:        
1.21      paf       168:        static_cast<VFile *>(r.self)->set(true/*tainted*/, data, size, 
1.52      parser    169:                user_file_name, new(pool) VString(r.mime_type_of(user_file_name)));
1.9       paf       170: }
                    171: 
1.26      paf       172: static void _stat(Request& r, const String& method_name, MethodParams *params) {
1.25      paf       173:        Pool& pool=r.pool();
1.39      parser    174:        Value& vfile_name=params->as_no_junction(0, "file name must not be code");
1.25      paf       175: 
                    176:        const String& lfile_name=vfile_name.as_string();
                    177: 
1.40      parser    178:        size_t size;
                    179:        time_t atime, mtime, ctime;
                    180:        file_stat(r.absolute(lfile_name),
                    181:                size,
                    182:                atime, mtime, ctime);
1.25      paf       183:        
1.40      parser    184:        VFile& vfile=*static_cast<VFile *>(r.self);
                    185:        vfile.set(true/*tainted*/, 0/*no bytes*/, size);
                    186:        Hash& ff=vfile.fields();
                    187:        ff.put(*new(pool) String(pool, "adate"), new(pool) VDate(pool, atime));
                    188:        ff.put(*new(pool) String(pool, "mdate"), new(pool) VDate(pool, mtime));
                    189:        ff.put(*new(pool) String(pool, "cdate"), new(pool) VDate(pool, ctime));
1.25      paf       190: }
                    191: 
1.83    ! paf       192: static bool is_safe_env_key(const char *key) {
        !           193:        if(strncmp(key, "HTTP_", 5)==0)
        !           194:                return true;
        !           195:        if(strncmp(key, "CGI_", 4)==0)
        !           196:                return true;
        !           197:        for(int i=0; suexec_safe_env_lst[i]; i++) {
        !           198:                if(strncmp(key, suexec_safe_env_lst[i], strlen(suexec_safe_env_lst[i]))==0)
        !           199:                        return true;
        !           200:        }
        !           201:        return false;
        !           202: }
1.22      paf       203: static void append_env_pair(const Hash::Key& key, Hash::Val *value, void *info) {
                    204:        Hash& hash=*static_cast<Hash *>(info);
1.83    ! paf       205:        if(is_safe_env_key(key.cstr()))
        !           206:                hash.put(key, &static_cast<Value *>(value)->as_string());
1.22      paf       207: }
1.29      paf       208: static void pass_cgi_header_attribute(Array::Item *value, void *info) {
                    209:        String& string=*static_cast<String *>(value);
                    210:        Hash& hash=*static_cast<Hash *>(info);
                    211:        int colon_pos=string.pos(":", 1);
                    212:        if(colon_pos>0)
1.30      paf       213:                hash.put(string.mid(0, colon_pos), 
                    214:                new(string.pool()) VString(string.mid(colon_pos+1, string.size())));
1.29      paf       215: }
1.62      paf       216: /** @todo fix `` in perl - they produced flipping consoles and no output to perl
                    217: */
1.41      parser    218: static void _exec_cgi(Request& r, const String& method_name, MethodParams *params,
                    219:                                          bool cgi) {
1.21      paf       220:        Pool& pool=r.pool();
                    221: 
1.39      parser    222:        Value& vfile_name=params->as_no_junction(0, "file name must not be code");
1.21      paf       223: 
1.23      paf       224:        const String& script_name=r.absolute(vfile_name.as_string());
                    225: 
                    226:        Hash env(pool);
1.62      paf       227:        #define ECSTR(name, value_cstr) \
                    228:                String name##key(pool, #name); \
                    229:                String name##value(pool); \
                    230:                if(value_cstr) { \
                    231:                        name##value.APPEND_CONST(value_cstr); \
                    232:                        env.put(name##key, &name##value); \
1.23      paf       233:                }
1.82      paf       234:        // passing SAPI::environment
                    235:        if(const char *const *pairs=SAPI::environment(pool)) {
                    236:                while(const char *pair=*pairs++)
                    237:                        if(const char *eq_at=strchr(pair, '=')) {
                    238:                                String& key=*new(pool) String(pool, pair, eq_at-pair);
                    239:                                String& value=*new(pool) String(pool, eq_at+1);
                    240:                                env.put(key, &value);
                    241:                        }
                    242:        }
                    243: 
1.23      paf       244:        // const
1.63      paf       245:        ECSTR(GATEWAY_INTERFACE, "CGI/1.1");
1.23      paf       246:        // from Request.info
1.62      paf       247:        ECSTR(DOCUMENT_ROOT, r.info.document_root);
                    248:        ECSTR(PATH_TRANSLATED, r.info.path_translated);
1.66      paf       249:        ECSTR(REQUEST_METHOD, r.info.method);
1.62      paf       250:        ECSTR(QUERY_STRING, r.info.query_string);
                    251:        ECSTR(REQUEST_URI, r.info.uri);
                    252:        ECSTR(CONTENT_TYPE, r.info.content_type);
1.23      paf       253:        char content_length_cstr[MAX_NUMBER];  
                    254:        snprintf(content_length_cstr, MAX_NUMBER, "%u", r.info.content_length);
                    255:        String content_length(pool, content_length_cstr);
1.62      paf       256:        ECSTR(CONTENT_LENGTH, content_length_cstr);
1.82      paf       257:        // SCRIPT_*
1.63      paf       258:        env.put(*new(pool) String(pool, "SCRIPT_NAME"), &script_name);
1.82      paf       259:        //env.put(*new(pool) String(pool, "SCRIPT_FILENAME"), ??&script_name);
1.23      paf       260: 
1.21      paf       261:        if(params->size()>1) {
1.39      parser    262:                Value& venv=params->as_no_junction(1, "env must not be code");
1.60      parser    263:                if(Hash *user_env=venv.get_hash(&method_name))
1.23      paf       264:                        user_env->for_each(append_env_pair, &env);
1.21      paf       265:        }
                    266: 
                    267:        Array *argv=0;
                    268:        if(params->size()>2) {
                    269:                argv=new(pool) Array(pool, params->size()-2);
                    270:                for(int i=2; i<params->size(); i++)
1.58      parser    271:                        *argv+=&params->as_string(i, "parameter must be string");
1.21      paf       272:        }
                    273: 
1.57      parser    274:        String in(pool);
                    275:        in.APPEND(r.post_data, r.post_size, String::UL_CLEAN, "passing post data", 0);
1.21      paf       276:        String out(pool);
1.31      paf       277:        //out.APPEND_CONST("content-type:text/plain\nheader:test-header\n\ntest-body");
                    278:        //out<<in;
1.27      paf       279:        String& err=*new(pool) String(pool);
1.73      paf       280:        int status=pa_exec(false/*forced_allow*/, script_name, &env, argv, in, out, err);
1.21      paf       281: 
                    282:        VFile& self=*static_cast<VFile *>(r.self);
                    283: 
1.41      parser    284:        const String *body=&out; // ^file:exec
                    285:        if(cgi) { // ^file:cgi
                    286:                // construct with 'out' body and header
                    287:                int delim_size;
                    288:                const char *eol_marker="\r\n"; size_t eol_marker_size=2;
                    289:                int pos=out.pos("\r\n\r\n", delim_size=4);
                    290:                if(pos<0) {
                    291:                        eol_marker="\n"; eol_marker_size=1;
                    292:                        pos=out.pos("\n\n", delim_size=2);
                    293:                }
                    294:                if(pos<0) {
                    295:                        delim_size=0; // calm down, compiler
1.74      paf       296:                        throw Exception(0,
1.41      parser    297:                                &method_name,
1.79      paf       298:                                "output does not contain CGI header; exit status=%d; stdoutsize=%u; stdout: \"%s\"; stderrsize=%u; stderr: \"%s\"", 
1.46      parser    299:                                        status, 
                    300:                                        (uint)out.size(), out.cstr(),
                    301:                                        (uint)err.size(), err.cstr());
1.41      parser    302:                }
1.21      paf       303: 
1.41      parser    304:                const String& header=out.mid(0, pos);
                    305:                body=&out.mid(pos+delim_size, out.size());
1.30      paf       306: 
1.41      parser    307:                // header to $fields
                    308:                {
                    309:                        Array rows(pool);
                    310:                        header.split(rows, 0, eol_marker, eol_marker_size, String::UL_CLEAN);
                    311:                        rows.for_each(pass_cgi_header_attribute, &self.fields());
                    312:                }
1.29      paf       313:        }
1.41      parser    314:        // body
1.64      paf       315:        self.set(false/*not tainted*/, body->cstr(), body->size());
1.21      paf       316: 
1.42      parser    317:        // $status
1.21      paf       318:        self.fields().put(
1.42      parser    319:                *new(pool) String(pool, "status"),
                    320:                new(pool) VInt(pool, status));
1.21      paf       321:        
                    322:        // $stderr
                    323:        if(err.size()) {
                    324:                self.fields().put(
                    325:                        *new(pool) String(pool, "stderr"),
                    326:                        new(pool) VString(err));
                    327: 
1.44      parser    328:                SAPI::log(pool, "file:%s: %s", cgi?"cgi":"exec", err.cstr());
1.21      paf       329:        }
                    330: }
1.41      parser    331: static void _exec(Request& r, const String& method_name, MethodParams *params) {
                    332:        _exec_cgi(r, method_name, params, false);
                    333: }
                    334: static void _cgi(Request& r, const String& method_name, MethodParams *params) {
                    335:        _exec_cgi(r, method_name, params, true);
                    336: }
                    337: 
1.47      parser    338: static void _list(Request& r, const String& method_name, MethodParams *params) {
                    339:        Pool& pool=r.pool();
                    340: 
                    341:        Value& relative_path=params->as_no_junction(0, "path must not be code");
                    342: 
                    343:        const String *regexp;
                    344:        pcre *regexp_code;
1.81      paf       345:        const int ovecsize=(1/*match*/)*3;
                    346:        int ovector[ovecsize];
1.47      parser    347:        if(params->size()>1) {
                    348:                regexp=&params->as_no_junction(1, "regexp must not be code").as_string();
                    349: 
1.64      paf       350:                const char *pattern=regexp->cstr();
1.47      parser    351:                const char *errptr;
                    352:                int erroffset;
                    353:                regexp_code=pcre_compile(pattern, PCRE_EXTRA | PCRE_DOTALL, 
                    354:                        &errptr, &erroffset, 
1.67      paf       355:                        pool.get_client_charset().pcre_tables);
1.47      parser    356: 
                    357:                if(!regexp_code)
1.74      paf       358:                        throw Exception(0, 
1.47      parser    359:                                &regexp->mid(erroffset, regexp->size()), 
                    360:                                "regular expression syntax error - %s", errptr);
                    361:        } else 
                    362:                regexp_code=0;
                    363: 
                    364: 
                    365:        const char* absolute_path_cstr=r.absolute(relative_path.as_string())
1.53      parser    366:                .cstr(String::UL_FILE_SPEC);
1.47      parser    367: 
                    368:        Array& columns=*new(pool) Array(pool);
                    369:        columns+=new(pool) String(pool, "name");        
                    370:        Table& table=*new(pool) Table(pool, &method_name, &columns);
                    371: 
                    372:        LOAD_DIR(absolute_path_cstr, 
                    373:                size_t file_name_size=strlen(ffblk.ff_name);
                    374:                bool suits=true;
                    375:                if(regexp_code) {
                    376:                        int exec_result=pcre_exec(regexp_code, 0, 
                    377:                                ffblk.ff_name, file_name_size, 0, 
                    378:                                0, ovector, ovecsize);
                    379:                        
                    380:                        if(exec_result==PCRE_ERROR_NOMATCH)
                    381:                                suits=false;
                    382:                        else if(exec_result<0) {
                    383:                                (*pcre_free)(regexp_code);
1.74      paf       384:                                throw Exception(0, 
1.47      parser    385:                                        regexp, 
                    386:                                        "regular expression execute (%d)", 
                    387:                                                exec_result);
                    388:                        }
                    389:                }
                    390: 
                    391:                if(suits) {
1.50      parser    392:                        char *file_name_cstr=(char *)pool.malloc(file_name_size);
1.47      parser    393:                        memcpy(file_name_cstr, ffblk.ff_name, file_name_size);
                    394:                        String &file_name=*new(pool) String(pool);
1.53      parser    395:                        file_name.APPEND(file_name_cstr, file_name_size, String::UL_FILE_SPEC, 
1.47      parser    396:                                method_name.origin().file, method_name.origin().line);
                    397:                
                    398:                        Array& row=*new(pool) Array(pool);
                    399:                        row+=&file_name;
                    400:                        table+=&row;
                    401:                }
                    402:        );
                    403: 
                    404:        if(regexp_code)
                    405:                (*pcre_free)(regexp_code);
                    406: 
1.60      parser    407:        // write out result
1.47      parser    408:        VTable& result=*new(pool) VTable(pool, &table);
                    409:        r.write_no_lang(result);
                    410: }
1.21      paf       411: 
1.69      paf       412: #ifndef DOXYGEN
                    413: struct Lock_execute_body_info {
                    414:        Request *r;
                    415:        Value *body_code;
                    416: };
                    417: #endif
                    418: static void lock_execute_body(int , void *context) {
                    419:        Lock_execute_body_info& info=*static_cast<Lock_execute_body_info *>(context);
                    420: 
                    421:        // execute body
1.78      paf       422:        info.r->write_assign_lang(info.r->process(*info.body_code));
1.69      paf       423: };
                    424: static void _lock(Request& r, const String& method_name, MethodParams *params) {
                    425:        const String& file_spec=r.absolute(params->as_string(0, "file name must be string"));
                    426:        Value& body_code=params->as_junction(1, "body must be code");
                    427: 
                    428:        Lock_execute_body_info info={&r, &body_code};
1.70      paf       429:        file_write_action_under_lock(file_spec, "lock", lock_execute_body, &info);
1.69      paf       430: }
                    431: 
1.32      paf       432: // constructor
                    433: 
1.80      paf       434: MFile::MFile(Pool& apool) : Methoded(apool, "file") {
1.48      parser    435:        // ^save[mode;file-name]
                    436:        add_native_method("save", Method::CT_DYNAMIC, _save, 2, 2);
1.7       paf       437: 
                    438:        // ^delete[file-name]
1.32      paf       439:        add_native_method("delete", Method::CT_STATIC, _delete, 1, 1);
1.45      parser    440: 
                    441:        // ^move[from-file-name;to-file-name]
                    442:        add_native_method("move", Method::CT_STATIC, _move, 2, 2);
1.8       paf       443: 
                    444:        // ^find[file-name]
                    445:        // ^find[file-name]{when-not-found}
1.32      paf       446:        add_native_method("find", Method::CT_STATIC, _find, 1, 2);
1.9       paf       447: 
1.48      parser    448:        // ^load[mode;disk-name]
                    449:        // ^load[mode;disk-name;user-name]
                    450:        add_native_method("load", Method::CT_DYNAMIC, _load, 2, 3);
1.25      paf       451: 
                    452:        // ^stat[disk-name]
1.32      paf       453:        add_native_method("stat", Method::CT_DYNAMIC, _stat, 1, 1);
1.21      paf       454: 
1.36      paf       455:        // ^cgi[file-name]
                    456:        // ^cgi[file-name;env hash]
                    457:        // ^cgi[file-name;env hash;1cmd;2line;3ar;4g;5s]
1.41      parser    458:        add_native_method("cgi", Method::CT_DYNAMIC, _cgi, 1, 2+10);
                    459: 
                    460:        // ^exec[file-name]
                    461:        // ^exec[file-name;env hash]
                    462:        // ^exec[file-name;env hash;1cmd;2line;3ar;4g;5s]
                    463:        add_native_method("exec", Method::CT_DYNAMIC, _exec, 1, 2+10);
1.47      parser    464: 
                    465:        // ^file:list[path]
                    466:        // ^file:list[path][regexp]
                    467:        add_native_method("list", Method::CT_STATIC, _list, 1, 2);
1.69      paf       468: 
                    469:        // ^file:lock[path]{code}
                    470:        add_native_method("lock", Method::CT_STATIC, _lock, 2, 2);
1.47      parser    471: 
1.32      paf       472: }
                    473: 
                    474: // global variable
                    475: 
                    476: Methoded *file_class;
                    477: 
                    478: // creator
                    479: 
                    480: Methoded *MFile_create(Pool& pool) {
                    481:        return file_class=new(pool) MFile(pool);
1.1       paf       482: }

E-mail: