Annotation of parser3/src/classes/curl.C, revision 1.7

1.1       misha       1: /** @file
                      2:        Parser: @b curl parser class.
                      3: 
                      4:        Copyright(c) 2001-2009 ArtLebedev Group(http://www.artlebedev.com)
                      5: */
                      6: 
1.3       misha       7: #include "pa_config_includes.h"
                      8: 
                      9: #ifdef HAVE_CURL
                     10: 
1.7     ! moko       11: static const char * const IDENT_INET_C="$Date: 2010-07-05 05:54:46 $";
1.1       misha      12: 
                     13: #include "pa_vmethod_frame.h"
                     14: #include "pa_request.h"
                     15: #include "pa_vfile.h"
                     16: #include "pa_charsets.h"
1.4       misha      17: #include "pa_vstring.h"
                     18: #include "pa_vtable.h"
                     19: #include "pa_common.h"
1.5       misha      20: #include "ltdl.h"
1.1       misha      21: 
                     22: class MCurl: public Methoded {
                     23: public:
                     24:        MCurl();
                     25: };
                     26: 
                     27: // global variables
                     28: 
                     29: DECLARE_CLASS_VAR(curl, new MCurl, 0);
                     30: 
                     31: // from file.C
                     32: extern bool is_text_mode(const String& mode);
                     33: 
                     34: #include "curl.h"
                     35: 
                     36: typedef CURL *(*t_curl_easy_init)(); t_curl_easy_init f_curl_easy_init;
                     37: typedef CURLcode (*t_curl_easy_setopt)(CURL *, CURLoption option, ...); t_curl_easy_setopt f_curl_easy_setopt;
                     38: typedef CURLcode (*t_curl_easy_perform)(CURL *); t_curl_easy_perform f_curl_easy_perform;
                     39: typedef void (*t_curl_easy_cleanup)(CURL *); t_curl_easy_cleanup f_curl_easy_cleanup;
                     40: typedef const char *(*t_curl_easy_strerror)(CURLcode); t_curl_easy_strerror f_curl_easy_strerror;
1.4       misha      41: typedef CURLcode (*t_curl_easy_getinfo)(CURL *curl, CURLINFO info, ...); t_curl_easy_getinfo f_curl_easy_getinfo;
1.1       misha      42: typedef struct curl_slist *(*t_curl_slist_append)(struct curl_slist *,const char *); t_curl_slist_append f_curl_slist_append;
1.4       misha      43: typedef const char *(*t_curl_version)(); t_curl_version f_curl_version;
                     44: typedef CURLFORMcode (*t_curl_formadd)(struct curl_httppost **httppost, struct curl_httppost **last_post, ...); t_curl_formadd f_curl_formadd;
                     45: typedef void (*t_curl_formfree)(struct curl_httppost *form); t_curl_formfree f_curl_formfree;
1.1       misha      46: 
                     47: #define GLINK(name) f_##name=(t_##name)lt_dlsym(handle, #name);
                     48: #define DLINK(name) GLINK(name) if(!f_##name) return "function " #name " was not found";
                     49:                
                     50: const char *dlink(const char *dlopen_file_spec) {
                     51:        if(lt_dlinit())
                     52:                return lt_dlerror();
                     53: 
                     54:        lt_dlhandle handle=lt_dlopen(dlopen_file_spec);
                     55: 
                     56:        if(!handle){
                     57:                if(const char* result=lt_dlerror())
                     58:                        return result;
                     59:                return "can not open the dynamic link module";
                     60:        }
                     61: 
                     62:        DLINK(curl_easy_init);
                     63:        DLINK(curl_easy_cleanup);
1.4       misha      64:        DLINK(curl_version);
1.1       misha      65:        DLINK(curl_easy_setopt);
                     66:        DLINK(curl_easy_perform);
                     67:        DLINK(curl_easy_strerror);
1.4       misha      68:        DLINK(curl_easy_getinfo);
1.1       misha      69:        DLINK(curl_slist_append);
1.4       misha      70:        DLINK(curl_formadd);
                     71:        DLINK(curl_formfree);
1.1       misha      72:        return 0;
                     73: }
                     74: 
                     75: 
                     76: class ParserOptions {
                     77: public:
                     78:        const char *filename;
                     79:        const String *content_type;
                     80:        bool is_text;
1.4       misha      81:        Charset *charset, *response_charset;
                     82:        struct curl_httppost *f_post;
1.1       misha      83: 
1.4       misha      84:        ParserOptions() : filename(0), content_type(0), is_text(true), charset(0), response_charset(0), f_post(0){}
                     85:        ~ParserOptions() {
                     86:                f_curl_formfree(f_post);
                     87:        }
                     88:         
1.1       misha      89: };
                     90: 
                     91: // using thread local variables instead of keeping them in request
                     92: // not necessary for cgi version
                     93: #ifdef WIN32
                     94: #define __thread __declspec(thread)
                     95: #endif
1.4       misha      96: __thread CURL *fcurl = 0;
                     97: __thread ParserOptions *foptions = 0;
1.1       misha      98: 
                     99: static CURL *curl(){
                    100:        if(!fcurl)
                    101:                throw Exception("curl", 0, "outside of 'session' operator");
                    102:        return fcurl;
                    103: }
                    104: 
                    105: static ParserOptions &options(){
                    106:        if(!foptions)
                    107:                throw Exception("curl", 0, "outside of 'session' operator");
                    108:        return *foptions;
                    109: }
                    110: 
                    111: // using temporal object scheme to garanty cleanup call
                    112: class Temp_curl {
1.4       misha     113:        CURL *saved_curl;
                    114:        ParserOptions *saved_options;
1.1       misha     115: public:
1.4       misha     116:        Temp_curl() : saved_curl(fcurl), saved_options(foptions){
1.5       misha     117:                fcurl = f_curl_easy_init();
                    118:                foptions = new ParserOptions();
1.4       misha     119:                f_curl_easy_setopt(fcurl, CURLOPT_POSTFIELDSIZE, 0); // fix libcurl bug
1.1       misha     120:        }
                    121:        ~Temp_curl() {
                    122:                f_curl_easy_cleanup(fcurl);
                    123:                fcurl = saved_curl;
                    124:                delete foptions;
                    125:                foptions = saved_options;
                    126:        }
                    127: };
                    128: 
                    129: bool curl_linked = false;
                    130: #ifdef WIN32
                    131: const char *curl_library="libcurl.dll";
                    132: #else
                    133: const char *curl_library="libcurl.so";
                    134: #endif
                    135: 
                    136: const char *curl_status = 0;
                    137: 
                    138: static void temp_curl(void (*action)(Request&, MethodParams&), Request& r, MethodParams& params){
                    139:        if(!curl_linked){
                    140:                curl_linked=true;
                    141:                curl_status=dlink(curl_library);
                    142:        }
                    143: 
                    144:        if(curl_status == 0){
                    145:                Temp_curl temp_curl;
                    146:                action(r,params);
                    147:        } else {
                    148:                throw Exception("curl", 0, "failed to load curl library %s: %s", curl_library, curl_status);
                    149:        }
                    150: }
                    151: 
                    152: static void _curl_session_action(Request& r, MethodParams& params){
                    153:        Value& body_code=params.as_junction(0, "body must be code");
                    154:        r.process_write(body_code);
                    155: }
                    156: 
                    157: static void _curl_session(Request& r, MethodParams& params){
                    158:        temp_curl(_curl_session_action, r, params);
                    159: }
                    160: 
1.5       misha     161: static void _curl_version_action(Request& r, MethodParams& ){
1.4       misha     162:        r.write_no_lang(*new VString(*new String(f_curl_version(), String::L_TAINTED)));
                    163: }
                    164: 
                    165: static void _curl_version(Request& r, MethodParams& params){
                    166:        fcurl ? _curl_version_action(r, params) : temp_curl(_curl_version_action, r, params);
                    167: }
1.1       misha     168: 
                    169: static char *str_lower(const char *str){
                    170:        char *result=pa_strdup(str);
                    171:        for(char* c=result; *c; c++)
                    172:                *c=(char)tolower((unsigned char)*c);
                    173:        return result;
                    174: }
                    175: 
                    176: static char *str_upper(const char *str){
                    177:        char *result=pa_strdup(str);
                    178:        for(char* c=result; *c; c++)
                    179:                *c=(char)toupper((unsigned char)*c);
                    180:        return result;
                    181: }
                    182: 
                    183: class CurlOption {
                    184: public:
                    185: 
                    186:        enum OptionType {
                    187:                CURL_STRING,
                    188:                CURL_URLENCODE, // url-encoded string
1.4       misha     189:                CURL_URL,
1.1       misha     190:                CURL_INT,
                    191:                CURL_POST,
1.4       misha     192:                CURL_FORM,
1.1       misha     193:                CURL_HEADERS,
                    194:                CURL_FILE,
                    195:                PARSER_LIBRARY,
                    196:                PARSER_NAME,
                    197:                PARSER_CONTENT_TYPE,
                    198:                PARSER_MODE,
1.4       misha     199:                PARSER_CHARSET,
                    200:                PARSER_RESPONSE_CHARSET
1.1       misha     201:        };
                    202: 
                    203:        CURLoption id;
                    204:        OptionType type;
                    205:        CurlOption(CURLoption aid, OptionType atype): id(aid), type(atype) {}
                    206: };
                    207: 
                    208: class CurlOptionHash: public HashString<CurlOption*> {
                    209: public:
                    210:        CurlOptionHash() {
                    211: #define        CURL_OPT(type, name) put(str_lower(#name),new CurlOption(CURLOPT_##name, CurlOption::type));
                    212: #define        PARSER_OPT(type, name) put(name,new CurlOption((CURLoption)0, CurlOption::type));
1.4       misha     213:                CURL_OPT(CURL_URL, URL);
1.1       misha     214:                CURL_OPT(CURL_STRING, INTERFACE);
                    215:                CURL_OPT(CURL_INT, LOCALPORT);
                    216:                CURL_OPT(CURL_INT, PORT);
1.4       misha     217:                
1.1       misha     218:                CURL_OPT(CURL_INT, HTTPAUTH);
                    219:                CURL_OPT(CURL_STRING, USERPWD);
                    220: 
1.2       misha     221: #ifdef CURLOPT_USERNAME
1.1       misha     222:                CURL_OPT(CURL_STRING, USERNAME);
                    223:                CURL_OPT(CURL_STRING, PASSWORD);
1.2       misha     224: #endif
1.1       misha     225: 
1.4       misha     226:                CURL_OPT(CURL_URLENCODE, USERAGENT);
                    227:                CURL_OPT(CURL_URLENCODE, REFERER);
1.1       misha     228:                CURL_OPT(CURL_INT, AUTOREFERER);
                    229:                CURL_OPT(CURL_STRING, ENCODING); // gzip or deflate
                    230:                CURL_OPT(CURL_INT, FOLLOWLOCATION);
                    231:                CURL_OPT(CURL_INT, UNRESTRICTED_AUTH);
                    232: 
                    233:                CURL_OPT(CURL_INT, POST);
                    234:                CURL_OPT(CURL_INT, HTTPGET);
1.4       misha     235:                CURL_OPT(CURL_INT, NOBODY);
                    236:                CURL_OPT(CURL_STRING, CUSTOMREQUEST);
1.1       misha     237: 
                    238:                CURL_OPT(CURL_POST, POSTFIELDS); // hopefully is safe too
                    239:                CURL_OPT(CURL_POST, COPYPOSTFIELDS);
1.4       misha     240:                CURL_OPT(CURL_FORM, HTTPPOST);
1.1       misha     241: 
                    242:                CURL_OPT(CURL_HEADERS, HTTPHEADER);
                    243:                CURL_OPT(CURL_URLENCODE, COOKIE);
                    244:                CURL_OPT(CURL_URLENCODE, COOKIELIST);
                    245:                CURL_OPT(CURL_INT, COOKIESESSION);
                    246: 
                    247:                CURL_OPT(CURL_INT, IGNORE_CONTENT_LENGTH);
                    248:                CURL_OPT(CURL_INT, HTTP_CONTENT_DECODING);
                    249:                CURL_OPT(CURL_INT, HTTP_TRANSFER_DECODING);
                    250: 
1.4       misha     251:                CURL_OPT(CURL_INT, MAXREDIRS);
                    252:                CURL_OPT(CURL_INT, POSTREDIR);
                    253: 
                    254:                CURL_OPT(CURL_STRING, RANGE);
                    255: 
1.1       misha     256:                CURL_OPT(CURL_INT, TIMEOUT);
                    257:                CURL_OPT(CURL_INT, TIMEOUT_MS);
                    258:                CURL_OPT(CURL_INT, LOW_SPEED_LIMIT);
                    259:                CURL_OPT(CURL_INT, LOW_SPEED_TIME);
                    260:                CURL_OPT(CURL_INT, MAXCONNECTS);
                    261: 
1.4       misha     262:                CURL_OPT(CURL_STRING, PROXY);
                    263:                CURL_OPT(CURL_INT, PROXYPORT);
                    264:                CURL_OPT(CURL_INT, PROXYTYPE);
                    265:                CURL_OPT(CURL_INT, HTTPPROXYTUNNEL); 
                    266:                CURL_OPT(CURL_STRING, PROXYUSERPWD);
                    267:                CURL_OPT(CURL_INT, PROXYAUTH);
                    268: 
1.1       misha     269:                CURL_OPT(CURL_INT, FRESH_CONNECT);
                    270:                CURL_OPT(CURL_INT, FORBID_REUSE);
                    271:                CURL_OPT(CURL_INT, CONNECTTIMEOUT);
                    272:                CURL_OPT(CURL_INT, CONNECTTIMEOUT_MS);
1.4       misha     273:                CURL_OPT(CURL_INT, FAILONERROR);
1.1       misha     274: 
                    275:                CURL_OPT(CURL_FILE, SSLCERT);
                    276:                CURL_OPT(CURL_STRING, SSLCERTTYPE);
                    277:                CURL_OPT(CURL_FILE, SSLKEY);
                    278:                CURL_OPT(CURL_STRING, SSLKEYTYPE);
                    279:                CURL_OPT(CURL_STRING, KEYPASSWD);
                    280:                CURL_OPT(CURL_STRING, SSLENGINE);
                    281:                CURL_OPT(CURL_STRING, SSLENGINE_DEFAULT);
                    282: 
1.2       misha     283: #ifdef CURLOPT_ISSUERCERT
1.1       misha     284:                CURL_OPT(CURL_FILE, ISSUERCERT);
1.2       misha     285: #endif
                    286: 
                    287: #ifdef CURLOPT_CRLFILE
1.1       misha     288:                CURL_OPT(CURL_FILE, CRLFILE);
1.2       misha     289: #endif
1.1       misha     290: 
                    291:                CURL_OPT(CURL_STRING, CAINFO);
                    292:                CURL_OPT(CURL_STRING, CAPATH);
                    293:                CURL_OPT(CURL_INT, SSL_VERIFYPEER);
                    294:                CURL_OPT(CURL_INT, SSL_VERIFYHOST);
                    295:                CURL_OPT(CURL_STRING, SSL_CIPHER_LIST);
                    296:                CURL_OPT(CURL_INT, SSL_SESSIONID_CACHE);
                    297: 
                    298:                PARSER_OPT(PARSER_LIBRARY, "library");
                    299:                PARSER_OPT(PARSER_NAME, "name");
                    300:                PARSER_OPT(PARSER_CONTENT_TYPE, "content-type");
                    301:                PARSER_OPT(PARSER_MODE, "mode");
                    302:                PARSER_OPT(PARSER_CHARSET, "charset");
1.4       misha     303:                PARSER_OPT(PARSER_RESPONSE_CHARSET, "response-charset");
1.1       misha     304:        }
                    305: 
                    306: } *curl_options=0;
                    307: 
                    308: static const char *curl_urlencode(const String &s, Request& r){
                    309:        if(options().charset){
                    310:                Temp_client_charset temp(r.charsets, *options().charset);
                    311:                return s.untaint_and_transcode_cstr(String::L_URI, &r.charsets);
                    312:        } else
                    313:                return s.untaint_cstr(String::L_URI);
                    314: }
                    315: 
                    316: static struct curl_slist *curl_headers(HashStringValue *value_hash, Request& r) {
                    317:        struct curl_slist *slist=NULL;
                    318: 
                    319:        for(HashStringValue::Iterator i(*value_hash); i; i.next() ){
                    320:                String header = 
                    321:                        String(capitalize(i.key().cstr()), String::L_URI)
                    322:                        << ": " 
                    323:                        << String(i.value()->as_string(), String::L_URI);
                    324: 
                    325:                slist=f_curl_slist_append(slist, curl_urlencode(header, r));
                    326:        }
                    327:        return slist;
                    328: }
                    329: 
1.4       misha     330: static const char* curl_transcode(const String &s, Request& r){
                    331:        return options().charset ? Charset::transcode(s.cstr(), r.charsets.source(), *options().charset).cstr() : s.cstr();
                    332: }
                    333: 
                    334: static void curl_form(HashStringValue *value_hash, Request& r){ 
                    335:        struct curl_httppost *f_last=0;
                    336:        for(HashStringValue::Iterator i(*value_hash); i; i.next() ){
                    337:                const char *key = curl_transcode(String(i.key().cstr()), r);
                    338:                if(const String* svalue = i.value()->get_string()){ 
                    339:                        // string
                    340:                        f_curl_formadd(&options().f_post, &f_last, 
                    341:                                CURLFORM_PTRNAME, key,
                    342:                                CURLFORM_PTRCONTENTS, curl_transcode(String(svalue->cstr()), r), 
                    343:                                CURLFORM_END);
                    344:                } else if(Table* tvalue = i.value()->get_table()){
                    345:                        // table
                    346:                        for(size_t t = 0; t < tvalue->count(); t++) {
                    347:                                f_curl_formadd(&options().f_post, &f_last, 
                    348:                                        CURLFORM_PTRNAME, key,
                    349:                                        CURLFORM_PTRCONTENTS, curl_transcode(String(tvalue->get(t)->get(0)->cstr()), r), 
                    350:                                        CURLFORM_END);
                    351:                        }
                    352:                } else if(VFile* fvalue=static_cast<VFile *>(i.value()->as("file"))){
                    353:                        // file
                    354:                        f_curl_formadd(&options().f_post, &f_last, 
                    355:                                CURLFORM_PTRNAME, key,
                    356:                                CURLFORM_BUFFER, curl_transcode(String(fvalue->fields().get("name")->as_string(), String::L_FILE_SPEC), r),
                    357:                                CURLFORM_BUFFERLENGTH, (long)fvalue->value_size(), 
                    358:                                CURLFORM_BUFFERPTR, fvalue->value_ptr(), 
                    359:                                CURLFORM_CONTENTTYPE, fvalue->fields().get("content-type")->as_string().taint_cstr(String::L_URI), 
                    360:                                CURLFORM_END);
                    361:                } else {
                    362:                        throw Exception("curl", new String(i.key(), String::L_TAINTED), "is %s, form option value can be string, table or file only", i.value()->type());                       
                    363:                }
                    364:        }
                    365: }
                    366: 
1.1       misha     367: static void curl_setopt(HashStringValue::key_type key, HashStringValue::value_type value, Request& r) {
                    368:        CurlOption *opt=curl_options->get(key);
                    369: 
                    370:        if(opt==0)
                    371:                throw Exception("curl", 0, "called with invalid option '%s'", key.cstr());
                    372: 
                    373:        CURLcode res = CURLE_OK;
                    374:        Value &v=r.process_to_value(*value);
                    375: 
                    376:        switch (opt->type){
                    377:                case CurlOption::CURL_STRING:{
                    378:                        // string curl option
                    379:                        const char *value_str=v.as_string().cstr();
                    380:                        res=f_curl_easy_setopt(curl(), opt->id, value_str);
                    381:                        break;
                    382:                }
                    383:                case CurlOption::CURL_URLENCODE:{
                    384:                        // url-encoded string curl option
                    385:                        const char *value_str=curl_urlencode(v.as_string(), r);
                    386:                        res=f_curl_easy_setopt(curl(), opt->id, value_str);
                    387:                        break;
                    388:                }
1.4       misha     389:                case CurlOption::CURL_URL:{
                    390:                        // url-encoded string curl_url option
1.5       misha     391:                        const String url = v.as_string();
                    392:                        if(!url.starts_with("http://") && !url.starts_with("https://"))
                    393:                                throw Exception("curl", 0, "failed to set option '%s': invalid url scheme '%s'", key.cstr(), url.cstr());
1.4       misha     394:                        const char *value_str=curl_urlencode(url, r);
                    395:                        res=f_curl_easy_setopt(curl(), opt->id, value_str);
                    396:                        break;
                    397:                }
1.1       misha     398:                case CurlOption::CURL_INT:{
1.2       misha     399:                        // integer curl option
                    400:                        long value_int=(long)v.as_double();
1.1       misha     401:                        res=f_curl_easy_setopt(curl(), opt->id, value_int);
                    402:                        break;
                    403:                }
                    404:                case CurlOption::CURL_POST:{
                    405:                        // http post curl option
                    406:                        if(v.get_string()){
1.2       misha     407:                                if( (res=f_curl_easy_setopt(curl(), CURLOPT_POSTFIELDSIZE, -1L)) == CURLE_OK )
1.1       misha     408:                                        res=f_curl_easy_setopt(curl(), opt->id, curl_urlencode(v.as_string(), r));
                    409:                        } else {
                    410:                                VFile *file=v.as_vfile(String::L_AS_IS);
1.2       misha     411:                                if( (res=f_curl_easy_setopt(curl(), CURLOPT_POSTFIELDSIZE, (long)file->value_size())) == CURLE_OK )
1.1       misha     412:                                        res=f_curl_easy_setopt(curl(), opt->id, file->value_ptr());
                    413:                        }
                    414:                        break;
                    415:                }
1.4       misha     416:                case CurlOption::CURL_FORM:{
                    417:                        HashStringValue *value_hash = v.get_hash();
                    418:                        if(value_hash){
                    419:                                curl_form(value_hash, r);
1.5       misha     420:                        } else if(v.get_string()->is_empty()){
1.4       misha     421:                                f_curl_formfree(options().f_post);
                    422:                                options().f_post = 0;
                    423:                        } else {
                    424:                                throw Exception("curl", 0, "%s must be a hash", key.cstr());
1.5       misha     425:                        }
1.4       misha     426:                        res=f_curl_easy_setopt(curl(), CURLOPT_HTTPPOST, foptions->f_post);
                    427:                        break;
                    428:                }
1.1       misha     429:                case CurlOption::CURL_HEADERS:{
                    430:                        // http headers curl option
                    431:                        HashStringValue *value_hash=v.get_hash();
                    432:                        res=f_curl_easy_setopt(curl(), opt->id, value_hash ? curl_headers(value_hash, r) : 0);
                    433:                        break;
                    434:                }
                    435:                case CurlOption::CURL_FILE:{
                    436:                        // file-spec curl option
                    437:                        const char *value_str=r.absolute(v.as_string()).taint_cstr(String::L_FILE_SPEC);
                    438:                        res=f_curl_easy_setopt(curl(), opt->id, value_str);
                    439:                        break;
                    440:                }
                    441:                case CurlOption::PARSER_LIBRARY:{
                    442:                        // 'library' parser option
                    443:                        if(fcurl==0){
                    444:                                curl_library=v.as_string().taint_cstr(String::L_FILE_SPEC);
                    445:                        } else 
                    446:                                throw Exception("curl", 0, "failed to set option '%s': %s", key.cstr(), "already loaded");
                    447:                        break;
                    448:                }
                    449:                case CurlOption::PARSER_NAME:{
                    450:                        // 'name' parser option
                    451:                        options().filename=v.as_string().taint_cstr(String::L_FILE_SPEC);
                    452:                        break;
                    453:                }
                    454:                case CurlOption::PARSER_CONTENT_TYPE:{
                    455:                        // 'content-type' parser option
                    456:                        options().content_type=&v.as_string();
                    457:                        break;
                    458:                }
                    459:                case CurlOption::PARSER_MODE:{
                    460:                        // 'mode' parser option
                    461:                        options().is_text=is_text_mode(v.as_string());
                    462:                        break;
                    463:                }
                    464:                case CurlOption::PARSER_CHARSET:{
                    465:                        // 'charset' parser option
                    466:                        options().charset=&::charsets.get(v.as_string().change_case(r.charsets.source(), String::CC_UPPER));
                    467:                        break;
                    468:                }
1.4       misha     469:                case CurlOption::PARSER_RESPONSE_CHARSET:{
                    470:                        // 'charset' parser option
                    471:                        options().response_charset=&::charsets.get(v.as_string().change_case(r.charsets.source(), String::CC_UPPER));
                    472:                        break;
                    473:                }
1.1       misha     474:        }
                    475: 
                    476:        if(res != CURLE_OK)
                    477:                throw Exception("curl", 0, "failed to set option '%s': %s", key.cstr(), f_curl_easy_strerror(res));
                    478: }
                    479: 
1.3       misha     480: static void _curl_options(Request& r, MethodParams& params){
1.1       misha     481:        if(curl_options==0)
                    482:                curl_options=new CurlOptionHash();
                    483: 
                    484:        if(HashStringValue* options=params.as_no_junction(0, OPTIONS_MUST_NOT_BE_CODE).get_hash()){
                    485:                options->for_each<Request&>(curl_setopt, r);
                    486:        } else
1.6       misha     487:                throw Exception("curl", 0, OPTIONS_MUST_BE_HASH);
1.1       misha     488: }
                    489: 
                    490: 
                    491: class Curl_buffer{
                    492: public:
                    493:        char *buf;
                    494:        size_t length;
                    495:        size_t buf_size;
                    496: 
                    497:        Curl_buffer() : buf((char *)pa_malloc(MAX_STRING+1)), length(0), buf_size(MAX_STRING){}
                    498: };
                    499: 
                    500: static int curl_writer(char *data, size_t size, size_t nmemb, Curl_buffer *result){
                    501:        if(result == 0)
                    502:                return 0;
                    503: 
                    504:        size=size*nmemb;
                    505:        if(size>0){
                    506:                if(result->length + size >= result->buf_size){
                    507:                        result->buf_size = result->buf_size*2 + size;
                    508:                        result->buf = (char *)pa_realloc(result->buf, result->buf_size+1);
                    509:                }
                    510:                memcpy(result->buf+result->length, data, size);
                    511:                result->length += size;
                    512:        }
                    513:        return size;
                    514: }
                    515: 
                    516: static int curl_header(char *data, size_t size, size_t nmemb, HASH_STRING<char *> *result){
                    517:        if(result == 0)
                    518:                return 0;
                    519: 
                    520:        size=size*nmemb;
                    521:        if(size>0){
                    522:                char *line=pa_strdup(data, size);
                    523:                char *value=lsplit(line,':');
                    524:                if(value && *line){
                    525:                        // we need only headers, not the response code
                    526:                        result->put(str_upper(line), value);
                    527:                }
                    528:        }
                    529:        return size;
                    530: }
                    531: 
                    532: #define CURL_SETOPT(option, arg, message) \
                    533:        if( (res=f_curl_easy_setopt(curl(), option, arg)) != CURLE_OK){ \
                    534:                throw Exception("curl", 0, "failed to set " message ": %s", f_curl_easy_strerror(res)); \
                    535:        }
                    536: 
                    537: static void _curl_load_action(Request& r, MethodParams& params){
                    538:        if(params.count()==1)
1.3       misha     539:                _curl_options(r, params);
1.1       misha     540: 
                    541:        CURLcode res;
                    542: 
                    543:        Curl_buffer body;
                    544:        CURL_SETOPT(CURLOPT_WRITEFUNCTION, curl_writer, "curl writer function");
                    545:        CURL_SETOPT(CURLOPT_WRITEDATA, &body, "curl write buffer");
                    546: 
                    547:        // we need a container for headers as VFile fields can be put only after VFile.set
                    548:        HASH_STRING<char *> headers; 
                    549:        CURL_SETOPT(CURLOPT_HEADERFUNCTION, curl_header, "curl header function");
                    550:        CURL_SETOPT(CURLOPT_WRITEHEADER, &headers, "curl header buffer");
                    551: 
                    552:        if((res=f_curl_easy_perform(curl())) != CURLE_OK){
1.4       misha     553:                char *ex_type = 0; 
                    554:                switch(res){
                    555:                        case CURLE_OPERATION_TIMEDOUT:
                    556:                                ex_type = "curl.timeout"; break;
                    557:                        case CURLE_COULDNT_RESOLVE_HOST:
                    558:                                ex_type = "curl.host"; break;
                    559:                        case CURLE_COULDNT_CONNECT:
                    560:                                ex_type = "curl.connect"; break;
                    561:                        case CURLE_HTTP_RETURNED_ERROR:
                    562:                                ex_type = "curl.status"; break;
                    563:                        case CURLE_SSL_CONNECT_ERROR:
                    564:                        case CURLE_SSL_CERTPROBLEM:
                    565:                        case CURLE_SSL_CIPHER:
                    566:                        case CURLE_SSL_CACERT:
                    567:                        case CURLE_SSL_ENGINE_INITFAILED:
                    568:                                ex_type = "curl.ssl"; break;
                    569:                }
                    570:                throw Exception( ex_type ? ex_type : "curl.fail", 0, "%s", f_curl_easy_strerror(res));
1.1       misha     571:        }
                    572: 
                    573:        // assure trailing zero
                    574:        body.buf[body.length]=0;
                    575: 
1.4       misha     576:        Value* vcontent_type=
                    577:                options().content_type ? new VString(*options().content_type) :
                    578:                options().filename ? new VString(r.mime_type_of(options().filename)) : 0;
                    579: 
                    580:        VFile& result=*new VFile;
                    581: 
                    582:        String::Body ct_header = headers.get(HTTP_CONTENT_TYPE_UPPER);
1.5       misha     583:        Charset *remote_charset = ct_header.is_empty() ? 0 : detect_charset(ct_header.trim(String::TRIM_BOTH, " \t\n\r").cstr());
                    584:        Charset *asked_charset = options().response_charset ? options().response_charset : (remote_charset ? remote_charset : options().charset);
1.1       misha     585: 
                    586:        if(options().is_text && asked_charset != 0){
                    587:                String::C c=Charset::transcode(String::C(body.buf, body.length), *asked_charset, r.charsets.source());
                    588:                body.buf=(char *)c.str;
                    589:                body.length=c.length;
                    590:        }
                    591: 
                    592:        result.set(true /*tainted*/, body.buf, body.length, options().filename, vcontent_type);
                    593:        result.set_mode(options().is_text);
                    594: 
1.4       misha     595:        long http_status = 0;
                    596:        if(f_curl_easy_getinfo(curl(), CURLINFO_RESPONSE_CODE, &http_status) == CURLE_OK){
                    597:                result.fields().put("status", new VInt(http_status));
                    598:        }
                    599: 
1.1       misha     600:        for(HASH_STRING<char *>::Iterator i(headers); i; i.next() ){
                    601:                String::Body key=i.key();       
                    602:                String::Body value=i.value();
                    603:                if(asked_charset){
                    604:                        key=Charset::transcode(key, *asked_charset, r.charsets.source());
                    605:                        value=Charset::transcode(value, *asked_charset, r.charsets.source());
                    606:                }
                    607:                result.fields().put(key, new VString(*new String(value.trim(String::TRIM_BOTH, " \t\n\r"), String::L_TAINTED)));
                    608:        }
                    609: 
                    610:        r.write_no_lang(result);
                    611: }
                    612: 
                    613: static void _curl_load(Request& r, MethodParams& params){
                    614:        fcurl ? _curl_load_action(r, params) : temp_curl(_curl_load_action, r, params);
                    615: }
                    616: 
                    617: // constructor
                    618: MCurl::MCurl(): Methoded("curl") {
                    619:        add_native_method("session", Method::CT_STATIC, _curl_session, 1, 1);
1.4       misha     620:        add_native_method("version", Method::CT_STATIC, _curl_version, 0, 0);
1.3       misha     621:        add_native_method("options", Method::CT_STATIC, _curl_options, 1, 1);
1.1       misha     622:        add_native_method("load", Method::CT_STATIC, _curl_load, 0, 1);
1.3       misha     623: }
                    624: 
                    625: #else // HAVE_CURL
                    626: 
                    627: #include "classes.h"
                    628: // global variable
                    629: DECLARE_CLASS_VAR(curl, 0, 0); // fictive
                    630: 
1.1       misha     631: #endif // HAVE_CURL

E-mail: