[BACK]Return to table.C CVS log [TXT] [DIR] Up to [parser3project] / parser3 / src / classes

Diff for /parser3/src/classes/table.C between versions 1.45 and 1.62

version 1.45, 2001/04/03 05:28:01 version 1.62, 2001/04/15 13:32:39
Line 1 Line 1
 /** @file  /** @file
         Parser: table parser class.          Parser: @b table parser class.
   
         Copyright (c) 2001 ArtLebedev Group (http://www.artlebedev.com)          Copyright (c) 2001 ArtLebedev Group (http://www.artlebedev.com)
   
Line 9 Line 9
 */  */
   
 #include "pa_config_includes.h"  #include "pa_config_includes.h"
   
   #include "pcre.h"
   
 #include "pa_common.h"  #include "pa_common.h"
 #include "pa_request.h"  #include "pa_request.h"
 #include "_table.h"  #include "_table.h"
 #include "pa_vtable.h"  #include "pa_vtable.h"
 #include "pa_vint.h"  #include "pa_vint.h"
   #include "pa_sql_connection.h"
   #include "pa_dir.h"
   
 // global var  // global var
   
 VStateless_class *table_class;  VStateless_class *table_class;
   
 // methods  // methods
 static void _set(Request& r, const String& method_name, Array *params) {  static void _set(Request& r, const String& method_name, MethodParams *params) {
         Pool& pool=r.pool();          Pool& pool=r.pool();
         // data is last parameter          // data is last parameter
         Value *vdata=static_cast<Value *>(params->get(params->size()-1));          Value& vdata=params->get_junction(params->size()-1, "body must be code");
         // forcing {this body type}  
         r.fail_if_junction_(false, *vdata, method_name, "body must be junction");  
   
         Temp_lang temp_lang(r, String::UL_PASS_APPENDED);          Temp_lang temp_lang(r, String::UL_PASS_APPENDED);
         const String& data=r.process(*vdata).as_string();          const String& data=r.process(vdata).as_string();
   
         size_t pos_after=0;          size_t pos_after=0;
         // parse columns          // parse columns
Line 64  static void _set(Request& r, const Strin Line 67  static void _set(Request& r, const Strin
         static_cast<VTable *>(r.self)->set_table(table);          static_cast<VTable *>(r.self)->set_table(table);
 }  }
   
 static void _load(Request& r, const String& method_name, Array *params) {  static void _load(Request& r, const String& method_name, MethodParams *params) {
         Pool& pool=r.pool();          Pool& pool=r.pool();
         // filename is last parameter          // filename is last parameter
         Value *vfilename=static_cast<Value *>(params->get(params->size()-1));          Value& vfilename=params->get_no_junction(params->size()-1, 
         // forcing [this file name type]                  "file name must not be code");
         r.fail_if_junction_(true, *vfilename,   
                 method_name, "file name must not be junction");  
   
         // forcing untaint language  
         String lfilename(pool);  
         lfilename.append(vfilename->as_string(), String::UL_FILE_NAME, true);  
         // loading text          // loading text
         char *data=file_read_text(pool, r.absolute(lfilename));          char *data=file_read_text(pool, r.absolute(vfilename.as_string()));
   
         // parse columns          // parse columns
         Array *columns;          Array *columns;
Line 118  static void _load(Request& r, const Stri Line 116  static void _load(Request& r, const Stri
         static_cast<VTable *>(r.self)->set_table(table);          static_cast<VTable *>(r.self)->set_table(table);
 }  }
   
 static void _save(Request& r, const String& method_name, Array *params) {  static void _save(Request& r, const String& method_name, MethodParams *params) {
         Pool& pool=r.pool();          Pool& pool=r.pool();
         Value *vtable_name=static_cast<Value *>(params->get(params->size()-1));          Value& vtable_name=params->get_no_junction(params->size()-1, 
         // forcing this body type]                  "file name must not be code");
         r.fail_if_junction_(true, *vtable_name,   
                 method_name, "file name must not be junction");  
   
         // forcing untaint language  
         String ltable_name(pool);  
         ltable_name.append(vtable_name->as_string(),  
                 String::UL_FILE_NAME, true);  
   
         Table& table=static_cast<VTable *>(r.self)->table();          Table& table=static_cast<VTable *>(r.self)->table();
   
Line 168  static void _save(Request& r, const Stri Line 159  static void _save(Request& r, const Stri
         }          }
   
         // write          // write
         file_write(pool, r.absolute(ltable_name), sdata.cstr(), sdata.size(), true);          file_write(pool, r.absolute(vtable_name.as_string()), 
                   sdata.cstr(), sdata.size(), true);
 }  }
   
 static void _count(Request& r, const String&method_name, Array *) {  static void _count(Request& r, const String&, MethodParams *) {
         Pool& pool=r.pool();          Pool& pool=r.pool();
         Value& value=*new(pool) VInt(pool, static_cast<VTable *>(r.self)->table().size());          Value& value=*new(pool) VInt(pool, static_cast<VTable *>(r.self)->table().size());
         r.write_no_lang(value);          r.write_no_lang(value);
 }  }
   
 static void _line(Request& r, const String& method_name, Array *) {  static void _line(Request& r, const String& method_name, MethodParams *) {
         Pool& pool=r.pool();          Pool& pool=r.pool();
         Value& value=*new(pool) VInt(pool, 1+static_cast<VTable *>(r.self)->table().current());          Value& value=*new(pool) VInt(pool, 1+static_cast<VTable *>(r.self)->table().current());
         r.write_no_lang(value);          r.write_no_lang(value);
 }  }
   
 static void _offset(Request& r, const String& method_name, Array *params) {  static void _offset(Request& r, const String& method_name, MethodParams *params) {
         Pool& pool=r.pool();          Pool& pool=r.pool();
         Table& table=static_cast<VTable *>(r.self)->table();          Table& table=static_cast<VTable *>(r.self)->table();
         if(params->size())          if(params->size())
                 table.shift((int)r.process(*static_cast<Value *>(params->get(0))).as_double());                  table.shift((int)r.process(params->get(0)).as_double());
         else {          else {
                 Value& value=*new(pool) VInt(pool, table.current());                  Value& value=*new(pool) VInt(pool, table.current());
                 r.write_no_lang(value);                  r.write_no_lang(value);
         }          }
 }  }
   
 static void _menu(Request& r, const String& method_name, Array *params) {  /// @test $a.menu{ $a[123] }
         Value& body_code=*static_cast<Value *>(params->get(0));  static void _menu(Request& r, const String& method_name, MethodParams *params) {
         // forcing ^menu{this param type}          Value& body_code=params->get_junction(0, "body must be code");
         r.fail_if_junction_(false, body_code,   
                 method_name, "body must be junction");  
                   
         Value *delim_code=params->size()==2?static_cast<Value *>(params->get(1)):0;          Value *delim_code=params->size()==2?&params->get(1):0;
   
         Table& table=static_cast<VTable *>(r.self)->table();          Table& table=static_cast<VTable *>(r.self)->table();
         bool need_delim=false;          bool need_delim=false;
Line 220  static void _menu(Request& r, const Stri Line 210  static void _menu(Request& r, const Stri
         table.set_current(saved_current);          table.set_current(saved_current);
 }  }
   
 static void _empty(Request& r, const String& method_name, Array *params) {  static void _empty(Request& r, const String& method_name, MethodParams *params) {
         Table& table=static_cast<VTable *>(r.self)->table();          Table& table=static_cast<VTable *>(r.self)->table();
         if(table.size()==0) {          if(table.size()==0)
                 Value& value=r.process(*static_cast<Value *>(params->get(0)));                  r.write_pass_lang(r.process(params->get(0)));
                 r.write_pass_lang(value);          else if(params->size()>1)
         } else if(params->size()==2) {                  r.write_pass_lang(r.process(params->get(1)));
                 Value& value=r.process(*static_cast<Value *>(params->get(1)));  
                 r.write_pass_lang(value);  
         }  
 }  }
   
 struct Record_info {  struct Record_info {
Line 247  static void store_column_item_to_hash(Ar Line 234  static void store_column_item_to_hash(Ar
                 value=new(*ri.pool) VUnknown(*ri.pool);                  value=new(*ri.pool) VUnknown(*ri.pool);
         ri.hash->put(column_name, value);          ri.hash->put(column_name, value);
 }  }
 static void _record(Request& r, const String& method_name, Array *params) {  static void _record(Request& r, const String& method_name, MethodParams *params) {
         Table& table=static_cast<VTable *>(r.self)->table();          Table& table=static_cast<VTable *>(r.self)->table();
         if(const Array *columns=table.columns()) {          if(const Array *columns=table.columns()) {
                 Pool& pool=r.pool();                  Pool& pool=r.pool();
Line 282  static int sort_cmp_double(const void *a Line 269  static int sort_cmp_double(const void *a
         else           else 
                 return 0;                  return 0;
 }  }
 static void _sort(Request& r, const String& method_name, Array *params) {  static void _sort(Request& r, const String& method_name, MethodParams *params) {
         Value& key_maker=*(Value *)params->get(0);          Value& key_maker=params->get_junction(0, "key-maker must be code");
         // forcing ^sort{this} ^sort(or this) param type  
         r.fail_if_junction_(false, key_maker, method_name, "key-maker must be junction");          bool reverse=params->size()==2/*..[asc|desc]*/?
                   reverse=params->get_no_junction(1, "order must not be code").as_string()=="desc":
         bool reverse;                  false;
         if(params->size()==2) { // ..[asc|desc]  
                 Value& order=*(Value *)params->get(1);  
                 // forcing ..[this param-type]  
                 r.fail_if_junction_(true, order, method_name, "order must not be junction");  
                 reverse=order.as_string()=="desc";  
         } else  
                 reverse=false;  
   
         Table& table=static_cast<VTable *>(r.self)->table();          Table& table=static_cast<VTable *>(r.self)->table();
   
Line 310  static void _sort(Request& r, const Stri Line 290  static void _sort(Request& r, const Stri
         for(i=0; i<table.size(); i++) {          for(i=0; i<table.size(); i++) {
                 table.set_current(i);                  table.set_current(i);
                 // calculate key value                  // calculate key value
                 seq[i].row=(Array *)table.get(i);                  seq[i].row=(MethodParams *)table.get(i);
                 Value& value=*r.process(key_maker).as_expr_result(true/*return string as-is*/);                  Value& value=*r.process(key_maker).as_expr_result(true/*return string as-is*/);
                 if(i==0) // determining key values type by first one                  if(i==0) // determining key values type by first one
                         key_values_are_strings=value.is_string();                          key_values_are_strings=value.is_string();
Line 332  static void _sort(Request& r, const Stri Line 312  static void _sort(Request& r, const Stri
         table.set_current(0);          table.set_current(0);
 }  }
   
 static void _locate(Request& r, const String& method_name, Array *params) {  static void _locate(Request& r, const String& method_name, MethodParams *params) {
         VTable& vtable=*static_cast<VTable *>(r.self);          VTable& vtable=*static_cast<VTable *>(r.self);
         Table& table=vtable.table();          Table& table=vtable.table();
         vtable.last_locate_was_successful=table.locate(          vtable.last_locate_was_successful=table.locate(
                 static_cast<Value *>(params->get(0))->as_string(),                  params->get(0).as_string(),
                 static_cast<Value *>(params->get(1))->as_string());                  params->get(1).as_string());
 }  }
   
 static void _found(Request& r, const String& method_name, Array *params) {  static void _found(Request& r, const String& method_name, MethodParams *params) {
         if(static_cast<VTable *>(r.self)->last_locate_was_successful) {          if(static_cast<VTable *>(r.self)->last_locate_was_successful)
                 Value& then_code=*static_cast<Value *>(params->get(0));                  r.write_pass_lang(r.process(params->get_junction(0, "found-parameter must be code")));
                 // forcing ^found{this param type}          else if(params->size()==2)
                 r.fail_if_junction_(false, then_code,                   r.write_pass_lang(r.process(params->get_junction(0, "else-parameter must be code")));
                         method_name, "found-parameter must be junction");  
                 r.write_pass_lang(r.process(then_code));  
         } else if(params->size()==2) {  
                 Value& else_code=*static_cast<Value *>(params->get(1));  
                 // forcing ^found{this param type}  
                 r.fail_if_junction_(false, else_code,   
                         method_name, "not found-parameter must be junction");  
                 r.write_pass_lang(r.process(else_code));  
         }  
 }  }
   
 static void _flip(Request& r, const String& method_name, Array *params) {  static void _flip(Request& r, const String& method_name, MethodParams *params) {
         Pool& pool=r.pool();          Pool& pool=r.pool();
         VTable& vtable=*static_cast<VTable *>(r.self);          VTable& vtable=*static_cast<VTable *>(r.self);
   
Line 376  static void _flip(Request& r, const Stri Line 347  static void _flip(Request& r, const Stri
         vtable.set_table(new_table);          vtable.set_table(new_table);
 }  }
   
 /// @test use String::split  static void _append(Request& r, const String& method_name, MethodParams *params) {
 static void _append(Request& r, const String& method_name, Array *params) {  
         Pool& pool=r.pool();          Pool& pool=r.pool();
         // data is last parameter          // data is last parameter
         Value *value=static_cast<Value *>(params->get(0));          const String& string=
         // forcing [this body type]                  r.process(params->get_junction(0, "body must be code")).as_string();
         r.fail_if_junction_(true, *value, method_name, "body must not be junction");  
   
         const String& string=static_cast<VString *>(value)->as_string();  
   
         // parse cells          // parse cells
         Array& row=*new(pool) Array(pool);          Array& row=*new(pool) Array(pool);
         size_t pos_after=0;          string.split(row, 0, "\t", 1, String::UL_CLEAN);
         int pos_before;  
         while((pos_before=string.pos("\t", 1, pos_after, String::UL_CLEAN))>=0) {  
                 row+=&string.piece(pos_after, pos_before);  
                 pos_after=pos_before+1/*\t*/;  
         }  
         // last piece  
         if(pos_after<string.size())   
                 row+=&string.piece(pos_after, string.size());  
   
         static_cast<VTable *>(r.self)->table()+=&row;          static_cast<VTable *>(r.self)->table()+=&row;
 }  }
   
 static void _join(Request& r, const String& method_name, Array *params) {  static void _join(Request& r, const String& method_name, MethodParams *params) {
         Pool& pool=r.pool();          Pool& pool=r.pool();
   
         Value *value=static_cast<Value *>(params->get(0));          Table *maybe_src=params->get_no_junction(0, "table ref must not be code").get_table();
         // forcing [this table ref type]  
         r.fail_if_junction_(true, *value, method_name, "table ref must not be junction");  
   
         Table *maybe_src=value->get_table();  
         if(!maybe_src)          if(!maybe_src)
                 RTHROW(0, 0,                  PTHROW(0, 0,
                         &method_name,                          &method_name,
                         "source is not a table");                          "source is not a table");
   
         Table& src=*maybe_src;          Table& src=*maybe_src;
         Table& dest=static_cast<VTable *>(r.self)->table();          Table& dest=static_cast<VTable *>(r.self)->table();
         if(&src == &dest)          if(&src == &dest)
                 RTHROW(0, 0,                  PTHROW(0, 0,
                         &method_name,                          &method_name,
                         "source and destination are same table");                          "source and destination are same table");
   
Line 437  static void _join(Request& r, const Stri Line 392  static void _join(Request& r, const Stri
         }          }
 }  }
   
 // initialize  /// ^table:sql{query}[(count[;offset])]
   static void _sql(Request& r, const String& method_name, MethodParams *params) {
           Pool& pool=r.pool();
   
           if(!r.connection)
                   PTHROW(0, 0,
                           &method_name,
                           "without connect");
   
           Value& statement=params->get_junction(0, "statement must be code");
   
           ulong limit=0;
           if(params->size()>1) {
                   Value& limit_code=params->get_junction(1, "limit must be expression");
                   limit=(uint)r.process(limit_code).as_double();
           }
   
           ulong offset=0;
           if(params->size()>2) {
                   Value& offset_code=params->get_junction(2, "offset must be expression");
                   offset=(ulong)r.process(offset_code).as_double();
           }
   
           Temp_lang temp_lang(r, String::UL_SQL);
           const String& statement_string=r.process(statement).as_string();
           const char *statement_cstr=
                   statement_string.cstr(String::UL_UNSPECIFIED, r.connection);
           unsigned int sql_column_count; SQL_Driver::Cell *sql_columns;
           unsigned long sql_row_count; SQL_Driver::Cell **sql_rows;
           bool need_rethrow=false; Exception rethrow_me;
           PTRY {
                   r.connection->query(
                           statement_cstr, offset, limit,
                           &sql_column_count, &sql_columns,
                           &sql_row_count, &sql_rows);
           }
           PCATCH(e) { // connect/process problem
                   rethrow_me=e;  need_rethrow=true;
           }
           PEND_CATCH
           if(need_rethrow)
                   PTHROW(rethrow_me.type(), rethrow_me.code(),
                           &statement_string, // setting more specific source [were url]
                           rethrow_me.comment());
           
           Array& table_columns=*new(pool) Array(pool);
           for(unsigned int i=0; i<sql_column_count; i++) {
                   String& table_column=*new(pool) String(pool);
                   table_column.APPEND_TAINTED(
                           (const char *)sql_columns[i].ptr, sql_columns[i].size,
                           statement_cstr, 0);
                   table_columns+=&table_column;
           }
   
           Table& table=*new(pool) Table(pool, &method_name, &table_columns);
   
           {
                   for(unsigned long r=0; r<sql_row_count; r++) {
                           SQL_Driver::Cell *sql_cells=sql_rows[r];
                           Array& table_row=*new(pool) Array(pool);
                           
                           for(unsigned int i=0; i<sql_column_count; i++) {
                                   String& table_cell=*new(pool) String(pool);
                                   table_cell.APPEND_TAINTED(
                                           (const char *)sql_cells[i].ptr, sql_cells[i].size,
                                           statement_cstr, r);
                                   table_row+=&table_cell;
                           }
                           table+=&table_row;
                   }
           }
   
           // replace any previous table value
           static_cast<VTable *>(r.self)->set_table(table);
   }
   
   /// ^table:dir[path]
   /// ^table:dir[path][regexp]
   static void _dir(Request& r, const String& method_name, MethodParams *params) {
           Pool& pool=r.pool();
   
           Value& relative_path=params->get_no_junction(0, "path must not be code");
   
           const String *regexp;
           pcre *regexp_code;
           int ovecsize;
           int *ovector;
           if(params->size()>1) {
                   regexp=&params->get_no_junction(1, "regexp must not be code").as_string();
   
                   const char *pattern=regexp->cstr(String::UL_AS_IS);
                   const char *errptr;
                   int erroffset;
                   regexp_code=pcre_compile(pattern, PCRE_EXTRA | PCRE_DOTALL, 
                           &errptr, &erroffset,
                           pcre_tables);
   
                   if(!regexp_code)
                           PTHROW(0, 0,
                                   &regexp->mid(erroffset, regexp->size()),
                                   "regular expression syntax error - %s", errptr);
   
                   ovector=(int *)malloc(sizeof(int)*(ovecsize=(1/*match*/)*3));
           } else 
                   regexp_code=0;
   
   
           const char* absolute_path_cstr=r.absolute(relative_path.as_string())
                   .cstr(String::UL_FILE_NAME);
   
           Array& columns=*new(pool) Array(pool);
           columns+=new(pool) String(pool, "name");        
           Table& table=*new(pool) Table(pool, &method_name, &columns);
   
           LOAD_DIR(absolute_path_cstr, 
                   size_t file_name_size=strlen(ffblk.ff_name);
                   bool suits=true;
                   if(regexp_code) {
                           int exec_result=pcre_exec(regexp_code, 0,
                                   ffblk.ff_name, file_name_size, 0,
                                   0, ovector, ovecsize);
                           
                           if(exec_result==PCRE_ERROR_NOMATCH)
                                   suits=false;
                           else if(exec_result<0) {
                                   (*pcre_free)(regexp_code);
                                   PTHROW(0, 0,
                                           regexp,
                                           "regular expression execute (%d)", 
                                                   exec_result);
                           }
                   }
   
                   if(suits) {
                           char *file_name_cstr=(char *)r.malloc(file_name_size);
                           memcpy(file_name_cstr, ffblk.ff_name, file_name_size);
                           String &file_name=*new(pool) String(pool);
                           file_name.APPEND_TAINTED(file_name_cstr, file_name_size, 
                                   method_name.origin().file, method_name.origin().line);
                   
                           Array& row=*new(pool) Array(pool);
                           row+=&file_name;
                           table+=&row;
                   }
           );
   
           if(regexp_code)
                   (*pcre_free)(regexp_code);
   
           // replace any previous table value
           static_cast<VTable *>(r.self)->set_table(table);
   }
   
   // initialize
 void initialize_table_class(Pool& pool, VStateless_class& vclass) {  void initialize_table_class(Pool& pool, VStateless_class& vclass) {
         // ^table.set{data}          // ^table:set{data}
         // ^table.set[nameless]{data}          // ^table:set[nameless]{data}
         vclass.add_native_method("set", Method::CT_DYNAMIC, _set, 1, 2);          vclass.add_native_method("set", Method::CT_DYNAMIC, _set, 1, 2);
   
         // ^table.load[file]            // ^table:load[file]  
         // ^table.load[nameless;file]          // ^table:load[nameless;file]
         vclass.add_native_method("load", Method::CT_DYNAMIC, _load, 1, 2);          vclass.add_native_method("load", Method::CT_DYNAMIC, _load, 1, 2);
   
         // ^table.save[file]            // ^table.save[file]  
Line 491  void initialize_table_class(Pool& pool, Line 598  void initialize_table_class(Pool& pool,
   
         // ^table.join[table]          // ^table.join[table]
         vclass.add_native_method("join", Method::CT_DYNAMIC, _join, 1, 1);          vclass.add_native_method("join", Method::CT_DYNAMIC, _join, 1, 1);
   
   
           // ^table:sql[query][(count[;offset])]
           vclass.add_native_method("sql", Method::CT_DYNAMIC, _sql, 1, 3);
   
           // ^table:dir[path]
           // ^table:dir[path][regexp]
           vclass.add_native_method("dir", Method::CT_DYNAMIC, _dir, 1, 2);
 }  }
Removed from v.1.45  
changed lines
  Added in v.1.62

E-mail: