bug_14028: force flag of genlib did not rebuild bin file.
[scilab.git] / scilab / modules / io / sci_gateway / cpp / sci_genlib.cpp
1 /*
2 * Scilab ( http://www.scilab.org/ ) - This file is part of Scilab
3 * Copyright (C) 2006 - INRIA - Allan CORNET
4 *
5 7* This file must be used under the terms of the CeCILL.
6 * This source file is licensed as described in the file COPYING, which
7 * you should have received as part of this distribution.  The terms
8 * are also available at
9 * http://www.cecill.info/licences/Licence_CeCILL_V2-en.txt
10 *
11 */
12
13 #ifdef _MSC_VER
14 #pragma warning(disable : 4996) //It's not beautifull but that works !
15 #endif
16
17 #define DEFAULT_ENCODING "UTF-8"
18
19 #ifdef _MSC_VER
20 #define FILE_SEPARATOR L"\\"
21 #else
22 #define FILE_SEPARATOR L"/"
23 #endif
24
25 //XML API
26 #include <libxml/xpath.h>
27 #include <libxml/xmlwriter.h>
28
29 #include <cstring>
30 #include "string.hxx"
31 #include "parser.hxx"
32 #include "context.hxx"
33 #include "io_gw.hxx"
34 #include "scilabWrite.hxx"
35 #include "expandPathVariable.h"
36 #include "configvariable.hxx"
37 #include "library.hxx"
38 #include "macrofile.hxx"
39 #include "serializervisitor.hxx"
40 #include "loadlib.hxx"
41
42 extern "C"
43 {
44 #include "setenvvar.h"
45 #include "sci_malloc.h"
46 #include "localization.h"
47 #include "PATH_MAX.h"
48 #include "findfiles.h"
49 #include "FileExist.h"
50 #include "deleteafile.h"
51 #include "os_string.h"
52 #include "splitpath.h"
53 #include "os_wfopen.h"
54 #include "sciprint.h"
55 #include "freeArrayOfString.h"
56 #include "Scierror.h"
57 #include "scicurdir.h"
58 #include "md5.h"
59 }
60
61
62 xmlTextWriterPtr openXMLFile(const wchar_t *_pstFilename, const wchar_t* _pstLibName);
63 void closeXMLFile(xmlTextWriterPtr _pWriter);
64 bool AddMacroToXML(xmlTextWriterPtr _pWriter, const std::wstring& name, const std::wstring& file, const std::wstring& md5);
65
66
67 /*--------------------------------------------------------------------------*/
68 types::Function::ReturnValue sci_genlib(types::typed_list &in, int _iRetCount, types::typed_list &out)
69 {
70     int succes = 1;
71     std::vector<std::wstring> failed_files;
72     std::vector<std::wstring> success_files;
73     std::vector<std::wstring> funcs;
74
75     wchar_t pstParseFile[PATH_MAX + FILENAME_MAX];
76     wchar_t pstVerbose[65535];
77
78     int iNbFile = 0;
79     wchar_t *pstParsePath = NULL;
80     int iParsePathLen = 0;
81     wchar_t* pstLibName = NULL;
82     bool bVerbose = false;
83     bool bForce = false;
84
85     if (in.size() < 1 || in.size() > 4)
86     {
87         Scierror(78, _("%s: Wrong number of input argument(s): %d to %d expected.\n"), "genlib", 1, 4);
88         return types::Function::Error;
89     }
90
91     //param 1, library name
92     types::InternalType* pIT = in[0];
93     if (pIT->isString() == false)
94     {
95         Scierror(999, _("%s: Wrong type for input argument #%d: A string expected.\n"), "genlib", 1);
96         return types::Function::Error;
97     }
98
99     types::String *pS = pIT->getAs<types::String>();
100     if (pS->getSize() != 1)
101     {
102         Scierror(999, _("%s: Wrong size for input argument #%d: A string expected.\n"), "genlib", 1);
103         return types::Function::Error;
104     }
105     pstLibName = pS->get(0);
106
107     //param 2, library path
108     if (in.size() > 1)
109     {
110         pIT = in[1];
111         if (pIT->isString() == false)
112         {
113             Scierror(999, _("%s: Wrong type for input argument #%d: A string expected.\n"), "genlib", 2);
114             return types::Function::Error;
115         }
116     }
117     else
118     {
119         int ierr = 0;
120         char* pstr = scigetcwd(&ierr);
121         pIT = new types::String(pstr);
122         FREE(pstr);
123     }
124
125     pS = pIT->getAs<types::String>();
126     if (pS->isScalar() == false)
127     {
128         Scierror(999, _("%s: Wrong size for input argument #%d: A string expected.\n"), "genlib", 2);
129         return types::Function::Error;
130     }
131
132     //param 3, force flag
133     if (in.size() > 2)
134     {
135         pIT = in[2];
136         if (pIT->isBool() == false)
137         {
138             Scierror(999, _("%s: Wrong type for input argument #%d: A sclar boolean expected.\n"), "genlib", 3);
139             return types::Function::Error;
140         }
141
142         types::Bool* p = pIT->getAs<types::Bool>();
143         if (p->isScalar() == false)
144         {
145             Scierror(999, _("%s: Wrong type for input argument #%d: A sclar boolean expected.\n"), "genlib", 3);
146             return types::Function::Error;
147         }
148
149         bForce = p->get()[0] == 1;
150     }
151
152     if (in.size() > 3)
153     {
154         //verbose flag
155         pIT = in[3];
156         if (pIT->isBool() == false)
157         {
158             Scierror(999, _("%s: Wrong type for input argument #%d: A sclar boolean expected.\n"), "genlib", 3);
159             return types::Function::Error;
160         }
161
162         types::Bool* p = pIT->getAs<types::Bool>();
163         if (p->isScalar() == false)
164         {
165             Scierror(999, _("%s: Wrong type for input argument #%d: A sclar boolean expected.\n"), "genlib", 3);
166             return types::Function::Error;
167         }
168
169         bVerbose = p->get()[0] == 1;
170     }
171
172     wchar_t* pstFile = pS->get(0);
173     pstParsePath = expandPathVariableW(pstFile);
174
175     if (in.size() == 1)
176     {
177         delete pS;
178     }
179
180     os_swprintf(pstParseFile, PATH_MAX + FILENAME_MAX, L"%ls%lslib", pstParsePath, FILE_SEPARATOR);
181
182     if (bVerbose)
183     {
184         os_swprintf(pstVerbose, 65535, _W("-- Creation of [%ls] (Macros) --\n").c_str(), pstLibName);
185
186         //save current prompt mode
187         int oldVal = ConfigVariable::getPromptMode();
188         //set mode silent for errors
189         ConfigVariable::setPromptMode(0);
190         scilabWriteW(pstVerbose);
191         //restore previous prompt mode
192         ConfigVariable::setPromptMode(oldVal);
193     }
194
195     MacroInfoList lstOld;
196     if (FileExistW(pstParseFile))
197     {
198         //read it to get previous information like md5
199         std::wstring libname;
200         parseLibFile(pstParseFile, lstOld, libname);
201         deleteafileW(pstParseFile);
202     }
203
204     xmlTextWriterPtr pWriter = openXMLFile(pstParseFile, pstLibName);
205
206     if (pWriter == NULL)
207     {
208         os_swprintf(pstVerbose, 65535, _W("%ls: Cannot open file ''%ls''.\n").c_str(), L"genlib", pstParseFile);
209         scilabWriteW(pstVerbose);
210
211         out.push_back(new types::Bool(0));
212         FREE(pstParsePath);
213         return types::Function::OK;
214     }
215
216
217     wchar_t **pstPath = findfilesW(pstParsePath, L"*.sci", &iNbFile, FALSE);
218
219     if (pstPath)
220     {
221         types::Library* pLib = new types::Library(pstParsePath);
222         for (int k = 0 ; k < iNbFile ; k++)
223         {
224             //version with direct parsing
225             //parse the file to find all functions
226             std::wstring stFullPath = std::wstring(pstParsePath) + std::wstring(FILE_SEPARATOR) + std::wstring(pstPath[k]);
227             std::wstring stFullPathBin(stFullPath);
228             stFullPathBin.replace(stFullPathBin.end() - 3, stFullPathBin.end(), L"bin");
229             std::wstring pstPathBin(pstPath[k]);
230             pstPathBin.replace(pstPathBin.end() - 3, pstPathBin.end(), L"bin");
231
232             //compute file md5
233             FILE* fmdf5 = os_wfopen(stFullPath.data(), L"rb");
234             char* md5 = md5_file(fmdf5);
235             fclose(fmdf5);
236
237             wchar_t* wmd5 = to_wide_string(md5);
238             FREE(md5);
239             std::wstring wide_md5(wmd5);
240             FREE(wmd5);
241
242             if (bForce == false)
243             {
244                 //check if is exist in old file
245                 MacroInfoList::iterator it = lstOld.find(pstPathBin);
246                 if (it != lstOld.end())
247                 {
248                     if (wide_md5 == (*it).second.md5)
249                     {
250                         //file not change, we can skip it
251                         AddMacroToXML(pWriter, (*it).second.name, pstPathBin, wide_md5);
252                         pLib->add((*it).second.name, new types::MacroFile((*it).second.name, stFullPathBin, pstLibName));
253                         success_files.push_back(stFullPath);
254                         funcs.push_back((*it).second.name);
255                         continue;
256                     }
257                 }
258             }
259
260             if (bVerbose)
261             {
262                 sciprint(_("%ls: Processing file: %ls\n"), L"genlib", pstPath[k]);
263             }
264
265             Parser parser;
266             parser.parseFile(stFullPath, ConfigVariable::getSCIPath());
267             if (parser.getExitStatus() !=  Parser::Succeded)
268             {
269                 if (_iRetCount != 4)
270                 {
271                     std::wstring wstrErr = parser.getErrorMessage();
272
273                     wchar_t errmsg[256];
274                     os_swprintf(errmsg, 256, _W("%ls: Error in file %ls.\n").c_str(), L"genlib", stFullPath.data());
275                     wstrErr += errmsg;
276
277                     char* str = wide_string_to_UTF8(wstrErr.c_str());
278                     Scierror(999, str);
279                     FREE(str);
280
281                     FREE(pstParsePath);
282                     freeArrayOfWideString(pstPath, iNbFile);
283                     closeXMLFile(pWriter);
284                     delete pLib;
285                     return types::Function::Error;
286                 }
287
288                 failed_files.push_back(stFullPath);
289                 succes = 0;
290                 continue;
291             }
292
293             //serialize ast
294             ast::SerializeVisitor* s = new ast::SerializeVisitor(parser.getTree());
295
296             unsigned char* serialAst = s->serialize();
297             // Header is : buffer size (4 bytes) + scilab version (4 bytes)
298             unsigned int size = *((unsigned int*)serialAst);
299
300             FILE* f = os_wfopen(stFullPathBin.c_str(), L"wb");
301             fwrite(serialAst, 1, size, f);
302             fclose(f);
303
304             ast::exps_t LExp = parser.getTree()->getAs<ast::SeqExp>()->getExps();
305             for (ast::exps_t::iterator j = LExp.begin(), itEnd = LExp.end() ; j != itEnd ; ++j)
306             {
307                 if ((*j)->isFunctionDec())
308                 {
309                     ast::FunctionDec* pFD = (*j)->getAs<ast::FunctionDec>();
310                     const std::wstring& name = pFD->getSymbol().getName();
311                     if (name + L".sci" == pstPath[k])
312                     {
313                         if (AddMacroToXML(pWriter, name, pstPathBin, wide_md5) == false)
314                         {
315                             os_swprintf(pstVerbose, 65535, _W("%ls: Warning: %ls information cannot be added to file %ls. File ignored\n").c_str(), L"genlib", pFD->getSymbol().getName().c_str(), pstPath[k]);
316                             scilabWriteW(pstVerbose);
317                         }
318
319                         pLib->add(name, new types::MacroFile(name, stFullPathBin, pstLibName));
320                         success_files.push_back(stFullPath);
321                         funcs.push_back(name);
322                         break;
323                     }
324                 }
325             }
326
327             delete s;
328             free(serialAst);
329             delete parser.getTree();
330         }
331
332         symbol::Context* ctx = symbol::Context::getInstance();
333         symbol::Symbol sym = symbol::Symbol(pstLibName);
334         if (ctx->isprotected(sym) == false)
335         {
336             ctx->put(symbol::Symbol(pstLibName), pLib);
337         }
338         else
339         {
340             Scierror(999, _("Redefining permanent variable.\n"));
341
342             freeArrayOfWideString(pstPath, iNbFile);
343             FREE(pstParsePath);
344             closeXMLFile(pWriter);
345             delete pLib;
346             return types::Function::Error;
347         }
348     }
349
350     freeArrayOfWideString(pstPath, iNbFile);
351
352     out.push_back(new types::Bool(succes));
353
354     if (_iRetCount > 1)
355     {
356         int size = static_cast<int>(funcs.size());
357         if (size == 0)
358         {
359             out.push_back(types::Double::Empty());
360         }
361         else
362         {
363             types::String* s = new types::String(size, 1);
364
365             for (int i = 0; i < size; ++i)
366             {
367                 s->set(i, funcs[i].data());
368             }
369
370             out.push_back(s);
371         }
372     }
373
374     if (_iRetCount > 2)
375     {
376         int size = static_cast<int>(success_files.size());
377         if (size == 0)
378         {
379             out.push_back(types::Double::Empty());
380         }
381         else
382         {
383             types::String* s = new types::String(size, 1);
384
385             for (int i = 0; i < size; ++i)
386             {
387                 s->set(i, success_files[i].data());
388             }
389
390             out.push_back(s);
391         }
392     }
393
394     if (_iRetCount > 3)
395     {
396         int size = static_cast<int>(failed_files.size());
397         if (size == 0)
398         {
399             out.push_back(types::Double::Empty());
400         }
401         else
402         {
403             types::String* s = new types::String(size, 1);
404
405             for (int i = 0; i < size; ++i)
406             {
407                 s->set(i, failed_files[i].data());
408             }
409
410             out.push_back(s);
411         }
412     }
413
414     FREE(pstParsePath);
415     closeXMLFile(pWriter);
416     return types::Function::OK;
417 }
418
419 void closeXMLFile(xmlTextWriterPtr _pWriter)
420 {
421     int iLen;
422
423     //close opened nodes
424     iLen = xmlTextWriterEndElement(_pWriter);
425     if (iLen < 0)
426     {
427         return;
428     }
429
430     //close document
431     iLen = xmlTextWriterEndDocument(_pWriter);
432     if (iLen < 0)
433     {
434         return;
435     }
436
437     //close xml writer
438     xmlFreeTextWriter(_pWriter);
439 }
440
441 xmlTextWriterPtr openXMLFile(const wchar_t *_pstFilename, const wchar_t* _pstLibName)
442 {
443     int iLen;
444     xmlTextWriterPtr pWriter = NULL;;
445     char *pstFilename = wide_string_to_UTF8(_pstFilename);
446     char *pstLibName = wide_string_to_UTF8(_pstLibName);
447
448
449     //create a writer
450     pWriter = xmlNewTextWriterFilename(pstFilename, 0);
451     if (pWriter == NULL)
452     {
453         return NULL;
454     }
455
456     //setup indentation
457     xmlTextWriterSetIndent (pWriter, 1);
458     xmlTextWriterSetIndentString (pWriter, (xmlChar*)"  ");
459
460     //create a new document
461     iLen = xmlTextWriterStartDocument(pWriter, NULL, DEFAULT_ENCODING, "no");
462     if (iLen < 0)
463     {
464         closeXMLFile(pWriter);
465         return NULL;
466     }
467
468     //add a node "scilablib"
469     iLen = xmlTextWriterStartElement(pWriter, (xmlChar*)"scilablib");
470     if (iLen < 0)
471     {
472         closeXMLFile(pWriter);
473         return NULL;
474     }
475
476     //Add attribute "name"
477     iLen = xmlTextWriterWriteAttribute(pWriter, (xmlChar*)"name", (xmlChar*)pstLibName);
478     if (iLen < 0)
479     {
480         closeXMLFile(pWriter);
481         return NULL;
482     }
483
484     FREE(pstFilename);
485     FREE(pstLibName);
486
487     return pWriter;
488 }
489
490 bool AddMacroToXML(xmlTextWriterPtr _pWriter, const std::wstring& name, const std::wstring& file, const std::wstring& md5)
491 {
492     int iLen;
493
494     if (_pWriter == NULL)
495     {
496         return false;
497     }
498
499     //create node "macro"
500     iLen = xmlTextWriterStartElement(_pWriter, (xmlChar*)"macro");
501     if (iLen < 0)
502     {
503         return false;
504     }
505
506     //Add attribute "name"
507     char* pst1 = wide_string_to_UTF8(name.data());
508     iLen = xmlTextWriterWriteAttribute(_pWriter, (xmlChar*)"name", (xmlChar*)pst1);
509     if (iLen < 0)
510     {
511         return false;
512     }
513     FREE(pst1);
514
515     //Add attribute "file"
516     char* pst2 = wide_string_to_UTF8(file.data());
517     iLen = xmlTextWriterWriteAttribute(_pWriter, (xmlChar*)"file", (xmlChar*)pst2);
518     if (iLen < 0)
519     {
520         return false;
521     }
522     FREE(pst2);
523
524     //Add attribute "md5"
525     char* pst3 = wide_string_to_UTF8(md5.data());
526     iLen = xmlTextWriterWriteAttribute(_pWriter, (xmlChar*)"md5", (xmlChar*)pst3);
527     if (iLen < 0)
528     {
529         return false;
530     }
531     FREE(pst3);
532
533     //close "macro" node
534     iLen = xmlTextWriterEndElement(_pWriter);
535     if (iLen < 0)
536     {
537         return false;
538     }
539
540     return true;
541 }