Hi Francisco,
thanks for your support, now COSMOS works properly but in the last period the instance has been very unstable and unreliable.
I hope these issues on COSMOS will be resolved definitively.
BR,
Dario
Dario Pellegrino
Direzione Ricerca e Innovazione - R&D Lab
dario.pellegrino at eng.it<mailto:dario.pellegrino at eng.it>
Engineering Ingegneria Informatica spa
Viale Regione Siciliana, 7275 - 90146 Palermo
Tel. +39-091.7511847
Mob. +39-346.5325257
www.eng.it<http://www.eng.it/>
Da: FRANCISCO ROMERO BUENO [mailto:francisco.romerobueno at telefonica.com]
Inviato: mercoledì 10 dicembre 2014 19:05
A: Pellegrino Dario; MIGUEL CARRILLO PACHECO; fiware-lab-help at lists.fi-ware.org
Cc: pasquale.andriani at eng.it; Massimiliano Nigrelli; 'Leandro Lombardo'; Luigi Briguglio
Oggetto: RE: R: R: [Fiware-lab-help] [FINESCE-WP4] COSMOS : Execution Error, return code -101 from shark.execution.SparkTask
Hi all,
Definitely, an under-replicated block has been lost:
Could not obtain block: blk_1493009584910674682_24951256 file=/user/FINESCE-WP4/input/Load/0512690040070-Load.txt
It seems the affected file was exclusively based on the lost block, thus (sadly) there is nothing I can do... I've moved the file to a location of my own in order the "terni_load" Hive table works properly, but it should be deleted since it is impossible to recover its content.
The bizarre issue is that "hadoop fsck / " command reports everything is OK...
Total size: 92328181548 B
Total dirs: 377196
Total files: 506408
Total blocks (validated): 309385 (avg. block size 298424 B)
Minimally replicated blocks: 309385 (100.0 %)
Over-replicated blocks: 0 (0.0 %)
Under-replicated blocks: 299 (0.09664334 %)
Mis-replicated blocks: 0 (0.0 %)
Default replication factor: 3
Average block replication: 3.0057986
Corrupt blocks: 0
Missing replicas: 299 (0.032152303 %)
Number of data-nodes: 9
Number of racks: 1
FSCK ended at Wed Dec 10 19:01:18 CET 2014 in 21310 milliseconds
The filesystem under path '/' is HEALTHY
Regards,
Francisco
De: Pellegrino Dario [mailto:dario.pellegrino at eng.it]
Enviado el: miércoles, 10 de diciembre de 2014 17:16
Para: MIGUEL CARRILLO PACHECO; FRANCISCO ROMERO BUENO; fiware-lab-help at lists.fi-ware.org<mailto:fiware-lab-help at lists.fi-ware.org>
CC: pasquale.andriani at eng.it<mailto:pasquale.andriani at eng.it>; Massimiliano Nigrelli; 'Leandro Lombardo'; Luigi Briguglio
Asunto: R: R: R: [Fiware-lab-help] [FINESCE-WP4] COSMOS : Execution Error, return code -101 from shark.execution.SparkTask
Hi Francisco, Miguel, All,
we have been still having the same issue on COSMOS and how I wrote in the previous email, our development activities are stopped .
Furthermore, it seems that there are files corrupted in HDFS (for example /FINESCE-WP4/input/Load/0512690040070-Load.txt) .
What is happening? Please, could you check the status of HDFS?
Please, please, please let us know as soon as possible.
Thanks,
Dario
Dario Pellegrino
Direzione Ricerca e Innovazione - R&D Lab
dario.pellegrino at eng.it<mailto:dario.pellegrino at eng.it>
Engineering Ingegneria Informatica spa
Viale Regione Siciliana, 7275 - 90146 Palermo
Tel. +39-091.7511847
Mob. +39-346.5325257
www.eng.it<http://www.eng.it/>
Da: MIGUEL CARRILLO PACHECO [mailto:miguel.carrillopacheco at telefonica.com]
Inviato: martedì 9 dicembre 2014 17:53
A: Pellegrino Dario; FRANCISCO ROMERO BUENO
Cc: fiware-lab-help at lists.fi-ware.org<mailto:fiware-lab-help at lists.fi-ware.org>; pasquale.andriani at eng.it<mailto:pasquale.andriani at eng.it>; Massimiliano Nigrelli; 'Leandro Lombardo'; Luigi Briguglio
Oggetto: Re: R: R: [Fiware-lab-help] [FINESCE-WP4] COSMOS : Execution Error, return code -101 from shark.execution.SparkTask
Hi,
How weird. I ultimately have to contact the Ge owner each time we interact. Putting you in direct touch with him should spped up things a bit for all.
Francisco, can you please see what´s going on?
Miguel
El 09/12/2014 17:43, Pellegrino Dario escribió:
Hi Miguel,
we have been having the same connection issue...
This is the error message related to the execution of hive query launched by our Java Client: java.sql.SQLException: Query returned non-zero code: 9, cause: FAILED: Execution Error, return code -101 from shark.execution.SparkTask
Please, let us know.
BR,
Dario
Dario Pellegrino
Direzione Ricerca e Innovazione - R&D Lab
dario.pellegrino at eng.it<mailto:dario.pellegrino at eng.it>
Engineering Ingegneria Informatica spa
Viale Regione Siciliana, 7275 - 90146 Palermo
Tel. +39-091.7511847
Mob. +39-346.5325257
www.eng.it<http://www.eng.it/>
Da: MIGUEL CARRILLO PACHECO [mailto:miguel.carrillopacheco at telefonica.com]
Inviato: martedì 9 dicembre 2014 16:18
A: Pellegrino Dario; fiware-lab-help at lists.fi-ware.org<mailto:fiware-lab-help at lists.fi-ware.org>
Cc: pasquale.andriani at eng.it<mailto:pasquale.andriani at eng.it>; Massimiliano Nigrelli; 'Leandro Lombardo'; Luigi Briguglio
Oggetto: Re: R: [Fiware-lab-help] [FINESCE-WP4] COSMOS : Execution Error, return code -101 from shark.execution.SparkTask
As replied in the previous email, this should be ok now
El 09/12/2014 12:03, Pellegrino Dario escribió:
Hi Miguel,
we have been having the connection issue on COSMOS again.
Here the new error message:
GRAVE: HIVE Loading Data Error
java.sql.SQLException: Query returned non-zero code: 10, cause: FAILED: Error in semantic analysis: Unable to fetch table terni_meterdetail
What is happening?
Our project is based on Cosmos and in this moment our development activities are stopped. Please, let us know asap.
BR,
Dario
Dario Pellegrino
Direzione Ricerca e Innovazione - R&D Lab
dario.pellegrino at eng.it<mailto:dario.pellegrino at eng.it>
Engineering Ingegneria Informatica spa
Viale Regione Siciliana, 7275 - 90146 Palermo
Tel. +39-091.7511847
Mob. +39-346.5325257
www.eng.it<http://www.eng.it/>
Da: Pellegrino Dario
Inviato: venerdì 5 dicembre 2014 10:51
A: 'MIGUEL CARRILLO PACHECO'; fiware-lab-help at lists.fi-ware.org<mailto:fiware-lab-help at lists.fi-ware.org>
Cc: pasquale.andriani at eng.it<mailto:pasquale.andriani at eng.it>; Massimiliano Nigrelli; 'Leandro Lombardo'; Luigi Briguglio
Oggetto: R: [Fiware-lab-help] [FINESCE-WP4] COSMOS : Execution Error, return code -101 from shark.execution.SparkTask
Hi Miguel,
do you have any news about our connection issue on COSMOS?
Please, let us know as soon as possible.
Thank,
Dario
Dario Pellegrino
Direzione Ricerca e Innovazione - R&D Lab
dario.pellegrino at eng.it<mailto:dario.pellegrino at eng.it>
Engineering Ingegneria Informatica spa
Viale Regione Siciliana, 7275 - 90146 Palermo
Tel. +39-091.7511847
Mob. +39-346.5325257
www.eng.it<http://www.eng.it/>
Da: MIGUEL CARRILLO PACHECO [mailto:miguel.carrillopacheco at telefonica.com]
Inviato: mercoledì 3 dicembre 2014 12:23
A: Pellegrino Dario; fiware-lab-help at lists.fi-ware.org<mailto:fiware-lab-help at lists.fi-ware.org>
Cc: pasquale.andriani at eng.it<mailto:pasquale.andriani at eng.it>; Massimiliano Nigrelli; 'Leandro Lombardo'; Luigi Briguglio
Oggetto: Re: [Fiware-lab-help] [FINESCE-WP4] COSMOS : Execution Error, return code -101 from shark.execution.SparkTask
Dear Dario,
Sorry to hear that you are experiencing problems. We are aware of a downtime of cosmos although according to my information the cause is of a completely different nature. We are onto it.
Best regards,
Miguel
El 03/12/2014 12:13, Pellegrino Dario escribió:
Dear all,
we have been having usual connection issue on COSMOS instance.
This is the error message related to the execution of hive query launched by our Java Client: java.sql.SQLException: Query returned non-zero code: 9, cause: FAILED: Execution Error, return code -101 from shark.execution.SparkTask
It is the same problem reported on November 29 and solved restarting Shark.
Waiting for your feedback, thank you in advance.
Best regards,
Dario Pellegrino
Dario Pellegrino
Direzione Ricerca e Innovazione - R&D Lab
dario.pellegrino at eng.it<mailto:dario.pellegrino at eng.it>
Engineering Ingegneria Informatica spa
Viale Regione Siciliana, 7275 - 90146 Palermo
Tel. +39-091.7511847
Mob. +39-346.5325257
www.eng.it<http://www.eng.it/>
_______________________________________________
Fiware-lab-help mailing list
Fiware-lab-help at lists.fi-ware.org<mailto:Fiware-lab-help at lists.fi-ware.org>
https://lists.fi-ware.org/listinfo/fiware-lab-help
--
Please update your address book with my new e-mail address: miguel.carrillopacheco at telefonica.com<mailto:miguel.carrillopacheco at telefonica.com>
----------------------------------------------------------------------
_/ _/_/ Miguel Carrillo Pacheco
_/ _/ _/ _/ Telefónica Distrito Telefónica
_/ _/_/_/ _/ _/ Investigación y Edifico Oeste 1, Planta 9
_/ _/ _/ _/ Desarrollo Ronda de la Comunicación S/N
_/ _/_/ 28050 Madrid (Spain)
Tel: (+34) 91 483 26 77
e-mail: miguel.carrillopacheco at telefonica.com<mailto:miguel.carrillopacheco at telefonica.com>
Follow FI-WARE on the net
Website: http://www.fi-ware.org
Facebook: http://www.facebook.com/pages/FI-WARE/251366491587242
Twitter: http://twitter.com/Fiware
LinkedIn: http://www.linkedin.com/groups/FIWARE-4239932
----------------------------------------------------------------------
________________________________
Este mensaje y sus adjuntos se dirigen exclusivamente a su destinatario, puede contener información privilegiada o confidencial y es para uso exclusivo de la persona o entidad de destino. Si no es usted. el destinatario indicado, queda notificado de que la lectura, utilización, divulgación y/o copia sin autorización puede estar prohibida en virtud de la legislación vigente. Si ha recibido este mensaje por error, le rogamos que nos lo comunique inmediatamente por esta misma vía y proceda a su destrucción.
The information contained in this transmission is privileged and confidential information intended only for the use of the individual or entity named above. If the reader of this message is not the intended recipient, you are hereby notified that any dissemination, distribution or copying of this communication is strictly prohibited. If you have received this transmission in error, do not read it. Please immediately reply to the sender that you have received this communication in error and then delete it.
Esta mensagem e seus anexos se dirigem exclusivamente ao seu destinatário, pode conter informação privilegiada ou confidencial e é para uso exclusivo da pessoa ou entidade de destino. Se não é vossa senhoria o destinatário indicado, fica notificado de que a leitura, utilização, divulgação e/ou cópia sem autorização pode estar proibida em virtude da legislação vigente. Se recebeu esta mensagem por erro, rogamos-lhe que nos o comunique imediatamente por esta mesma via e proceda a sua destruição
--
Please update your address book with my new e-mail address: miguel.carrillopacheco at telefonica.com<mailto:miguel.carrillopacheco at telefonica.com>
----------------------------------------------------------------------
_/ _/_/ Miguel Carrillo Pacheco
_/ _/ _/ _/ Telefónica Distrito Telefónica
_/ _/_/_/ _/ _/ Investigación y Edifico Oeste 1, Planta 9
_/ _/ _/ _/ Desarrollo Ronda de la Comunicación S/N
_/ _/_/ 28050 Madrid (Spain)
Tel: (+34) 91 483 26 77
e-mail: miguel.carrillopacheco at telefonica.com<mailto:miguel.carrillopacheco at telefonica.com>
Follow FI-WARE on the net
Website: http://www.fi-ware.org
Facebook: http://www.facebook.com/pages/FI-WARE/251366491587242
Twitter: http://twitter.com/Fiware
LinkedIn: http://www.linkedin.com/groups/FIWARE-4239932
----------------------------------------------------------------------
________________________________
Este mensaje y sus adjuntos se dirigen exclusivamente a su destinatario, puede contener información privilegiada o confidencial y es para uso exclusivo de la persona o entidad de destino. Si no es usted. el destinatario indicado, queda notificado de que la lectura, utilización, divulgación y/o copia sin autorización puede estar prohibida en virtud de la legislación vigente. Si ha recibido este mensaje por error, le rogamos que nos lo comunique inmediatamente por esta misma vía y proceda a su destrucción.
The information contained in this transmission is privileged and confidential information intended only for the use of the individual or entity named above. If the reader of this message is not the intended recipient, you are hereby notified that any dissemination, distribution or copying of this communication is strictly prohibited. If you have received this transmission in error, do not read it. Please immediately reply to the sender that you have received this communication in error and then delete it.
Esta mensagem e seus anexos se dirigem exclusivamente ao seu destinatário, pode conter informação privilegiada ou confidencial e é para uso exclusivo da pessoa ou entidade de destino. Se não é vossa senhoria o destinatário indicado, fica notificado de que a leitura, utilização, divulgação e/ou cópia sem autorização pode estar proibida em virtude da legislação vigente. Se recebeu esta mensagem por erro, rogamos-lhe que nos o comunique imediatamente por esta mesma via e proceda a sua destruição
--
Please update your address book with my new e-mail address: miguel.carrillopacheco at telefonica.com<mailto:miguel.carrillopacheco at telefonica.com>
----------------------------------------------------------------------
_/ _/_/ Miguel Carrillo Pacheco
_/ _/ _/ _/ Telefónica Distrito Telefónica
_/ _/_/_/ _/ _/ Investigación y Edifico Oeste 1, Planta 9
_/ _/ _/ _/ Desarrollo Ronda de la Comunicación S/N
_/ _/_/ 28050 Madrid (Spain)
Tel: (+34) 91 483 26 77
e-mail: miguel.carrillopacheco at telefonica.com<mailto:miguel.carrillopacheco at telefonica.com>
Follow FI-WARE on the net
Website: http://www.fi-ware.org
Facebook: http://www.facebook.com/pages/FI-WARE/251366491587242
Twitter: http://twitter.com/Fiware
LinkedIn: http://www.linkedin.com/groups/FIWARE-4239932
----------------------------------------------------------------------
________________________________
Este mensaje y sus adjuntos se dirigen exclusivamente a su destinatario, puede contener información privilegiada o confidencial y es para uso exclusivo de la persona o entidad de destino. Si no es usted. el destinatario indicado, queda notificado de que la lectura, utilización, divulgación y/o copia sin autorización puede estar prohibida en virtud de la legislación vigente. Si ha recibido este mensaje por error, le rogamos que nos lo comunique inmediatamente por esta misma vía y proceda a su destrucción.
The information contained in this transmission is privileged and confidential information intended only for the use of the individual or entity named above. If the reader of this message is not the intended recipient, you are hereby notified that any dissemination, distribution or copying of this communication is strictly prohibited. If you have received this transmission in error, do not read it. Please immediately reply to the sender that you have received this communication in error and then delete it.
Esta mensagem e seus anexos se dirigem exclusivamente ao seu destinatário, pode conter informação privilegiada ou confidencial e é para uso exclusivo da pessoa ou entidade de destino. Se não é vossa senhoria o destinatário indicado, fica notificado de que a leitura, utilização, divulgação e/ou cópia sem autorização pode estar proibida em virtude da legislação vigente. Se recebeu esta mensagem por erro, rogamos-lhe que nos o comunique imediatamente por esta mesma via e proceda a sua destruição
________________________________
Este mensaje y sus adjuntos se dirigen exclusivamente a su destinatario, puede contener información privilegiada o confidencial y es para uso exclusivo de la persona o entidad de destino. Si no es usted. el destinatario indicado, queda notificado de que la lectura, utilización, divulgación y/o copia sin autorización puede estar prohibida en virtud de la legislación vigente. Si ha recibido este mensaje por error, le rogamos que nos lo comunique inmediatamente por esta misma vía y proceda a su destrucción.
The information contained in this transmission is privileged and confidential information intended only for the use of the individual or entity named above. If the reader of this message is not the intended recipient, you are hereby notified that any dissemination, distribution or copying of this communication is strictly prohibited. If you have received this transmission in error, do not read it. Please immediately reply to the sender that you have received this communication in error and then delete it.
Esta mensagem e seus anexos se dirigem exclusivamente ao seu destinatário, pode conter informação privilegiada ou confidencial e é para uso exclusivo da pessoa ou entidade de destino. Se não é vossa senhoria o destinatário indicado, fica notificado de que a leitura, utilização, divulgação e/ou cópia sem autorização pode estar proibida em virtude da legislação vigente. Se recebeu esta mensagem por erro, rogamos-lhe que nos o comunique imediatamente por esta mesma via e proceda a sua destruição
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <https://lists.fiware.org/private/fiware-lab-help/attachments/20141211/ae42b44a/attachment.html>
You can get more information about our cookies and privacy policies clicking on the following links: Privacy policy Cookies policy