Build failure on a specific machine (despite Docker container) #2

penguineer · 2018-04-10T08:54:40Z

Ich bin nach FreifunkMD/FFMD-Orga#9 (comment) vorgegangen, um mit dem Docker-Image eine Firmware zu bauen, jedoch laufe ich immer in Build-Fehler:

make GLUON_TARGET=ar71xx-generic -j8

make[5] -C tools/tar compile
make -C /gluon/openwrt -f /gluon/Makefile GLUON_TOOLS=0 QUILT= prepare-target: build failed. Please re-run make with V=s to see what's going on
Makefile:66: recipe for target 'prepare-target' failed

Debian Stretch mit Docker CE 18.03

penguineer · 2018-04-22T15:53:14Z

Seems to be compiling so far.

penguineer · 2018-04-23T08:55:11Z

So, Situation:

auf meinem Notebook kann ich bauen
auf meinem HomeServer kann ich bauen
auf meinem Arbeitsrechner geht es nicht

Alle Systeme sind gleich. (Debian Stretch, Docker version 18.03.0-ce, build 0520e24)

penguineer · 2018-04-23T08:58:32Z

Fehler beim compilieren von tar:

gcc -DHAVE_CONFIG_H -I. -I..  -I../gnu -I../ -I../gnu -I../lib -I../lib -I/gluon/openwrt/staging_dir/host/include -I/gluon/openwrt/staging_dir/host/usr/include   -O2 -I/gluon/openwrt/staging_dir/host/include -I/gluon/openwrt/staging_dir/host/usr/include -MT tar.o -MD -MP -MF .deps/tar.Tpo -c -o tar.o tar.c tar.c:1351:5: error: 'SAVEDIR_SORT_INODE' undeclared here (not in a function); did you mean 'SAVEDIR_SORT_NONE'?

und später:

/gluon/Makefile:304: recipe for target '/gluon/build/ar71xx-generic/target-prepared' failed
make[1]: *** [/gluon/build/ar71xx-generic/target-prepared] Error 2
make[1]: Leaving directory '/gluon/openwrt'
Makefile:81: recipe for target 'clean' failed
make: *** [clean] Error 2

Aufruf im Container jetzt mit

make update
site/build.sh -v

penguineer · 2018-04-23T09:00:54Z

@christf Kannst Du damit was anfangen?

penguineer · 2018-04-23T09:11:32Z

Shell Trail

Auflistung der Shell-Befehle, die ich ausgeführt habe.
(Debian Stretch, Docker version 18.03.0-ce, build 0520e24)

Host-Shell

git clone https://github.com/FreifunkMD/gluon-docker
cd gluon-docker/
docker build -t ffmd-v2016.2.7 .
docker run -it --name ffmd ffmd-v2016.2.7

Container Shell

make update
site/build.sh

penguineer · 2018-04-23T09:50:59Z

(Schlägt mit Aufruf von buildOnly.sh übrigens genauso fehl.)

johannwagner · 2018-04-23T09:58:52Z

Das Bauen failt random, das kommt durch die Parallelität. Kannst du den Build-Prozess auf deinem Home-Server einfach nochmal anstupsen und schauen, ob es dann durchbaut?
Ich hab das Problem bei mir auch ab und zu.

penguineer · 2018-04-23T10:09:08Z

Worauf bezieht sich "random"?

Ich habe zwei Maschinen, auf denen der Build immer funktioniert (Notebook und HomeServer) und eine, auf der es immer bei tar fehlschlägt (Arbeit). Zahl der Versuche ist inzwischen für den Arbeitsrechner zweistellig.

johannwagner · 2018-04-23T10:09:53Z

Okay, dann ist das wohl noch nen extra Fehler. Wie auch immer sowas passiert.

penguineer · 2018-04-23T10:11:22Z

Könnte "-j 10" problematisch sein, wenn ich gar keine 10 Kerne habe?

Ganz ohne Parallelität habe ich das das Problem aber auch. Es gibt ja auch einen konkreten Compilerfehler!

johannwagner · 2018-04-23T10:13:04Z

-j 10 spawnt zehn Threads beim Bauen, wie dein Scheduler das hält, ist das Problem des Betriebssystem.

Gut, bei mir failt das Bauen halt an zufälligen Stellen, nicht reproduzierbar.
Wenn es auf deinem Arbeitsrechner failt, dann ist das noch ein anderes Problem.

LeSpocky · 2018-04-23T12:47:09Z

Fehler beim compilieren von tar:

gcc -DHAVE_CONFIG_H -I. -I..  -I../gnu -I../ -I../gnu -I../lib -I../lib -I/gluon/openwrt/staging_dir/host/include -I/gluon/openwrt/staging_dir/host/usr/include   -O2 -I/gluon/openwrt/staging_dir/host/include -I/gluon/openwrt/staging_dir/host/usr/include -MT tar.o -MD -MP -MF .deps/tar.Tpo -c -o tar.o tar.c tar.c:1351:5: error: 'SAVEDIR_SORT_INODE' undeclared here (not in a function); did you mean 'SAVEDIR_SORT_NONE'?

Das einzige, was ich im Netz zu diesem Fehler finden konnte, war ein Patch von 2014: https://lists.gnu.org/archive/html/bug-tar/2014-09/msg00014.html

In Gluon hab ich keine tar-spezifischen Patches gesehen, in OpenWRT gab es nach 15.05 nur Updates von tar insgesamt, keine Patches, die dieses Build-Problem beheben. Vielleicht war eines der Updates von tar ausreichend. Dafür müsste man bei upstream tar mal schauen, ob es dahingehend Änderungen gab oder der o.g. Patch angenommen wurde.

christf · 2018-04-23T22:46:13Z

Das bauen failt nicht random. Das hat immer Gründe. Bislang konnte ich folgende Gründe beobachten:

Downloads funktionierten nicht und deshalb fehlten Pakete(deshalb hält der ffm firmware builder einen download-cache auch über unterschiedliche builds und make cleans hinweg vor)
zu wenig RAM, Abbruch
zu wenig HDD, Abbruch, Builds dnaah fehlerhaft durch unvollständig geputzten tree.
build auf NFS gemountetem Dateisystem
build nach vorherigem abgebrochenen make clean
fehlerhafte Downlaods, die allerdings sauber entpackt wurden und dann komische Effekte beim Bauen hatten
fehlerhafte / fehlende Patches weil make update abgebrochen wurde und danach ein build gestartet wurde.

Ist es jeweils all das nicht?
Dass es sich um einen Bug in tar handelt, kann ich mir nicht gut vorstellen, weil der build auf anderen Systemen mit identischer Architektur durch laufen. Ich denke es ist irgend etwas, dass im Zusammenhang mit dieser Maschine auftritt.

make V=s -j1 könnte hier helfen weil bei make -j10 die Fehlermeldungen wirklich sehr weit oben stehen können. Ist der Ausschnitt wirklich der erste Fehler?

penguineer · 2018-04-24T11:19:55Z

make update
make GLUON_TARGET=ar71xx-generic V=s -j1

läuft ohne Fehler durch.

christf · 2018-04-24T11:29:41Z

ok. In dem Fall würde ich auf Verknotung des buildsystems tippen, die dann wohl jetzt bereinigit ist und weiter analysieren, wenn das im master auch auftritt.
Das ist nicht ganz ohne Aufwand machbar, der master erfordert eine andere site.conf

Wie wollen wir weiter verfahren?

penguineer · 2018-04-24T11:38:02Z

Ich teste noch einen Build ohne -j1

Wenn das fehlschlägt, würde ich das trotzdem zurückstellen. Wir sind ziemlich weit hinten im Tree und es ist jetzt nur eine Maschine.

Wenn das am HEAD auch noch auftritt, dann sollten wir uns etwas überlegen. Ich kann die Situation recht zuverlässig herstellen.

LeSpocky · 2018-04-24T13:20:19Z

Parallel build issues gibt es in anderen embedded build Projekten neben OpenWRT auch hin und wieder. In ptxdist und buildroot sieht man entsprechende Commits und Patches, die nur parallel build issues fixen, regelmäßig. Da gebe ich @christf recht, das ist nervig bis schwer zu debuggen, häufig steckt das Problem dann im jeweiligen Projekt (openssl ist mir häufiger negativ aufgefallen) und die haben ggf. sehr unterschiedliche Buildsysteme (autotools, CMake, meson, …). Der Aufwand lohnt für unsere alte Gluon-bzw. OpenWRT-Version denke ich nicht mehr.

penguineer · 2018-04-24T15:00:23Z

make update
make GLUON_TARGET=ar71xx-generic V=s

lief nun auch durch. WTF.
(Images wurden komplett neu erstellt.)

penguineer · 2018-04-24T15:01:45Z

Beide Versuche mit mounts für die Build-Verzeichnisse:

docker run \
     -it --name ffmd \
     -v "$(pwd)/firmwares:/gluon/output" \
     -v "$(pwd)/openwrt_build:/gluon/openwrt/build_dir" \
     ffmd-v2016.2.7

penguineer · 2018-04-24T15:14:31Z

Ich stimme euch zu, dass wir das in der alten Version nicht fixen sollten. Hauptsächlich versuche ich gerade, herauszufinden, unter welchen Umständen das Problem auftritt, damit wir dann mit der neuen Version sehen können, ob es beseitigt ist.

penguineer · 2018-04-24T15:21:42Z

Okay, jetzt habe ich das ursprüngliche Problem auch nicht mehr.

Ich schlage vor, wir schließen dieses Issue und ich beobachte das auf neueren Versionen noch einmal.

penguineer · 2018-04-25T08:01:29Z

Nachtrag:

Sobald ich alles in einem Container baue (ohne mounts), schlägt der Build wieder an der gleichen Stelle fehl.

Platz auf der Platte sollte genug sein:

$ df -h
udev                      3,9G       0  3,9G    0% /dev
tmpfs                     786M    9,6M  776M    2% /run
/dev/md0p1                1,8T     55G  1,7T    4% /
tmpfs                     3,9G       0  3,9G    0% /dev/shm
tmpfs                     5,0M    4,0K  5,0M    1% /run/lock
tmpfs                     3,9G       0  3,9G    0% /sys/fs/cgroup
tmpfs                     786M     12K  786M    1% /run/user/1000

penguineer · 2018-04-25T08:20:58Z

make GLUON_TARGET=ar71xx-generic V=s -j1

schlägt ebenfalls fehl, Fehlermeldung ist unverändert.

(Ich schreibe das hier mal noch zu Dokumentationszwecken auf.)

christf · 2018-04-25T16:04:18Z

On Wed, Apr 25, 2018 at 08:20:59AM +0000, Stefan Haun wrote: ``` make GLUON_TARGET=ar71xx-generic V=s -j1 ``` schlägt ebenfalls fehl, Fehlermeldung ist unverändert.

Hast Du irgendwo den vollständigen buildlog? Ich würd den gern mal direkt betrachten...

(Ich schreibe das hier mal noch zu Dokumentationszwecken auf.)

Matthias hat am Buildsystem von Openwrt/LEDE sehr viel verändert. Es wäre in der Tat spannend das noch einmal im master zu sehen. Was ist denn für ein Dateisystem auf md0p1? Hattest Du ggf Mal einzelne Schritte als root ausgeführt und andere als User, z.B. nach mounts? (Ja, das ist die "Haben Sie den Netzstecker eingesteckt"-Frage, aber man muss ja sowas klären :) ) Gegen ein Issue durch parallel-Build spricht, dass es immer an der gleichen Stelle bricht. -- () ascii ribbon campaign - against html e-mail /\ against proprietary attachments

penguineer added the bug Something isn't working label Apr 10, 2018

penguineer assigned johannwagner Apr 10, 2018

penguineer assigned penguineer and unassigned johannwagner Apr 22, 2018

penguineer assigned johannwagner and unassigned penguineer and johannwagner Apr 23, 2018

penguineer changed the title ~~Build failure~~ Build failure on a specific machine (despite Docker container) Apr 23, 2018

penguineer mentioned this issue Apr 23, 2018

Firmware Build v0.38-1 fails FreifunkMD/site-ffmd#104

Closed

penguineer self-assigned this Apr 24, 2018

johannwagner closed this as completed Apr 24, 2018

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Build failure on a specific machine (despite Docker container) #2

Build failure on a specific machine (despite Docker container) #2

penguineer commented Apr 10, 2018

penguineer commented Apr 22, 2018

penguineer commented Apr 23, 2018

penguineer commented Apr 23, 2018 •

edited

Loading

penguineer commented Apr 23, 2018

penguineer commented Apr 23, 2018

penguineer commented Apr 23, 2018

johannwagner commented Apr 23, 2018

penguineer commented Apr 23, 2018

johannwagner commented Apr 23, 2018

penguineer commented Apr 23, 2018

johannwagner commented Apr 23, 2018

LeSpocky commented Apr 23, 2018

christf commented Apr 23, 2018 •

edited

Loading

penguineer commented Apr 24, 2018

christf commented Apr 24, 2018

penguineer commented Apr 24, 2018 •

edited

Loading

LeSpocky commented Apr 24, 2018

penguineer commented Apr 24, 2018

penguineer commented Apr 24, 2018 •

edited

Loading

penguineer commented Apr 24, 2018

penguineer commented Apr 24, 2018

penguineer commented Apr 25, 2018

penguineer commented Apr 25, 2018

christf commented Apr 25, 2018 via email

Build failure on a specific machine (despite Docker container) #2

Build failure on a specific machine (despite Docker container) #2

Comments

penguineer commented Apr 10, 2018

penguineer commented Apr 22, 2018

penguineer commented Apr 23, 2018

penguineer commented Apr 23, 2018 • edited Loading

penguineer commented Apr 23, 2018

penguineer commented Apr 23, 2018

Shell Trail

Host-Shell

Container Shell

penguineer commented Apr 23, 2018

johannwagner commented Apr 23, 2018

penguineer commented Apr 23, 2018

johannwagner commented Apr 23, 2018

penguineer commented Apr 23, 2018

johannwagner commented Apr 23, 2018

LeSpocky commented Apr 23, 2018

christf commented Apr 23, 2018 • edited Loading

penguineer commented Apr 24, 2018

christf commented Apr 24, 2018

penguineer commented Apr 24, 2018 • edited Loading

LeSpocky commented Apr 24, 2018

penguineer commented Apr 24, 2018

penguineer commented Apr 24, 2018 • edited Loading

penguineer commented Apr 24, 2018

penguineer commented Apr 24, 2018

penguineer commented Apr 25, 2018

penguineer commented Apr 25, 2018

christf commented Apr 25, 2018 via email

penguineer commented Apr 23, 2018 •

edited

Loading

christf commented Apr 23, 2018 •

edited

Loading

penguineer commented Apr 24, 2018 •

edited

Loading

penguineer commented Apr 24, 2018 •

edited

Loading