[Sammelthread] F@H Quatschthre(a)d

[Liesel Weppen]

Ich weiss es nicht genau, aber bin der Meinung mal gelesen zu haben, dass die dann erst wieder verarbeitet und in die Warteschlange eingereiht werden müssen. Also ist auch wieder zusätzlicher Aufwand.

Natürlich ist das mehr Aufwand als wenn die WU einfach direkt erfolgreich beendet worden wäre. Und vielleicht kann die WU nicht "sofort" nochmal ausgegeben werden sondern es muss noch irgendwas verarbeitet werden, aber was auch immer da dranhängt, wenn du abbrichst, kann das direkt angestoßen werden und FAH muss nicht weiter auf dein Ergebnis warten.

Ausserdem kann ich mir nicht vorstellen, das die WU ansich irgendwie geändert werden muss. An der WU (also den Ausgangsdaten) ändert sich ja nichts, nur weil ich die abbreche und wie gesagt, die WU wird sowieso mehrfach ausgegeben. Das es dann wieder in eine Warteschlange kommt, mag sein. Aber dann steht es eben schon früher wieder in der Warteschlange. Da käme es dann drauf an, wie lange die Warteschlange ist und wie schnell die üblicherweise durchläuft.

 

[define]

Wenn dann nicht das Problem mit dem Bonus durch Abbrüche wäre.

 

[Liesel Weppen]

Wenn dann nicht das Problem mit dem Bonus durch Abbrüche wäre.

Nur am Anfang.

Du hast schon ~2700 WUs fertiggestellt und vermutlich eine Completionrate von >95%. D.h. dü müsstest jetzt sofort ~400 WUs am Stück abbrechen um unter die 80% zu rutschen.

Und ausserdem soll ja genau das verhindern, das Leute cherry-picken, indem sie WUs solange droppen, bis sie eine kriegen, bei der sie Max-PPD erreichen. Aber ein einigermaßen "eingefahrener" Account hat idR genug Luft um es sich leisten zu können hier und da mal eine WU abzubrechen.

Ich breche ja auch nicht ständig ab. Tu ich ja nur dann, wenn mir irgendwas dazwischen kommt und ich deswegen die WU pausieren müsste.

 

[lipschitzer]

Erst wenn alle 5 ein Ergebnis zurückgeschickt haben, wird abgeglichen ob das Ergebnis auch 5mal identisch ist

mir hat gemini irgendwann mal gesagt, dass die mehrfachausgabe vor allem auch zur redundanz ist. also dass quasi eine WU z.B. 5 mal ausgegeben wird, aber nur 3 identische ergebnisse erforderlich sind, um das ergebnis zu verifizieren und die nachfolgende WU zu generieren. ist wohl standard bei so distributed computing sachen, weil man sonst zu sehr vom einzelnen peer abhängen würde, der droppen oder failen, oder einen rechenfehler enthalten könnte. gibt da bestimmt auch analysen/theorien, wie stark man optimalerweise aufdoppelt und welchen anteil man zur verifikation fordert, um mit einem gegebenen netzwerk schnellstmöglich und dabei ausreichend sicher (erwarte fehler pro 10^x WUs) voranzurechnen.

PS: ..also ein einzelner abbruch ist nicht ganz so kritisch, aber es sollten nicht alle beliebig pausieren. deshalb auch der anreizmechansmus.

 

[Liesel Weppen]

Abwesenheit is rum. Die Steuerung via Windows-Aufgabenplanung hat funktioniert wie sie sollte.

Nur selbstverständlich hat Murphy's Law wieder zugeschlagen.
Ich hab "Finish" auf 19 Uhr scheduled. Mit dem Hintergedanken, das die gerade laufende WU durchaus noch bis 21, 22, 23 Uhr laufen könnte.
Nunja, um 19 Uhr wurde "Finish" gesetzt, die WU war um 19:02 fertig.

 

[Icke]

Juhu, der @Eifelaner hat nach ner etwas längeren "Gedenkminute" heute den 100 Millionen Milestone voll gemacht und sich eine Position in unserer HoF nach vorne geschoben. Schön, den nächsten dreistelligen Millionär im Fuzzi-Team zu haben.

 

[Eifelaner]

Geht schon vorran, wenn die Maschine den ganzen Tag rennt. Die zweite geb ich auf, das hat mit der 5700xt keinen sinn. Die braucht einfach zu lange um ne WU fertig zu stellen.

 

[Liesel Weppen]

Typischer Fall gerade wieder. Weil mein Akku sich mal wieder resettet hat, will ich ihn heute Nacht definitiv ganz leer kriegen, also noch schnell eine WU angeworfen.

Krieg natürlich eine 15241... 1,6Mio PPD, ETA 14h. Nach 6 Minuten war er gerade mal bei 0,3%.... Ja, ne, DUMP.

 

[lipschitzer]

15241... 1,6Mio PPD, ETA 14h. Nach 6 Minuten

in den ersten minuten ist diese vorhersage doch immer stark unterschätzend, PPD zu gering, laufzeit zu lang. in meiner Erfahrung kriege ich selbst bei den schlimmsten Projekten eigentlich nie weniger als zwei Drittel meiner durchschnittlichen PPD. nach oben hin kann es schon deutlich stärker abweichen (bis Faktor 5). wenn ich also am Anfang nur ein Viertel meiner üblichen PPD sehe, dann rechne ich damit, dass sich die laufzeit noch mindestens halbiert.

die 15241 läuft bei mir auf der 3080Ti in etwas über 5 Stunden durch (also schon eine der längsten WUs für die karte, edit: PPD mit 7,6 Mio.ganz gut). hattest du nicht eine 4070 mobile? braucht die 15241 da wirklich über 10h? vielleicht findest du sie ja in deiner WU historie.

Beitrag automatisch zusammengeführt: Heute um 07:52

andere frage: hattet ihr mal eine WU, die fertig rechnet, aber nie hochlädt? die hängt bei mir jetzt dauerhaft in der aktiven WU liste der client seite unter machines.

 

[Icke]

Da ich gestern leider aus ominösen Gründen kaum bis gar nicht mehr ins Forum kam, könnte ich meinen Jubelambitionen leider nicht nachkommen.
Aber heute möchte ich unbedingt festhalten, dass @rookbom gestern den sechs Milliarden Milestone hinter sich gelassen hat! Gleichzeitig hat er sich damit nach etwa 1,5 Fuzzi-Jahren auf Platz neun unserer HoF hochgeschoben. Nicht erst seit Deinem Mauerdurchbruch ne sehr konsequente Knüllerei.

 

[Liesel Weppen]

in den ersten minuten ist diese vorhersage doch immer stark unterschätzend, PPD zu gering, laufzeit zu lang. in meiner Erfahrung kriege ich selbst bei den schlimmsten Projekten eigentlich nie weniger als zwei Drittel meiner durchschnittlichen PPD. nach oben hin kann es schon deutlich stärker abweichen (bis Faktor 5). wenn ich also am Anfang nur ein Viertel meiner üblichen PPD sehe, dann rechne ich damit, dass sich die laufzeit noch mindestens halbiert.

Ja, die Hochrechnungen hätten sich wahrscheinlich noch wie bei den meisten WUs nach oben korrigiert. Passiert meist, wenn die WU 1% erreicht (den ersten Checkpoint). Aber wie ich schon geschrieben habe, war ich nach 6 Minuten gerade mal bei 0,3%. Ich weiß auch, das das erste Prozent meist länger dauert, aber bei allen anderen WUs, auch den langen, habe ich nach spätestens 4 Minuten 1% erreicht.
Und selbst wenn sie dann "nur" noch 7h gedauert hätte, wäre mir das zu lang gewesen.

die 15241 läuft bei mir auf der 3080Ti in etwas über 5 Stunden durch (also schon eine der längsten WUs für die karte, edit: PPD mit 7,6 Mio.ganz gut). hattest du nicht eine 4070 mobile? braucht die 15241 da wirklich über 10h? vielleicht findest du sie ja in deiner WU historie.

4060m. Und naja, wenn du damit 7,6Mio PPD schaffst und 5h dauert, dann kann es schon hinkommen, das sie bei mir auf der 4060m mit 4Mio PPD bei ~10h landen würde.

 

[Neo52]

andere frage: hattet ihr mal eine WU, die fertig rechnet, aber nie hochlädt? die hängt bei mir jetzt dauerhaft in der aktiven WU liste der client seite unter machines.

Hatte ich letzte Woche erst wieder, weil kein Internet anlag, als die WU fertig war und danach hat er es irgendwie nicht geschafft.
Kurz die neue WU pausiert, den PC neu gestartet und nach Sekunden war die fertige WU hochgeladen

 

[lipschitzer]

dann kann es schon hinkommen, das sie bei mir auf der 4060m mit 4Mio PPD bei ~10h landen würde.

so ähnlich also, wie diese eine 9h WU bei mir, was ja für uns überschussfalter echt problematisch ist. normal wird ja die WUs grösse abhängig nur an grosse karten vergeben, aber anscheinend wird das in seltenen fällen auch mal etwas abweichend gehandlet.

Kurz die neue WU pausiert, den PC neu gestartet und nach Sekunden war die fertige WU hochgeladen

super, danke dir! das pausieren hatte ich schon probiert, aber der Neustart zwischendurch war anscheinend notwendig.

 

[sptn.]

[...]
super, danke dir! das pausieren hatte ich schon probiert, aber der Neustart zwischendurch war anscheinend notwendig.

Du musstest also das ganze System neu starten? Ich hatte das schon einige Male an anderer Stelle. Da wurde die WU nach X fehlgeschlagenen Uploadversuchen nicht hochgeladen. Danach half nichts außer neustart. Ich dachte aber das war ein Bug der bereits gefixt wurde... Offensichtlich sollte man das noch mal als Problem highlighten.

 

[Liesel Weppen]

so ähnlich also, wie diese eine 9h WU bei mir, was ja für uns überschussfalter echt problematisch ist. normal wird ja die WUs grösse abhängig nur an grosse karten vergeben, aber anscheinend wird das in seltenen fällen auch mal etwas abweichend gehandlet.

Naja, es sieht so aus, als gäbe es da irgendeine Präferenz, das bestimmte (fette) WUs bevorzugt an große GPUs verteilt werden. Allerdings nur "sieht so aus", eine offizielle Aussage dazu das sowas tatsächlich gemacht wird oder gar wie genau das abläuft ist mir nicht bekannt.
Dementsprechend würde ich auch darauf tippen, das das eben nur eine Präferenz ist, die nicht zwingend immer eingehalten wird.

Ähnlich, wie du ja auch bevorzugte Themengebiete einstellen kannst (Alzheimer, Covid, Krebs, etc). Du kriegst trotzdem WUs aus anderen Bereichen... gefühlt sogar eher selten das was du eigentlich eingestellt hast... bin mir nichtmal sicher, ob die Einstellung überhaupt irgendwas bewirkt.

Ich hab auch keine Ahnung wie das mit den Verfügbarkeiten unterschiedlicher WUs aussieht. Die scheint auch zu schwanken. Ende Juli, Anfang August hab ich ziemlich oft die 18246 gekriegt, was mir ganz recht war, weil die bei mir 5Mio PPD erreicht, auch wenn sie 4h dauert. Dann kam die 18246 immer seltener, aber dafür die 18247 immer häufiger (4Mio PPD, 3h). Mittlerweile hab ich 18247 aber auch schon wieder seltener geworden.

 

[lipschitzer]

Du musstest also das ganze System neu starten? Ich hatte das schon einige Male an anderer Stelle. Da wurde die WU nach X fehlgeschlagenen Uploadversuchen nicht hochgeladen. Danach half nichts außer neustart. Ich dachte aber das war ein Bug der bereits gefixt wurde... Offensichtlich sollte man das noch mal als Problem highlighten.

ist ja bei mir aber auch ein spezieller Fall, weil ich per Roaming Daten in Schweden Falte, gestern habe ich zu der Zeit auch etwas an den WLAN settings das wanderfalters ändern müssen. also würde ich wegen mir jetzt erstmal keinen Fall eröffnen, wobei @Neo52 da evtl repräsentativer ist, wenn er das öfter hat.

habe für die WU übrigens nur ein Drittel der üblichen Punkte bekommen. weil der Upload 12 Stunden verzögert war. also ein gutes Beispiel für die Diskussion, die wir kürzlich hatten..

 

[Neo52]

Das Phänomen liegt bei mir eigentlich im wesentlichen vor, wenn kein Internet zur Zeit des Hochladens anliegt, dafür kann der Client ja nix.
Nur, wenn der danach wieder online ist, hat er Probleme die nachträglich hochzuladen.
Schön ist aber, dass er weiter faltet und nicht die Pipeline verstopft

 

[lipschitzer]

stimmt, dass er weiterfaltet fand ich auch ziemlich cool. aber dann scheint es ja irgendeinen timeout zu geben für das hochladen, und das finde ich eigentlich unsinnig. @sptn. vllt doch ein grund für ein highlighting?

 

[Liesel Weppen]

Früher (tm), als 24/7 Internetverbindung maximal ein feuchter Traum war, konnte man in seti@home sogar einstellen, wieviele WUs man vorab runterladen will. Hat sie dann offline durchrechnen lassen und wenn man dann mal wieder online war, alle Ergebnisse zusammen hochgeladen und gleich wieder neue WUs geholt.

Lief bei mir damals auf einem Pentium 100, der eigentlich mein ISDN-Router war, aber da die PCs damals ohnehin keine Stromsparmodi kannten, wars fast egal ob er 24/7 vollgas gerödelt oder nur geidlet hat. Hat iirc so 8h für eine WU gebraucht, und ich hab immer soviel geholt, das es für 2-3 Tage reicht.

 

[sptn.]

Das Phänomen liegt bei mir eigentlich im wesentlichen vor, wenn kein Internet zur Zeit des Hochladens anliegt, dafür kann der Client ja nix.
Nur, wenn der danach wieder online ist, hat er Probleme die nachträglich hochzuladen.
[...]

Ne, dafür kann der Client nix, aber es kann ja sein, dass man eine Faltfarm hat und 4/5/6 WUs aktiv faltet. Dann ist das Internet Weg für die Zeit X und wenn es wieder da ist muss man die ganze Farm neu booten, dass das Zeug ins Versandzentrum geht. Das kann ja so auch nicht der Sinn sein. Also es müsste dann wenigstens mit Pause/Play zu triggern sein, dass er den Uploadversuch wieder aufnimmt.

Beitrag automatisch zusammengeführt: Heute um 10:21

Naja, es sieht so aus, als gäbe es da irgendeine Präferenz, das bestimmte (fette) WUs bevorzugt an große GPUs verteilt werden. Allerdings nur "sieht so aus", eine offizielle Aussage dazu das sowas tatsächlich gemacht wird oder gar wie genau das abläuft ist mir nicht bekannt.
Dementsprechend würde ich auch darauf tippen, das das eben nur eine Präferenz ist, die nicht zwingend immer eingehalten wird.
[..]

Gibt es tatsächlich. Die WUs werden entsprechend der GPU-Species verteilt. 5090 und 5090 sind eine Klasse, wie es aber darunter weitergeht weiß ich auch nicht. Wenn es dich brennend interessiert kann ich mal fragen welche Karten in welche Gruppe fallen.

 

[lipschitzer]

Wenn es dich brennend interessiert kann ich mal fragen welche Karten in welche Gruppe fallen.

Ich fänds interessant

 

[sptn.]

Ich fänds interessant

Ah, mit etwas weiter denken hätte ich da selber drauf kommen können. Die jeweilige Spezies ist mit der GPU in der GPU.txt enthalten.

Beispiel:
0x10de:0x2b85:2:10:GB202 [GeForce RTX 5090]

Herstellercode ID in hex	Geräte ID in hex	Hersteller (1=AMD; 2=nVd)	Species	Chip	Klarname
0x10de	0x2b85	2	10	GB202	GeForce RTX 5090

Man könnte das jetzt noch in Excel einlesen und mit : getrennte Spalten usw. und dann kann man fein filtern...

 

[Liesel Weppen]

Hmm, da wo mein Client installiert ist, liegt eine gpus.json... da steht anscheinend das gleiche drin wie in der von dir verlinkten GPU.txt. Nur als JSON etwas übersichtlicher formatiert.

Aber wo kann ich denn jetzt sehen, welche WU für welche Species ist?