Opening an issue to discuss the Condenser/Hivemind problem ... and to find a solution

denmarkguy (76) · 10 months ago

I am not a developer, but I appreciate you taking this up... and hopefully something can be done.

In the distant past, there always seemed to be somewhat of a "disconnect" between the witnesses/developers and "Steemit" and it's my sincere hope that this gap can be closed a bit and everyone working towards creating a better and more stable Steemit experience... something that can work well until (hopefully!) @the-gorilla's modernization efforts can be implemented.

With the crypto markets possibly sitting on the beginning of a new bull market run, it would very much benefit Steemit's future to be in good working order for the inevitable influx of new users, if the token price really takes of!

$0.77

10 votes

moecki (71) · 10 months ago (edited)

Thank you, I also hope that we can do something to fix the errors.

"disconnect" between the witnesses/developers and "Steemit"

I think we need to show more activity. I really can't tell you whether there is any communication between the top witnesses. I'm not one of them myself and only have sporadic contact. For me, it's too quiet overall for a communication platform. Of course, you can argue that we are witnesses of the blockchain and not of Steemit. But what use is the best Steem BC if there are few or poor opportunities for bloggers to use it? We don't even need to start talking about the need to work on the chain itself.

something that can work well until (hopefully!) @the-gorilla's modernization efforts can be implemented.

For Gorilla's work to really come into its own, the database has to be right and the right data has to be delivered. Without this, his modernisation will unfortunately also come to nothing... Unfortunately, a beautiful appearance is not worth much if there is a problem on the inside...

$0.51

the-gorilla (75) · 10 months ago (edited)

This problem definitely makes Engagement Challenging.

moecki (71) · 10 months ago

... and we don't even get an invitation ;-D

$0.27

the-gorilla (75) · 10 months ago

Nobody gets invited... but everybody plays.

wakeupkitty (76) · 10 months ago

It's good to hear at least someone tries to figure out what's going on.

I spoke some who said they do NOT experience any problems. Can be it is true, or I spend too many hours on this platform.

It seems to me the issues are getting worse (last 2 months) everything posted disappears.

I installed 'SteemPro mobile' and noticed they show a part of what I can't see if I use steemit.com

The app gives notifications of votes
The app shows upvotes and if the post is already forwarded by me and not everything '0'

I started using asecond browser for reading, commenting and it looks as if that one shows more too - notifications. I can be mistaken.

🍀❤️

$0.59

moecki (71) · 10 months ago

Yes, SteemPro displays more because the data comes from Steemchiller's SDS. He runs his own database and makes their data available for app development.
I haven't actually tried it, but it probably would have been quicker if we had built in his database requests as a fallback level...

wakeupkitty (76) · 10 months ago

Perhaps it helps if users know this. It can be of help if it comes to commenting and upvoting till the problems are solved.

$0.09

weisser-rabe (76) · 10 months ago

Du Held, Du! Auf der einen Seite wundert es mich, daß noch keiner der beiden was geäußert hat. Auf der anderen Seite wundert mich viel mehr, daß es immer noch neue erstaunte Anfragen gibt von Leuten, denen die Probleme jetzt erst auffallen. Dieses Steem-Universum ist und bleibt rätselhaft ;-))

$0.55

9 votes

moecki (71) · 10 months ago (edited)

Danke, mich wundert es ebenfalls. Leider fällt es aber auch mir schwer, jetzt zu sagen, wann es eigentlich angefangen hat. Vielleicht hast du dazu ja einen Tipp. Es wäre zur Einordnung der Fehlerquellen schon hilfreich. Ich würde bald meinen, dass wir schon vor Dezember 2023 Schwierigkeiten hatten. Irgendwo wird es sicher Kommentare oder Posts dazu geben, die man durch unsere bekannten Such-Tools bestimmt auch finden kann, aber vielleicht ist dir da auf Anhieb was im Gedächtnis.

Mir fielen auch ein paar Gründe ein, warum es manchen (vielen?) nicht auffällt, wenn keine oder wenige Kommentare angezeigt werden, aber wer will schon wieder so negativ denken ;-)

$0.30

michelangelo3 (71) · 10 months ago

Eigenartig, dass mir dein Post erst nach drei Tagen auffällt und das auch nur, weil @pennsif ihn in seinen News dankenswerterweise erwähnt hat. Ich schau täglich in meinen Feed, dass ich deinen Post übersehen habe ist unwahrscheinlich aber nicht unmöglich :-)

Jedenfalls super, dass du bei der Geschichte dran bleibst! Leider kam bisher keine Reaktion von @ety001, @justyy oder sonst jemand, der sich auskennt.

Hab gerade einen kleinen Nebeneffekt entdeckt:

Nach dem Vote auf weisser-rabe sein Kommentar machte es "wups" und - dein Kommentar wird wie von Geisterhand sichtbar. Spooky Steemit ;-)

Auf steemit wurden mir übrigens ausschließlich Kommentare der ersten Ebene angezeigt, alles andere lost in space...

$1.31

9 votes

moecki (71) · 10 months ago

Tja, es ist verrückt. Das Verhalten ist so unstetig. Es lässt sich nicht nachvollziehen.
Wo du es schreibst: Habe das mal anhand anderer Beiträge überprüft, es werden nur Kommentare der ersten Ebene angezeigt... bis die Kommentare oder der Post ausgezahlt werden. Dann wird nämlich der aktuelle Content von der Blockchain geholt.

Das passiert übrigens auch unmittelbar nach einem Vote. Deshalb siehst du dann auch sowohl den aktuellen Vote-Betrag als auch die Replies. Wenn du dann neu lädst... schwups... sind sie wieder weg...

Wie ich schon remlaps schrieb, vermute ich ganz stark, dass die Kommunikation mit dem steemd-Knoten nicht mehr reibungslos funktioniert. Soweit ich herausgefunden habe, verarbeitet der von steemit keine batch-requests mehr, also mehrere requests in einer Abfrage:
Wie dies zum Beispiel:
[{"jsonrpc":"2.0","id":1,"method":"condenser_api.get_content","params":["remlaps","re-moecki-202437t19729701z"]}, {"jsonrpc":"2.0","id":2,"method":"condenser_api.get_content","params":["michelangelo3","sa1m6v"]}]
Das wird in Hivemind an verschiedenen Stellen gemacht. Sicherlich um die Abfragezahl zu reduzieren. Wenn man so eine Abfrage aber an api.steemit.com schickt, gibt's einen Fehler. Nun weiß ich natürlich nicht, ob dies schon immer so war. Ich meine, das würde man in den logs sehen, aber es spricht ja keiner mit uns...

ety001 hat zumindest das Issue auf sich assigned und meinen Kommentar im Discord gesehen, aber mehr auch nicht...

Als nächstes würde ich mich auf die Vote-Verarbeitung stürzen. Deren Anzeige ist total unzuverlässig. Vielleicht bringt mich das einer Ursache ein wenig näher. Nach meinem Hivemind-Datenbestand habe ich nämlich 134 Notifs und bei Steemit "nur" 67...

$1.38

weisser-rabe (76) · 10 months ago

Jein. Im November und Dezember gab es einige kleine Auffälligkeiten. Pegelten sich aber jeweils recht schnell wieder ein. Damals war auch mehr das Problem, daß man steemit.com tageweise gar nicht öffnen und später keine langen Posts mehr veröffentlichen konnte. Wir behalfen uns mit Alternativen...

Was wir momentan erleben, begann in der Form um den 16.1. herum. Da habe ich den ersten Austausch dazu auf dem Discord.

$0.36

moecki (71) · 10 months ago

Ich danke auch dir für die Einordnung. Dein Zeitrahmen deckt sich mit dem von remlaps.

$0.21

chriddi (73) · 10 months ago

Schau mal, am 21.1.24 hat Soulfuldreamer diesen „Hackerbeitrag“ geschrieben.
Los ging das ganze aber definitiv zwei Wochen vorher. Mit kleineren Auffälligkeiten (Verzögerungen, fehlende grüne Markierung eigener Votes) befinden wir uns tatsächlich bereits Ende Dezember… 😔

$0.80

7 votes

soulfuldreamer (73) · 10 months ago

And it had been happening way before that... :(

_{Posted using SteemPro Mobile}

$0.29

moecki (71) · 10 months ago

Stimmt, an den Beitrag kann ich mich auch erinnern. Ich kann mich aber auch erinnern, dass ich während des Lesens damals schon dachte, dass es schon ein wenig länger die Probleme gab.

chriddi (73) · 10 months ago

Ich kann mich aber auch erinnern, dass ich während des Lesens damals schon dachte

😁... Ja, ich dachte auch, was müssten wir uns nun von "jungen Steemians"... Haha, klare Sache: Das Ding war bereits mindestens drei bis vier Wochen am laufen. Wenn nicht noch länger - definitiv Ende Dezember. Unsere Vermutung...

$0.09

remlaps (75) · 10 months ago (edited)

I know so many of these words from almost 4 years of daily DuoLingo German lessons, but I still get almost nowhere trying to read the sentences. 😕 Some day...

Update after translating: This is the first time I remember seeing something similar. Jan. 21.

$0.36

moecki (71) · 10 months ago

Schön, dass du es versuchst :-) _{Nice that you're trying :-)}

Thank you for being able to determine the beginning so precisely. I really would have thought that it would have taken longer... unfortunately that doesn't match one of my other theses.

$0.44

5 votes

remlaps (75) · 10 months ago

I just went back and read the conversation again. At the time, I mentioned that I was previously aware of votes and posts showing up late, so I guess January 21 would be "at the latest", but it almost certainly started some days or weeks earlier. TBH, It seems to me like we've been having problems ever since the end of August, when the apparent dos attack happened. For example, this SteemDB link ground to a crawl after that outage, and it is still only caught up to September 10. (I used to use it in one of my PowerBI graphs.) From my vantage point, there's no way to tell whether these problems are all interrelated or not.

$0.54

moecki (71) · 10 months ago

Correct, I strongly assume that the measures introduced at the API node to prevent the attack now also cause Hivemind not to receive the data reliably. However, I cannot check this without the help of ety001. I hope he will reply, or we can get in touch in some other way. But perhaps he has already checked this himself. We don't know anything for sure, as nothing is being communicated...

It's very difficult to know where to start. The behaviour is pretty inconsistent. I have been able to observe and reproduce some things, but not others...

$0.86

7 votes

remlaps (75) · 10 months ago

Correct, I strongly assume that the measures introduced at the API node to prevent the attack now also cause Hivemind not to receive the data reliably.

Interesting. So, the rate-limiting is too slow for hivemind to keep up(?). I have never learned to understand the hivemind architecture, but that theory is definitely consistent with the link, above. It still appears to be updating, but it's glacially slow. For example, when I glanced at it on the day I posted the comment above, it showed 8 rewards from September 10. Now, it shows 11.

$0.25

moecki (71) · 10 months ago

the rate-limiting is too slow for hivemind to keep up(?)

Maybe. In addition, the way requests are handled has obviously been changed. I explained here that the batch requests may have been disabled... and also the request limits... maybe all together. But I'm almost convinced that Hivemind itself is fine, except for the caching delays...

The votes are very strange (differences). This is my next step of investigation.

$0.27

maxinpower (73) · 10 months ago

Super, dass du da so dran bist. Bei mir kann ich jetzt nicht einmal die eigene "Post-Seite" öffnen. "Blog" geht noch, aber dadurch konnte ich zum Beispiel meinen letzten Beitrag nicht mehr selber resteemen, um ihn von "Post" zu "Blog" zu schieben.

$0.41

moecki (71) · 10 months ago

Ja, es sind schon seltsame Erscheinungen.
Es ginge viel einfacher, wenn ich wüsste, welche Einstellungen die Server so haben. So muss ich versuchen, das irgendwie nachzustellen...

$0.30

maxinpower (73) · 10 months ago

Vor allem da die Probleme bei jedem User wohl anders sind. Zum Beispiel werden bei einigen Profilen die richtigen Votes angezeigt und ich kann auch in die "Post"-Spalte gehen. Bei mir zum Beispiel sehe ich das beides nicht. Leider scheint es von den Entwicklern wenig Response dazu zu geben, so dass wir wohl noch länger damit zu kämpfen haben werden.

$0.25

moecki (71) · 10 months ago

Ja, mir ist das leider auch zu ruhig, aber wer weiß...

remlaps (75) · 9 months ago

Fixed? I'm seeing better looking numbers in the upvu web site now. Old posts are still missing data, but it seems like current transactions are being reflected (at least for now...).

$0.39

chriddi (73) · 9 months ago

Ja, die Frage hätte ich auch gern beantwortet.
Erzähl mal, Moecki - kann man dem Ende (?) des Spuks vertrauen? So zuverlässig scheint es mir im Vergleich steemit.com/steemitdev.com noch nicht zu sein. Aber letzteres Frontend ist so langsam geworden. Hm. Immer wieder was Neues… 🤷‍♀️

$0.56

7 votes

moecki (71) · 9 months ago

Tja, so richtig wird man das wohl nicht wissen, es sei denn, es gibt doch noch mal einen Kommentar dazu.
Ich würde jetzt erst einmal davon ausgehen, dass der Fehler gefunden wurde. Es wäre natürlich schon sehr schön, zu erfahren, was es denn nun war, aber... naja, das alte Problem halt...

$0.43

chriddi (73) · 9 months ago

naja, das alte Problem halt...

seufz

$0.29

chriddi (73) · 9 months ago

Okay, klappt immer noch nicht--- :-(
Gerade nochmal deinen gesamten Post aufgeklappt, dachte ich "Hä, ich hatte doch die meisten Kommentare gevotet..." Die Votes wurden mir soeben nicht angezeigt, auch keine Folgekommentare... :-(
Auf steemitdev.com kann ich beides sehen...

$0.14

moecki (71) · 9 months ago (edited)

Ich weiß nicht mehr, wem ich es geschrieben habe, aber die fehlgeschlagene Verarbeitung der Operationen in Hivemind wird nicht nachgeholt. Erst bei einem Payout werden die Daten in Hivemind mit den Daten auf der Chain abgeglichen.

Heißt: Sobald ein (in der Fehlerzeit erstellter oder gevoteter) Post und Kommentar ausgezahlt wurde, sieht man wieder alles wie gewohnt.
Den Unterschied sieht man gut im Thread meines oder deines Posts. Da kannste genau sehen, welche Kommentare schon ausgezahlt oder nach Herstellung der Funktionsfähigkeit erstellt wurden.

Heißt weiter: Im Moment kein Grund zur Sorge... :-)

$0.16

chriddi (73) · 9 months ago

Im Moment kein Grund zur Sorge... :-)

Ist mir grad auch alles so richtig egal: Ich bin heute Schafsmami geworden... 🥰

$0.19

moecki (71) · 9 months ago

Da sind die Prioritäten natürlich klar. Habe den Bericht darüber auch schon gelesen. :-D

moecki (71) · 9 months ago

I don't know for sure. But it seems to be the case. There is no official information. There was no reply to my comment a few hours earlier. Just like to the others...

The failed processing of old operations is not repeated (unless the synchronisation of the entire block fails). The Hivemind data is only updated with the chain data at payout. Then everything should be fine again... until the next... no, we think positively ;-)

$0.46

pennsif (79) · 10 months ago

This post has been featured in the latest edition of Steem News...

The Steem News @ 7 March 2024 : Steem Representatives - Applications Open...

$0.21

worldofxpilar (71) · 10 months ago

Thank you for supporting @wox-helpfund

Your post is manually rewarded by the
World of Xpilar Community Curation Trail

STEEM AUTO OPERATED AND MAINTAINED BY XPILAR TEAM
https://steemit.com/~witnesses vote xpilar.witness

"Become successful with @wox-helpfund!"
If you want to know more click on the link
https://steemit.com/@wox-helpfund ❤️

$0.21

boomerang (56) · 9 months ago

This post has received a 100.0 % upvote from @boomerang.

$0.00

moecki (71) · 9 months ago

Da sage ich doch glatt: Danke...! :-)
_{...an die unbekannte Person :-)}

$0.03

soulfuldreamer (73) · 9 months ago

Why such anonymoity though... Lol

When I wrote that post, I really hoped that my silly solution to the problem would somehow reveal a way to figure it out. I'm no developer but I'm a science student. And we have been taught various approaches to solve a problem. I did highlight that when you upvote the post, the missing votes appear magically. However, I was told by a very experienced user that I should not do that and instead use an alternative interface. My reaction was like, "Really"?

I did feel silly about my post. 🫣

The problem seems to be solved, you yes thank you to the unknown. 🫠

Nevertheless a big fat thank you to you for opening this issue. For making the much needed noise.

$0.11

moecki (71) · 9 months ago

Hm, I don't quite understand your answer to my comment.

Why such anonymoity though

I don't know that either. My comment about the "unknown person" simply meant that I don't know the person who controls this Booming account.

When I wrote that post

Why that post? Which post are you referring to? I'm guessing you mean this post. But how does it relate to my comment?

The problem seems to be solved, you yes thank you to the unknown. 🫠

Yes, the problem was solved, but not by an (the?) unknown person. You can see here a short comment about it.
In hindsight, it sounds pretty simple. The lack of communication from the Steemit team is still incomprehensible...

Nevertheless a big fat thank you to you for opening this issue. For making the much needed noise.

I understand that :-) ... and thank you very much :-))

$0.03

soulfuldreamer (73) · 9 months ago

My comment about the "unknown person" simply meant that I don't know the person who controls this Booming account.

My bad. Ok I get it now 🫣

And thanks to etty01

$0.08