lagacy-documentation icon indicating copy to clipboard operation
lagacy-documentation copied to clipboard

Dezentralisierung der Daten

Open Kuurusch opened this issue 8 years ago • 53 comments

Hallo zusammen, habt ihr euch schon Gedanken über die dezentrale Speicherung der Daten gemacht? Klar wird das Projekt am Anfang sicher auf einem Server laufen können. Sollte das Ganze aber skalierbar sein, müsste man sich schon jetzt Gedanken über die Hardware/ das Netzwerk dahinter machen und wie die Platform noch funktioniert, wenn einige millionen Menschen sich darauf tummeln. Wenn man sich Google und Facebook anschaut, betreiben die riesige Serverfarmen rund um den Globus. Ich denke, Human Connection sollte sich hier einen anderen Ansatz überlegen, wenn es unabhängig bleiben will.

Habt ihr schon von IPFS gehört? Ist auch ein relativ junges Projekt, könnte aber für Human Connection wichtig werden!!

Kuurusch avatar Jan 03 '17 12:01 Kuurusch

Hi Kuurusch, ein sehr Interessanter Gedanke! Von IPFS direkt hab ich noch nicht gehört, aber von dem Prinzip vom Content-Addressed Storage.

Auch eine interessante Idee finde ich, dass jeder Post, den man selber macht, auch selber hostet. Fast jeder hat irgendwo einen privaten Speicher in der Cloud. Wenn er einen Post macht, werden diese Daten in seiner Cloud gespeichert und von dort können diese Daten abgefragt werden (mit entsprechenden Sicherheitsmechanismen etc.). So hat der User selber auch seine Daten tatsächlich in der eigenen Hand!

Aber wie du schon sagst, für den Anfang sind solche Dinge natürlich erstmal nicht realisierbar, sollte man aber definitiv im Hinterkopf behalten!

boehsermoe avatar Jan 05 '17 06:01 boehsermoe

Ja, IPFS ist momentan gerade im übergang von alpha zu beta. Aber es funktioniert schon sehr gut und ist ziemlich krass in der performance. Wenn du zum Beispiel einen Film in IPFS aufrufst, wird er praktisch unmittelbar gestartet, als ob du ihn auf der eigenen Festplatte hättest.

Das was du erwähnst, dass jeder User seine Daten selber hostet, wurde beim EnigmaBox-Projekt in einer Twitter-ähnlichen App umgesetzt. Funktioniert dort auch sehr gut! Man müsste dort halt auch irgendwie schauen, dass die Daten genügend verteilt sind.$

Hier noch einen Link zu einem Vortrag über IPFS: https://www.infoq.com/presentations/data-ipfs-ipld

Und hier ein Beispiel einer einfachen Website, die in IPFS gehostet ist: https://ipfs.io/ipns/atnnn.com/p/ipfs-hosting/

Kuurusch avatar Jan 05 '17 10:01 Kuurusch

@boehsermoe Die "cloud" ist ja genau das was man eigentlich vermeiden möchte. Man möchte eben nicht das private Daten in irgendeinem firmen RZ liegen, sondern das es eben private gehostet wird.

@Kuurusch absolut! IPFS und dezentrale ansätze sind genau der richtige weg.

@Human-Connection

Wie im Issue #5 angesprochen würde ich dem Projekt ganz stark eine Zusammenarbeit empfehlen.

Also wenn es geht die technische Expertise, sozusagen "outsourcen" and die open source community ( von gnusocial oder akasha.world z.b.) und dann sich darauf zu konzentrieren wie man Projekte tatsächlich am besten umsetzen kann.

Die Ideen und Motivation hinter dem Projekt sind toll. Aber wenn die dezentralen Projekte tatsächlich mehr Aufmerksamkeit als facebook oder google erreichen wollen dann müssen sie langsam anfangen eben Kooperation zu praktizieren. Es muss erst eine kritische Masse entstehen die in Summe dann größer als Facebook ist.

AndreasS2501 avatar Feb 24 '17 19:02 AndreasS2501

Ja ich denke es wäre wichtig die Gedanken von HC bei Akasha einzubringen! Ich mach das mal im Buggtracker von Akasha, bin die Alpha-Version am testen und hab eh schon andere Issues gemeldet

Kuurusch avatar Feb 24 '17 22:02 Kuurusch

ich finde es auch sehr spannend. habe mal jemand bescheid gegeben sich hier mit reinzuhängen.

aber mal ehrlich .. bevor man beginnt das pferd neu aufzuzäumen .. sollte man mal schauen was da ist .. Diaspora .. ist ein dezentrales netzwerk .. und es ist opensource https://diasporafoundation.org/ der Quellcode : https://github.com/diaspora/diaspora/

und sonst so: MATRIX ist eine netter opensource ansatz. https://matrix.org/ TiDB is a distributed NewSQL database compatible with MySQL protocol https://github.com/pingcap/tidb hier mal eine nette übersicht von projekten: https://github.com/redecentralize/alternative-internet

ogerly avatar Mar 01 '17 07:03 ogerly

Ich bin gerade erst vor ein paar Tagen diesbezüglich mit zwei IPFS Entwicklern im IRC darüber informiert worden, dass die Vorteile von verteilten und zentralisierten Systemen quasi pervertiert sind.

Eine sichere Möglichkeit einen persönlichen Account zu verwalten ist auf einem verteilten System derzeit noch nicht möglich soweit diesen Personen bekannt. Es gibt dazu ein paar Ideen, die sich momentan in einer pre-alpha befinden.

Während also viele Dinge, wie Performance/Last und Zensurresidenz bei verteilten Systemen schon vom Konzept her sehr viel sinnvoller sind, resultiert das auch in Herausforderungen die vorher noch quasi nicht einmal möglich gewesen sind.

Darüber hinaus möchte ich darauf hinweisen, dass es einen Unterschied zwischen dezentralen und verteilten Systemen gibt: centralized-decentralized-distributed

Wenn es rein um das speichern und abrufen von Daten geht, ist IPFS auch jetzt schon produktiv einsetzbar, auch das hosten von statischen Webseiten ist möglich.

ShalokShalom avatar Mar 01 '17 13:03 ShalokShalom

Ja, aber z.B. die Kombination von IPFS und ETHEREUM scheint da eine Lösung zu sein. Das Projekt AKASHA scheint relativ gut zu funktionieren.

Hab die Jungs von AKASHA jedenfalls mal auf HC aufmerksam gemacht. Mal schauen...

Kuurusch avatar Mar 01 '17 19:03 Kuurusch

gut würde ich es finden sich als HC Team an ein zukunftsträchtiges projekt zu hängen oder an zwei oder drei .. in diesem gebiet wurde so viel von vielen leuten schon erarbeitet .. das es wirklich eine zeitverschwendung wäre dies selber alles zu machen .. vielleicht täusche ich mich auch .. und die ganze sache ist nur gehirnschmalz .. und ein überschaubares script .. aber ich denke damit wird es nciht getan sein .. würde mich freuen wenn wir mal dazu einen videochat machen könnten ..

ogerly avatar Mar 02 '17 12:03 ogerly

bei dem AKASHA projekt ist ja auch Vitalik Buterin dabei. der war jetzt letztens in wien und hat das vorgestellt.

ogerly avatar Mar 02 '17 12:03 ogerly

Absolut! Ich habe den CEO von Akasha gefragt, ob er eine Möglichkeit sieht für eine Zusammenarbeit mit HC und er zeigte sich offen! Ich denke HC sollte jetzt erstmal ihren Prototyp fertig machen. Dann aber mit Akasha sprechen inwiefern eine Zusammenarbeit möglich ist. Ich denke die Grundlagen für eine echte P2P Anwendung haben sie, jetzt müsste man nur die Ideen von Dennis als eine Community in Akasha umsetzen. Ich denke das ist möglich!

AndreasS2501 avatar Mar 06 '17 06:03 AndreasS2501

Top, coole sache Andreas! Da bin ich ja gespannt :)

Kuurusch avatar Mar 06 '17 08:03 Kuurusch

Für alle, die sich tiefer mit dieser Thematik beschäftigen wollen, gibts hier ne Gruppe: https://www.facebook.com/groups/314949818871513/?fref=ts

Ich weiß, dass Facebook dazu vielleicht ein klein wenig unpassend ist, am liebsten ist mir ja eine Alternative, die schon auf dem Peer 2 Peer Konzept steht.

Ganz allgemein halte ich es für sehr stark an der Zeit für eine Plattform, auf der sich alle Projekte treffen.

ShalokShalom avatar Mar 12 '17 21:03 ShalokShalom

Ich glaube ich habe heute jemanden von Mattermost im Akasha SLACK gesehen. Ich fände es so toll wenn die humanConnection ein matter most aufsetzen würden: https://www.mattermost.org/features/ diese Skype chats sind IMO absolut ungenügend... Ich glaube auch ich habe @ShalokShalom schon im Akasha SLACK gesehen ^^°

AndreasS2501 avatar Mar 13 '17 20:03 AndreasS2501

@ShalokShalom Hallo Matthias, du versuchst also über die facebook gruppe links zu sammeln. Ich denke das ist ein erster schritt.

Ich gebe dir recht das es Zeit für eine "Plattform" wird in der sich die dezentralisierungs Projekte treffen.

Hier ein paar Gedanken von mir zu dem Problem:

  1. Es gibt zuviel Content bzw Content Quellen als das eine Person oder sogar eine Gruppe von Menschen zu dem Thema in seiner vollständigen Breite, informiert bleiben könnte. Die Leute welche über tieferes Wissen verfügen bleiben eher auf ihren Kompetenz inseln. Weil das kurz/mittelfristig ja auch erstmal produktiv ist. (wie man konkret am beispiel sehen konnte Akasha und HC zur Zusammenarbeit zu bewegen gut sehen konnte)

2.Wir brauchen eine Karte über Personen und deren Projekte. Diese sollte jedoch in einer groben Filterung von einer Software erstellt werden. Es gibt Leute die sich mit openSource beschäftigen und die soetwas schreiben können, aber diese müsste man erstmal , ebenfalls :) , zur Zusammenarbeit überreden, oder eben eigene Kompetenzen aufbauen. So jemand wäre z.b. https://twitter.com/amuellerml Für HC oder Akasha so jemanden an Bord zu haben wäre schon mal ein wichtiger Schritt.

  1. Wenn diese Karte vorhanden ist kann man vielerlei Dinge damit tun. Dann kann die Karte sich schnell in eine art Kompass verwandeln :) Es könnten Projekte aufgezeigt werden die wirklich ähnliche Ziele haben. Nun ist das aber mit der Open Source so eine Sache, zusammenarbeit zwischen Projekten mit nur "ähnlichen" Zielen ist leider relativ selten. Die entscheidene Fähigkeit unserer Plattform wäre nicht nur die automatische Überwachung von dezentralem Content ( Punkt 2) sondern das es Mechanismen verwenden würde welche die Leute tatsächlich zur Zusammenarbeit bringen würde ( überzeugungsdiskussion? Crowdfianzierung? Open Source Team mangement?)

Ich denke wir brauchen weniger "Plattformen" im klassischen Sinne , weniger einzelne Posts oder einzelne Projekte. Als das wir Karten, Zusammenhänge benötigen. Wir brauchen Tools(Visualisierungen?) um neue! Zusammenhänge zu finden und dann noch einmal neue Tools bzw. Wege der Kommunikation, der Abstimmung des Community Managements um sinnvolle Anforderungen aufzunehmen, sie zu Testen bzw. simulieren.

also in etwa ein Bunter Mix aus: colony.io, , https://golem.network/ ,https://commiteth.com, Gnosis/Augur und DAOs :) und jeder Menge Leute aus der OS Community

was denkst du @Kuurusch dazu? ^^°

AndreasS2501 avatar Mar 13 '17 22:03 AndreasS2501

Die Leute von den verschiedenen Projekten sind jedenfalls interessiert. Wie macht Akasha das jetzt mit dem Login?

Das hier ist eine potenzielle Methode: https://github.com/solid/solid-signup

ShalokShalom avatar Mar 17 '17 00:03 ShalokShalom

@AndreasS2501 Ja ich geb dir vollkommen recht. Es braucht unbedingt eine Übersicht über verschiedeme Projekte mit ähnlichen Zielen. Es wäre schade, wenn HC neue Ideem auf alter Technologie aufbauen würde. Vor allem haben wir meiner Ansicht nach nicht mehr so viel Zeit. Youtube beginnt nun damit bei alternativen Nachrichten keine Werbung mehr zu schalten, weil sie nicht werbefräundlich seien und schneidet somit diesen kleinen Kanälen die Finanzierung am. Amazon beginnt massenweise Bücher zu verbannen usw. Es muss was kommen, welches die neuen guten Ideen unterstützt und verbindet.

Kuurusch avatar Mar 20 '17 14:03 Kuurusch

@ShalokShalom Ich denke es wird ein Ethereum account erstellt ( im Moment noch auf deren eigener Testblockchain)

UPort ist ja ein favorit für Login/Identitätslösungen auf Ethereum basierend. Auch Akasha und Status wollen uPort implementieren. Also denke ich sollte man bei uPort schauen bzw nachfragen inwiefern dort "solid" unterstützt wird.

AndreasS2501 avatar Mar 21 '17 08:03 AndreasS2501

@Kuurusch So ein Projekt wie HC auf die Beine zustellen ist nicht einfach. Ich denke tatsächlich erstmal ist es sinnvoll wen sie das was sie jetzt angefangen haben so weit fertig bekommen das sie auch mit einem OpenSource release leben können.

Ich habe jetzt bei human connection als auch Akasha angefragt. Und sogar schon jemanden für die Mitarbeit gefunden. Jetzt bräuchte man tatsächlich "nur" noch das die beiden Projekte ihre Quellen tatsächlich offenlegen. Dann könnte man sich mal genau anschauen und ggf. schon erste schritte machen in Richtung: Human Connection auf Akasha

Ich bin gespannt was die nächsten Wochen bringen.

Zum thema Youtube: ja eine P2P Alternative für YT hätte ich auch gerne, wird aber wohl noch eine weile dauern...

AndreasS2501 avatar Mar 21 '17 09:03 AndreasS2501

Ja, die Projekte bremsen ihre Entwicklung gern, weil sie sich für ihren Code schämen. Kommt mir jedenfalls so vor. Niemand erwartet eine top integrierte, fertige und perfekte Lösung. Das geht doch am Sinn von open source Entwicklung vorbei, imho.

Als Youtube Alternative bietet sich vielleicht Play auf ZeroNet an: https://torrentfreak.com/play-p2p-impossible-shutdown-160301/

PopcornTime und Joker sind ja down.

ShalokShalom avatar Mar 22 '17 10:03 ShalokShalom

Ja ZeroNet ist ein Projekt und es gibt noch viele Weitere: MaidSafe, storj, Freenet, i2P es gibt so viele.

Zumindest Storj scheint jezt zu ethereum zu wechseln:

http://www.coindesk.com/storj-migrate-decentralized-storage-service-ethereum-blockchain/

aber es ist noch ein lange weg bis genügend synergie effekte da sind um den usern den umstieg auf das Web 3.0 endgültig schmackhaft zu machen.

Es muss ja nicht jeder Service auf Ethereum laufen. Aber eine Suchmaschine oder etwas ähnliches was alle dezentralen Dienste unterstützten wäre eine tolle Sache

AndreasS2501 avatar Mar 23 '17 21:03 AndreasS2501

Aber eine Suchmaschine oder etwas ähnliches was alle dezentralen Dienste unterstützten?

ShalokShalom avatar Mar 29 '17 21:03 ShalokShalom

S wär einfach mal an der Zeit, alle peer to peer Dienste zu sammeln und auf einer Plattform zu diskutieren. Find ich. Die Listen hier auf Github mischen distributed und dezentral, also ob einfach mehrere Server oder eben gar keine dezidierten Server verwendet werden.

https://github.com/retrohacker/awesome-p2p https://github.com/dennismartensson/awesome-peer-to-peer https://github.com/hackerkid/Awesome-P2P https://github.com/steve-vincent/awesome-decentralized

Dann gehts natürlich darum, diese Programme einer Revision zu unterziehen und so weiter. p2p.cloud könnt ich mir zum Beispiel als URL vorstellen

Insofern könnten dann auch diese ganzen Projekte dann einmal anfangen, intensiver zusammenzuarbeiten und so weiter. :)

ShalokShalom avatar Mar 29 '17 21:03 ShalokShalom

Gavin Wood von Erhereum hat ja bereits das "polkadot" Projekt zur Verbindung von Blockchain Projekten angestoßen.

Wie jedoch alle verschiedene Technologien (P2P filesharing) mit Blockchains und anderen zusammen spielen ist leider mehr oder weniger offen...

AndreasS2501 avatar Apr 02 '17 16:04 AndreasS2501

Tim Berners Lee hat den Turing Award erhalten, hier wird das ganze bei HackerNews diskutiert (natürlich auch das "offene" Web) https://news.ycombinator.com/item?id=14031452

Dort wurde z.b. https://indieweb.org/ erwähnt.

@ShalokShalom vielleicht kannst du das ja aufnehmen in deine Liste , Also ich finde es eine gute Idee eine Liste erstellen, wir sollten grobe Kategorien haben wie: ist noch aktiv, größe aktive Community, technologie stack, was meinst du?

AndreasS2501 avatar Apr 05 '17 09:04 AndreasS2501

Ja, das klingt zielführend.

Das oben schon angeführte Solid ist ja von Tim Berners Lee Initiative.

Dankeschön für Indieweb, dies hier sieht mir auch nach einer Alternative für ein Login System aus: https://indieweb.org/distributed-indieauth

ShalokShalom avatar Apr 05 '17 10:04 ShalokShalom

Das hier wurde auch in den Kommentaren erwähnt: https://github.com/tootsuite/mastodon/issues Ist wohl ein Neuauflage von Gnusocial, Ich denke Gnusocial z.B.: ist so ein Kandidat der sehr groß ist.

Wenn dieses Projekt dezentralisiserung und Blockchains ( für Identitätsmanagement) unterstützen würde wäre ein erster Großer schritt getan.

Was sagt dir der Begriff "Self Souvereign Identity? Soweit ich weiß ist auf der Ethereum Plattform uPort solch ein Identitäsprovider.

Wo hast du deine Liste wie sieht die im Moment aus?

Edit2:

https://www.urbit.org/posts/overview/

Ich hatte schon einmal vor längerer Zeit von Urbit gehört, hat sich anscheinend entwickelt. Das sollte man auch aufnehmen.

Je mehr man schaut, desto mehr findet man ^^° Es wird teschnisch und sozial wirklich ein vermittlungs kraftakt sein diese separaten Inseln zu vernetzen. Sobald es aber beginnt sollten die synergie Effekte wirklich jeden überzeugen... Was bei Urbit auch noch interessant ist, sie erkennen die Koplexität der heutigen System eindeutig als Problem an. Das ist löblich, in dieser Richtung wird viel zu wenig geforscht :/

AndreasS2501 avatar Apr 05 '17 12:04 AndreasS2501

Ha! Gestern noch über "mastodon" gesprochen heute beitrag bei heise:

Hier ein Kommentar der es IMHO absolut auf den Punkt bringt:

https://www.heise.de/forum/heise-online/News-Kommentare/Dezentral-und-Open-Source-Ist-Mastodon-das-bessere-Twitter/Das-Problem-der-Alternativen/posting-30207809/show/

Wenn HC ein Erfolg werden soll ist es, neben der Implementierung der "eigentlichen" Idee ( Kategorien, tools, aktion button etc..) ist es mindestens genau so wichtig eine Vernetzung zu betreiben.

Kompatibilität mit GNU Social oder Mastodon wäre ein Anfang. Aber das ist wichtig. Das muss von Anfang an als Prio 2 auf dem Programm stehen.

AndreasS2501 avatar Apr 06 '17 08:04 AndreasS2501

Wie es aussieht gibt es bereits eine "Föderation": hubzilla, Dispora, friendica https://the-federation.info/

AndreasS2501 avatar Apr 06 '17 12:04 AndreasS2501

Nun, wie schon einmal bemerkt, halte ich die Unterscheidung von verteilten, also reinen P2P Systemen und dezentralen, also mehreren Servern und reinen Clienten - für essenziell.

Von unserer Seite her gibt es eine Facebook Gruppe, die zur Kommunikation dient.

Mir geht es zusätzlich um ein Referenzprojekt das ein selbstständiges soziales Netzwerk abbildet.

Darauf können wir dann eine Seite stellen, die durch ihren inhaltlichen UND technischen Charakter den Geist des puren P2P Wesens darstellt.

Ich denke es ist sinnvoll, eine leichte mobile Variante und eine für den Desktop zu entwerfen.

ShalokShalom avatar Apr 11 '17 08:04 ShalokShalom

https://www.opengarden.com/meshkit.html

ShalokShalom avatar May 18 '17 23:05 ShalokShalom