p2p grid, socialvpn, hadoop

Sziasztok!

Szeretném létrehozni a következő generációs social networking rendszer technikai alapjait, szabad forráskódú elemekből gazdálkodva.

A rendszer célja: web-scale adatok biztonságos tárolása és az adatokon okos kis számítások gyors elvégzése...

Utánajártam, s az alábbiakat találtam kezdetnek, inspirációként:

[-] SocialVPN
This project is creating a free, open-source P2P Virtual Private Network (VPN) that seamlessly networks your computer to the computers of your friends. It extends the functionality of social networks, essentially creating a virtual network card in your computer which connects to your social network peers so you and the people you can about can easily communicate, share and collaborate.

http://socialvpn.wordpress.com/

nagyon kis okos megoldas, p2p VPN hálózatot hoz létre meglévő hálózati kapcsolatok felett

[-] Hadoop
Hadoop is a software platform that lets one easily write and run applications that process vast amounts of data.
Scalable: Hadoop can reliably store and process petabytes.
Economical: It distributes the data and processing across clusters of commonly available computers. These clusters can number into the
thousands of nodes.
Efficient: By distributing the data, Hadoop can process it in parallel on the nodes where the data is located. This makes it extremely
rapid.
Reliable: Hadoop automatically maintains multiple copies of data and automatically redeploys computing tasks based on failures.

http://hadoop.apache.org/core/

Wednesday, June 4, 2008 at 10:33pm
http://www.facebook.com/note.php?note_id=16121578919&id=9445547199&inde…

ezt használják facebook-nál, amazon-ék, yahoo, nagy datacenterekben, többszáz, ezer node-al

[-] Condor
The goal of the Condor® Project is to develop, implement, deploy, and evaluate mechanisms and policies that support High Throughput Computing (HTC) on large collections of distributively owned computing resources. Guided by both the technological and sociological challenges of such a computing environment, the Condor Team has been building software tools that enable scientists and engineers to
increase their computing throughput.

http://www.cs.wisc.edu/condor/

---

ezekből összegyúrtak egy grid-appliance nevű eszközt, egy linux alapú VM-t, ami használja már a condor nevű elosztott HTC eszközt, és van hozzá hadoop kiegészítő is:

[-] Grid-Appliance
Grid Appliance in a nutshell

The Grid Appliance is a self-configuring Virtual Machine appliance that is used to create ad-hoc pools of computer resources both within a local-area and across wide-area networks to execute high-throughput, long-running jobs.

Appliances are connected to each other through a peer-to-peer virtual network using private IP addresses called IPOP. Upon starting the appliance, it is automatically connected to a pool of resources and is capable of submitting and executing jobs using the Condor Grid scheduler. Follow the quick start guide shown in this page to start using the Grid appliance yourself.

The Grid appliance's virtual network features decentralized NAT traversal over UDP, a decentralized DHCP service supporting multiple address spaces, and self-configuring Condor pools using a Distributed Hash Table (DHT). Currently, a public infrastructure for bootstrapping such pools is running on PlanetLab; deployments on private resource pools are also supported.

http://www.grid-appliance.org/

Hadoop virtual cluster appliance
http://www.grid-appliance.org/index.php?option=com_content&view=article…

---

nos, a kérdésem az, hogy kinek lenne kedve kicsit tesztelgetni, pár TB-nyi adatot egy grid-appliance alapú hadoop clusterbe bepakolni, aztán egy pár sebességmérést végezni teljesítményfelmérés céljából

nagyon érdekelne az, hogy egy ilyen p2p rendszer mennyire képes a datacenterekben, rackekben elhelyezett hadoop installok sebességét elérni, mi van az adatkonzisztencióval egy ilyen környezetben, biztonsági kérdésekről nemis beszélve

értelemszerűen egyedül ilyen tesztet nehezen lehet megoldani, de talán itt akad egy-két arc akiket ez érdekelhet és együtt tudunk működni

szóval amolyan skype-szerű (minden hálózaton kitalál és kommuikál), elosztott adatbáziskezelőt és számítási környezetet építenénk

comments plz!

Czeglédi Lőrinc
lorinc.czegledi@gmail.com

poszt licensze: CC ShareAlike
http://creativecommons.org/licenses/by-sa/2.5/hu/