OpenSolaris - első blikkre <- :-)

(Sun Microsystems published the source code of Solaris 10 on June 19, 2005. Many of us – including myself - are interested of the secret which was given to the Solaris engineers and some limited external developers. I decided to download the source code and try to have fun with it... Have fun means: install, compile the kernel, install the kernel and finally upgrade the whole system binary. This article is the result of these attempts. If you are interested, come with me and have fun. (Watch out, its long! 100 pictures+descriptions))Az OpenSolaris forráskódjának lefordításához és telepítéséhez egy meglevő működő OpenSolaris rendszer szükséges. Abból sem mindegy hányas verzió, minimum a Solaris Express - Community Release Build 16-ra (kódnevén Nevada) van szükség.

Letöltöttem a Sun-tól a sol-nv-b16-x86-v[1234]-iso.zip fileokat, kibontottam a .zip archívumokat, majd rábootoltam az első CD-re.

(First of all, to compile and install the source code of OpenSolaris, you need a working OpenSolaris system. Not even a ``working'', but you need minimum Solaris Express - Community Release Build 16 (codename: Nevada)

So, I downloaded the sol-nv-b16-x86-v[1234]-iso.zip files from Sun, extracted the zip archives and booted from the first CD.)

A bootolás után az első ami szembetűnik (összehasonlítva a Solaris 10-zel) az az, hogy a Nevada bootja teljesen megváltozott. Ez a kiadás már GRUB-bal boot.

(The first thing you realize: the boot has changed (comparing to Solaris 10) in Nevada - this release boots with GRUB.)

...

...

A telepítés menete erősen hasonlít a Solaris 10 telepítésére...

(The steps of the installation is really similar to an installation of Solaris 10...)

...

A rendszer kiírja, hogy mit talált. Ha nem megfelelő állítsuk be a paramétereket...

(The system informs you about the current hardware – if its not correct we have to change the parameters...)

Teszteljük le...

(Lets test it...)

Milyen nyelven telepítünk?

(What is the language of the installation?)

...

Hálózatos gép?

(Is this a networked host?)

DHCP vagy fix IP?

(Do we use DHCP or static IP?)

Gépnév...

(What's the name of the host?)

IP cím...

(... the IP address?)

Netmask...

(... the netmask?)

Alapértelmezett átjáró megadása...

(... and the default gateway?)

Adjuk meg az alapértelmezett átjáró IP címét...

(We have to enter the IP address of the default gateway...)

Ellenőrizzük le, hogy megfelelőek-e a hálózati paraméterek...

(We have to check if the network parameters are correct...)

DNS-t használunk...

(We are using DNS...)

Domain név...

(with this domain name...)

DNS szerverek megadása...

(... and with this DNS servers)

Időzóna...

(Our timezone...)

...

Ellenőrizzük le a dátumot, időt...

(We should check the time and date...)

Adjuk meg a root jelszavát...

(Set the password of root...)

Indul a telepítő...

(And the installation begins...)

...

Licenc elfogadása...

(We have to accept the license agreement...)

Nyelvi támogatás kiválasztása...

(Selection of language support...)

Ha le szeretnénk fordítani az OpenSolarist, akkor a javasolt telepítési metódus: a teljes disztribúció telepítése...

(If we want to compile OpenSolaris, its strongly suggested to use the ``Entire distribution'' option...)

Összegzés... ha OK, akkor mehetünk tovább...

(Summary. If its OK, lets go ahead...)

Települ az alaprendszer...

(The base-system is being installed...)

Ha kész, akkor jöhet a reboot...

(Once its done, the system is rebooting...)

Már merevlemezről bootolunk... GRUB-bal...

(We are booting from the HDD... with GRUB...)

Válaszoljunk a kérdésre értelemszerűen...

(Reply to questions implicitly...)

Folytatódik a telepítés...

(And the installation goes on...)

Következik a második CD...

(The next CD please...)

...

...

Játsszuk el ugyanezt a harmadik és a negyedik CD-vel is...

(Lets do it with CD 3 and CD 4...)

Már az utolsó CD-nél tartunk...

(... and this is the last CD...)

Reboot...

Ha a rendszer elindult, akkor készítsünk a root felhasználónak ``home'' könyvtárat. Nem tudom, hogy a Solarisban miért a / a root felhasználó home-ja (~), de nekem valahogy nem logikus... Pláne, ha tele is szemeteli a rendszer a /-t.

(Once the system is started we have to create a ``home'' directory for root. I'm not sure, why the home (~) directory for root is the / directory by default... its a little bit weird, especially that the system puts a lot of other stuff into this directory.)

Állítsuk be a root shell-jét tetszés szerint...

(Change the root shell as we want...)

Hozzunk létre egy felhasználót. Készítsük el a home-ját, vegyük fel a rendszerre, adjunk neki jelszót...

(Lets create a user, create a home directory, set the password...)

Lépjünk be az elkészített felhasználóval...

(Login with our newly created user...)

Válasszuk ki a desktop környezetet...

(Choose our Desktop...)

...

A munka során a legjobb barátunk a www.opensolaris.org lesz. A szükséges infók, doksik, forráskódok, stb. onnan kiindulva szerezhetők be...

(Our best friend during this task is www.opensolaris.org. All the necessary informations, documentations, source codes etc. can be found on this website...)

Ha le szeretnénk fordítani az OpenSolaris-t, akkor szükségünk lesz a Sun Studio 10 fejlesztőeszközére. Jelenleg GCC-vel bajosan lehet fordítani az OpenSolaris-t. Most a javasolt fordító a Studio 10. Ezt letölthetjük innen. Figyeljünk oda a megfelelő architektúrára. Az opensolaris.org idevágó infói itt.

(If we want to compile OpenSolaris, we need the developer tool called Sun Studio 10. Currently, its really hard to compile OpenSolaris with GCC. The suggested compiler is the Studio 10 which can be downloaded from here. Watch out for the correct architect! Here are the related informations from opensolaris.org.)

Szükségünk lesz még néhány dologra. Ezeket letölthetjük a genunix.org-ról innen. Mire lesz szükségünk?

OpenSolaris Source 44MB
ON Build Tools for X86 879K
OpenSolaris Closed Binaries for X86 16MB
OpenSolaris BFU Archives for X86 70MB

Az első az OpenSolaris forráskódja. A második a ON fejlesztőkörnyezet, amelyben a forráskódot fordítjuk majd. A harmadik egy bináris csomag. Ebben a csomagban találjuk a Sun által forrásban ki nem adott Solaris alkotórészeket. Az utolsó egy BFU archive. Igazából ilyet fogunk mi is készíteni...

(We need a couple of more things. We can download them from this page of genunix.org. What do we need?

OpenSolaris Source 44MB
ON Build Tools for X86 879K
OpenSolaris Closed Binaries for X86 16MB
OpenSolaris BFU Archives for X86 70MB

The first is the source code of OpenSolaris. The second is the developing environment called ON, where we can compile the source code. The third one is a binary-package. This contains the binary-only packages by Sun which are not available in source. The last one is the BFU archive. Basically, this is something we are going to create...)

Töltsük le a stuffokat...

(Download the stuffs...)

Ah. Egy kis kitérő. Hasznos lehet annak akiknek gyorsan kell valami (Open)Solarisra, és nem akar fordításokkal vesződni... Az (Open)Solaris-ra gyorsan tudunk 3rd party csomagokat telepíteni a pkg-get csomagkezelő segítségével. A hasonlóság az apt-get-tel jelentős. Ahogy a képen látjuk, töltsük le a pkg_get.pkg csomagot a Blastwave.org-ról. Itt jegyzem meg, hogy a wget a rendszeren van, csak nincs a PATH-ban. Érdemes beletenni.

(Some extra information here, which can be usefully for ones who needs something for (Open)Solaris quickly, but does not want to lose time with compiling. We can quickly install third-party packages with pkg-get to (Open)Solaris. Its pretty similar then apt-get. As we can see on the picture, lets download the pkg_get.pkg package from Blastwave.org. By the way: wget is installed on the system, but it's not in the PATH...so, it's a good idea to add it into the PATH.)

Root-ként telepítsük a letöltött csomagot egy ``pkgadd -d pkg_get.pkg'' parancs kiadásával.

(Install the package as root with the following command: ``pkgadd -d pkg_get.pkg'')

Ellenőrizzük, hogy a ``wget'' biztos a PATH-ban legyen. Ha nincs, akkor állítsuk be a környezetünket...

(Be sure that ``wget'' is in the PATH! If its not there we have to set the environment first...)

Majd ha készen vagyunk, akkor tegyük fel mondjuk a kedvenc filekezelőnket egy ``/opt/csw/bin/pkg-get install mc'' paranccsal. Célszerű a PATH-ba felvenni a ``/opt/csw/bin/'' útvonalat (a PATH-ról még a későbbiekben lesz szó).

(Once we are ready, for instance lets install our favorite file-manager with this command: ``/opt/csw/bin/pkg-get install mc''. It's a good idea to add the ``/opt/csw/bin/'' to the PATH (we will discuss the PATH later))

Az kiválasztott csomag települ a megfelelő függőségekkel együtt... A telepíthető csomagok listája itt. Rendkívül hasznos ez az oldal...

(The chosen package will be installed with the necessary dependencies. You can see the usable packages on this really useful site.)

A telepítés sikerült...

(The installation succeeded...)

És működik is... :-) Kanyarodjunk vissza az eredeti ösvényre...

(... and even more: its working :-) Lets go back to our original task...)

Jöhet a korábban letöltött Sun Studio telepítése a képen látható módon. Egyszerűen csak kibontjuk a /opt alá...

(Now, we are going to install the downloaded Sun Studio as you can see on the picture: we simple extract it under /opt directory.)

Állítsuk be a PATH-ot. A kép segít, hogy mit érdemes felvenni...

(Set the PATH variable. This picture might help to figure out what is suggested...)

Ellenőrizzük, hogy a sunstudio a PATH-ban van-e...

(Be sure that the Sunstudio is in the PATH...)

Próbáljuk meg elindítani... Ha sikerül, akkor mehetünk tovább...

(Lets try to start it... if success, we can go ahead...)

Ezután szintén a /opt-ba telepítsük fel az ON Build Tools for X86 csomagot. Előbb bontsuk ki a képen látható módon egy átmeneti könyvtárba...

(Now, we install the ON Build Tools for X86 package to the /opt directory. First, extract it to a different directory as you can see on the picture...)

Majd a ``pkgadd'' paranccsal telepítsük fel. Lásd. a képen...

(... then we can install it with the ``pkgadd'' command – see on the picture)

...

...

Ott tartunk, hogy van egy OpenSolaris rendszerünk, alapszinten be van állítva a környezetünk, telepítettük a Sun Studio 10-et és az ON fejlesztői eszközöket. Ha fordítani akarunk, akkor ki kell alakítanunk egy fordító környezetet, egy ún workspace-t. A workspace tartalmazza a teljes forráskódfát, és számos olyan metaadatot, amely a fordítási folyamathoz szükséges. Itt találjuk majd meg az elkészült archive-okat, és a fordítás során képződött logfile-okat is. Az én workspace-em a /aux0/testws alatt lesz. Létrehozom a könyvtárakat, majd elkezdem kibontani az OpenSolaris forráskódját...

(Now, we have an OpenSolaris system with basic environment settings and we installed Sun Studio 10 and the ON developer tools. If we want to compile, we have to create a compiler area, called ``workspace''. The workspace contains the whole source-tree and a lots of meta-data which is necessary for the compilation. We can find the created archives and the log files of the compilation here. My workspace created under the /aux0/testws. I create the directories then I start to extract the source code of OpenSolaris.)

Ha kész, akkor bontsuk ki a Sun által zárt formában adott stuffokat is...

(When its done, we have to extract the closed binary stuffs from Sun...)

A PATH jelentős szerepet játszik a fordítás során. Ellenőrizzük újra. Figyeljünk arra, hogy a /usr/ucb ne legyen a PATH-ban, vagy ha ott van, akkor kerüljön a legvégére.

(The PATH makes sense during the compilation, so check it again. Be sure that /usr/ucb is not in the PATH or at least it must be at the end of the PATH.)

Most el kell készíteni a fordítási környezetet. Kétféle fordítási mód van. Mi a nightly build-et fogjuk elvégezni, mert ez a teljes fordítás (kernel + userland). Ha csak a kernel bizonyos részeit akarjuk lefordítani, akkor arra van egy egyszerűbb módszer is. Ahhoz egy kicsit más környezetet kell felállítani. Erre a Release Notes a bldenv(1) néven hivatkozik. Mi a nightly(1) környezetet fogjuk kialakítani... Ehhez végezzük el a képen látható másolást. Az opensolaris.sh file fogja ``irányítani'' a build folyamatot.

(Now, we have to create the compilation environment. There are two ways for compilation. We are going to do a ``nightly build'', because this is the full compilation (kernel+userland). If we want to compile only a part of the kernel then we have an easier way, but we need a different environment for that. You can find the details for this in the Release Notes as bldenv(1). We are working on the nightly(1) environment... so, lets do the copy operation on the picture. The opensolaris.sh is managing the build operation.)

Szerkesszük meg az opensolaris.sh filet. Néhány fontos paramétert be kell állítanunk:

GATE= forrásokat tartalmazó könyvtár neve, ez az alapkönyvtár
CODEMGR_WS= a workspace teljes elérési útja
ON_CLOSED_BINS= a zárt binárisok helye
STAFFER= a létrehozott login neved. Ide küldi a nightly(1) majd a leveleket. A levelekből tudjuk meg, hogy sikerült-e a fordítás vagy nem.

(We have to edit the opensolaris.sh file. Some of the necessary parameters needs to be set:

GATE= the name of the directory where the source code is – this is the base-directory
CODEMGR_WS= the full path for the workspace
ON_CLOSED_BINS= the place for the closed binaries
STAFFER= your login name. You will get the mails from nightly(1). The mails will inform you about the success or failure of the compilation.)

Opcionálisan megadhatjuk a VERSION-t is. Ez jelenik meg majd az ``uname -v''-re.

(The VERSION is an optional parameter. You can see this for the ``uname -v'' command.)

Ha beállítottuk a megfelelő paramétereket, akkor indulhat a teljes build a képen látható módon...

(If we set all the necessary parameters, we can start the build as you can see on the picture.)

A folyamatot a ``tail -f log/nightly.log'' parancs kiadásával követhetjük figyelemmel...

(We can check the process of the build using the ``tail -f log/nightly.log'' command.)

...

Nyugodtan kezdjünk neki másnak, mert ez egy kis időt igénybe fog venni. Nekem a teljes fordítás - a képen látható - 6 órát vett igénybe egy 2.4 GHz-en futó gépen, 400MB-ot használó vmware-ben. Egy 4 utas Xeon-on - az opensolaris.org szerint - ez kb. másfél óra. Ha kész a build hibátlanul, akkor a szkript elkezdi elkészíteni a cpio(1) archive-okat... Ez a folyamat csak akkor kezdődik meg, ha a fordítás hibátlan! Ha nem indul ez a folyamat, akkor ellenőrizzük le azt a levelet, amelyet a nightly(1) küldött a STAFFER-ben megadott felhasználónak!

(We can start doing something else at this point as it takes some times...For me – as you can see on the picture – took 6 hours on a machine with 2.4 Ghz CPU and with 400MBs of memory in VMWare. It's only 1.5 hours for a 4-ways Xeon according to opensolaris.org. Once the build is ready without errors, the script starts creating the cpio(1) archives. This process starts only if the compilation is perfect! If the process not starting we should check the mail sent by nightly(1) to the user defined at STAFFER.)

Következik a BFU archive-ok létrehozása. A BFU jelentése: Blindingly Fast Upgrade (vagy Bonwick-Faulkner Upgrade). A BFU-zás során a most létrejövő archive-okkal fogja a bfu ``fejbeverni'' a rendszert. Hasonlít a bfu folyamat a BSD installworld + mergemaster folyamatához.

(Now, the BFU archives are being created. The BFU means: Blindingly Fast Upgrade (or Bonwick-Faulkner Upgrade). During this process, the bfu will install the created archives to the system. Its similar to the BSD installworld+mergemaster process.)

Elkészültek az archive-ok...

(The archives are ready...)

...

Ha az archive-ok elkészültek, akkor a nightly(1) küld egy levelet. A levélből kiderül, hogy sikerült-e a fordítás...

(Once the archives are ready, the nightly(1) sends a mail. You can realize from the mail if the compilation succeeded or not.)

Olvassuk el a levelet...

(Lets read the mail...)

Nézzük meg, hogy hogyan tudjuk csak az új kernelt telepíteni. A kernel telepítésének módja az ún. Cap-Eye-Install. A kernelt + az egyéb alkatrészeit az Install(1) segítségével egy .tar csomaggá alakítjuk. Ehhez be kell lépni a usr/src/uts/<arch> (mi esetünkben az <arch> = i86pc) könyvtárba, és ki kell adni a ``Install -G kernel.foo -k i86pc'' parancsot. A -G kapcsolóval adjuk meg, hogy mi legyen a kernel ``glomname'' értéke. Ezzel a névvel jön majd létre egy könyvtár a /platform/<arch> alatt. Ide kerül majd a kenrel, és a többi bináris is. Ha nem adunk meg glomname-et, akkor a kernel telepítésekor felülírjuk a jelenlegi működő kernelünket. Ezt NEM akarjuk. Úgyhogy adjunk meg mindig ``glomname''-et. A -k kapcsoló értelemszerűen az architektúrát jelenti... Idevágó opensolaris.org oldal itt.

(Now, lets figure out how can we install the new kernel. The installation of the kernel called Cap-Eye-Install. We make a tar archive of the kernel+other utilities using the Install(1). First, we have to go to the /usr/sr/uts/<arch> (in our case the <arch> = i86pc) directory and use the ``Install -G kernel.foo -k i86pc'' command. We can defined the ``glomname'' value of the kernel with the -G parameter. This is the name of the directory created under /platform/<arch>. The kernel and the other binaries will take place here. If we don't provide a glomname, then the installation of the kernel will overwrite our current kernel...this is something we don't want now. So, lets provide a ``glomname''. The -k switch stands for the architect... More details can be found here at opensolaris.org.)

Létrejött a kernelcsomag...

(... and the kernel-package created.)

Másoljuk a /-be, majd bontsuk ki...

(Lets copy to / and extract it.)

Egy nagyon fontos lépés! Ez nincs benne a dokumentumokban! Ha kihagyod, akkot az új kerneled nem fog bootolni! Szerkeszd meg a /boot/solaris/filelist.ramdisk filet. Add hozzá az új kernel elérési útját (itt: platform/i86pc/foo)!

(This step is something really important – which is not included in the documentation. If you miss this one, your kernel will not boot. You have to edit the /boot/solaris/filelist.ramdisk file. You have to add the path for the new kernel (in our case platform/i86pc/foo))

Rebootolj a képen látható módon. Így tudod tesztelni az új kernelt.

(Reboot as you can see on the picture, so you can test your new kernel.)

Ha nem csak a kernelt akarjuk telepíteni, hanem a userspace dolgokat és konfigurációs fileokat is, akkor nem a Cap-Eye Install a barátunk, hanem a BFU. FIGYELEM! A BFU-val könnyen haza lehet vágni egy működő rendszert! Óvatosan! A BFU-záshoz a képen látható parancsot kell kiadni. Előtte BE KELL állítani pár környezeti változót, különben NEM fog sikerülni! Ezek a változók a FASTFS, BFULD, GZIPBIN változók. Idevágó opensolaris.org oldal itt.

(If we want to install other stuffs, like userspace and configuration files as well, then our friend is BFU, not the Cap-Eye Install. Warning! You can easily kill your system with BFU, so be carefully! To use BFU, you have to use the commands on the picture. Before using BFU, you have to set a couple of environment-variable, otherwise it will fail. These variables are: FASTFS, BFULD, GZIPBIN. The relating opensolaris.org page can be found here.)

Szintén be kell állítani a képen levő változókat! Ha kész, akkor TELJES elérési úttal indítsuk el a BFU-zást. Ha ez nem tesztgép lett volna, akkor nem X alatt indítottam volna. Javasolt a konzolról való indítás!

(You also have to set the variables on this picture. Once, its ready you have to execute the BFU using the FULL PATH name. If this would be a normal (non-test) machine, I would started it from the console...)

A szkript elvégzi a környezet kialakítását, végrehajtja a szükséges ellenőrzéseket...

(The script creates the necessary environment and do the necessary check-ups.)

Minden olyan szolgáltatást leállít, ami veszélyeztetheti a BFU-zást... Ha biztonságos a rendszer...

(All services can be dangerous for BFU being stopped. If the system is secure...)

... akkor megkezdődik a korábban létrehozott arhive-ok kibontása a / filerendszerre...

(... then the created archives are being extracted to the / directory.)

Ha kész az archive-ok kibontása, akkor következnek a konfigurációs file-ok...

(Once the extraction of the archives are ready, the configuration files are the next ones...)

...

..., megtörténik a loader frissítése is...

(... and the loader is being updated...)

A BFU-zás végén levő *.xml hibaüzeneteket a dokumentáció szerint figyelmen kívül lehet hagyni... A BFU végén egy post-BFU környezetben találjuk magunkat. A post-BFU környezetben rendezni kell a konfigurációs fileok frissítésekor létrejövő CONFLICT-okat. Az automatikus konfliktus feloldáshoz futtassuk el az ``acr'' parancsot. Az ``acr'' a /opt/onbld/bin és a usr/src/tools/scripts könyvtárban található. Innen tudjuk a rendszert helyrepofozni, ha valami balul ütött volna ki a BFZ-zás során... Ha valami nem sikerül, akkor kézzel kell elhárítani a hibákat. Az idevágó oldal itt. Feltétlenül olvasd el az oldalt mielőtt rebootolsz! OpenSolaris build 16-nál régebbi rendszert meg se próbálj BFU-zni, mert nem fog sikerülni!

(The *.xml error message after the BFU operation is normal and can be ignored according to the documentation. After the BFU we find ourself in a post-BFU environment. In this environment we have to fix the CONFLICTs created during the update of the configuration files. For automatic conflict-handling we can use the ``acr'' command. The ``acr'' can be found in /opt/onbld/bin and /usr/src/tools/scripts directories. This is the place of recovery for the system if something went wrong...if something is not succeeded during the BFU we have to fix it manually. Here you can find some more information. It's a good idea to ready it before you reboot. Don't try to BFU any earlier release then OpenSolaris build 16 as it will fail!)

Ha mindent rendbetettünk, akkor remélhetőleg indíthatjuk a rendszerünket!

(If everything is fixed, hopefully we will be able to start our system...)

...

...

Már az új kernellel...

(With the new kernel...)

A teljes művelet elvégzéséhez mindenképpen olvasd el az opensolaris.org Nevada projektjének OpenSolaris Developer's Reference Guide-ját. Nélkülözhetetlen a Release Notes is. Volt olyan kérdésem, amire csak ebben a Solaris Kernel Development PDF-ben találtam választ... Sok segítséget lehet kapni az #opensolaris@freenode irc csatornán.

(It's strongly suggested for the success of this operation to read the OpenSolaris Developer's Reference Guide of the Nevada project from opensolaris.org. The Release Notes is definitely is a must. I found the answer for a couple of questions at the Solaris Kernel Development PDF. Finally, you can get a lot of help on the #opensolaris@freenode irc channel.)

Jó szórakozást!

(Good luck!)

Frissítve: 2005/06/25 4:43:21

(Updated on: 2005/06/25 4:43:21)

(A képek méretének optimalizálásáért köszönet Tonda Míšek-nek)

(Thanks for the size optimization of the pictures to Tonda Míšek)

Az angol fordításért köszönet Széchy Ákosnak.

(Thanks to Akos Szechy for the english translation.)