Phing i Fabric - budowanie i deployment aplikacji

Aplikacje webowe potrafią urosnąć do dużych rozmiarów - wprzypadku znacznej części z nich, instalacja aplikacji na serwerze wykracza daleko poza przekopiowanie jej poprzez serwer FTP. Z tego powodu stworzone zostały narzędzia, dzięki którym nasza aplikacja może zostać w powtarzalny sposób przygotowana do instalacji, a następnie zainstalowana na wskazanym serwerze.

Najpopularniejszym narzędziem do budowania aplikacji PHP jest Phing, program wzorowany na systemie Ant, znanym ze świata Java'y. Z kolei do instalacji web-aplikacji na serwerze, czyli deploymentu, jedną z opcji jest system Fabric. W czasie wykładu postaram się pokazać do czego można wykorzystać Phinga, i jak - nie znając Pythona - napisać proste skrypty dla Fabrica.

Transcript

1. PHING I FABRIC Budowanie i deployment aplikacji webowych Leszek Krupiński PHPers #1, 20 maja 2013 r.
2. Leszek Krupiński @leafnode http://leafnode.pl/
3. 2001: FAQ pl.comp.lang.php
4. 2001: Tłumaczenie podręcznika
5. 2001: Tłumaczenie podręcznika W e’re hiring!
6. Kilka konferencji, kilka wykładów, jedno szkolenie, kilka artykułów, jeden wywiad.
7. OBECNIE Bezpieczeństwo, scalability, architektura
8. DO RZECZY Dużo slajdów, nie zwracajcie na nie większej uwagi
9. CO BUDOWAĆ? Generowanie plików statycznych, dynamicznych, minimalizacja, konfiguracja, parametryzacja, spełnianie wymogów (uprawnienia)...
10. PO CO AUTOMAT?
11. BRAK PORZĄDKU WPROWADZA ZMIANY http://www.flickr.com/photos/jasonpoon/3926723912/ © Jason Poon, CC-BY-NC-SA
12. POWTARZALNOŚĆ Za każdym razem brak błędu lub te same błędy http://www.flickr.com/photos/legofenris/4641828205/ © leg0fenris, CC-BY-NC-SA
13. WIARYGODNE PRZYGOTOWYWANIE PAKIETÓW WYJŚCIOWYCH http://www.flickr.com/photos/snowblink/2228929261/ © Jon Lim, CC-BY-NC-ND
14. REJESTRACJA BAZY WIEDZY http://www.flickr.com/photos/jezpage/4047231133/ © Jeremy Page, CC-BY-NC-ND
15. PHING PHing Is Not GNU make
16. Wzorowany na Apache Ant
17. CECHY • Łatwy do rozszerzania • Składnia XML • Gotowe taski integrujące z popularnymi pakietami • Wywoływanie kodu PHP
18. INSTALACJA Poprzez PEAR: pear channel-discover pear.phing.info pear install phing/phing $ phing -v Phing 2.5.0
19. INSTALACJA Poprzez Composer: { "require": { "phing/phing": "2.5.0" } } $ ./vendor/bin/phing -v Phing 2.5.0
20. PROSTY PLIK BUILDU Zazwyczaj nazywany build.xml
21. <?xml version="1.0" encoding="UTF-8"?> <project name="FooBar" default="dist"> <target name="prepare"> <echo msg="Making directory ./build" /> <mkdir dir="./build" /> </target> <target name="build" depends="prepare"> <echo msg="Copying files to build directory..." /> <echo msg="Copying ./about.php to ./build directory..." /> <copy file="./about.php" tofile="./build/about.php" /> <echo msg="Copying ./browsers.php to ./build directory..." /> <copy file="./browsers.php" tofile="./build/browsers.php" /> <echo msg="Copying ./contact.php to ./build directory..." /> <copy file="./contact.php" tofile="./build/contact.php" /> </target> <target name="dist" depends="build"> <echo msg="Creating archive..." /> <tar destfile="./build/build.tar.gz" compression="gzip"> <fileset dir="./build"> <include name="*" /> </fileset> </tar> <echo msg="Files copied and compressed in build directory OK!" /> </target> </project>
22. COŚ PROSTSZEGO
23. <?xml version="1.0" encoding="UTF-8"?> <project name="HelloWorld" default="hello"> <target name="hello" description="Wyświetla powitanie"> <echo msg="Hello, world!" /> </target> </project>
24. Buildfile: /home/leafnode/phing/1/build.xml HelloWorld > hello: [echo] Hello, world! BUILD FINISHED Total time: 0.0630 seconds
25. SKŁADOWE PLIKU • Project • Target • Task • Property
26. PROJECT Główny węzeł pliku, zawiera jeden lub więcej celów (targets)
27. TARGET Grupa zadań wykonywanych jako całość
28. ZADANIE Element którego wykonanie ma wykonać pewną funkcję
29. PROPERTY Zmienna
30. <?xml version="1.0" encoding="UTF-8"?> <project name="HelloWorld" default="hello"> <target name="hello" description="Wyświetla powitanie"> <property name="imie" value="Jasio" /> <echo msg="Cześć, ${imie}!" /> </target> </project>
31. WBUDOWANE PROPERTIES os.name, php.version, user.home itp. http://www.phing.info/docs/guide/stable/chapters/appendixes/AppendixA-FactSheet.html#BuiltInProperties
32. ZEWNĘTRZNE PROPERTIES Łatwa konfiguracja buildu
33. LINIA POLECEŃ phing -Dimie=”Zbyszek”
34. ZEWNĘTRZNY PLIK <property file="./build.properties" />
35. # Pary klucz/wartość #klucz=wartość # This dir must contain the local application build.dir=../ # Credentials for the database migrations db.host=localhost db.user=user db.pass=password db.name=example # paths to programs progs.mysql=/usr/bin/mysql
36. Buildfile: /home/leafnode/phing/3/build.xml HelloWorld > hello: [property] Loading /home/leafnode/phing/3/./build.properties [echo] Cześć, Jasio! BUILD FINISHED Total time: 0.0657 seconds
37. WIELE TARGETÓW
38. <?xml version="1.0" encoding="UTF-8"?> <project name="HelloWorld" default="hello"> <target name="hello" description="Wyświetla powitanie"> <property file="./build.properties" /> <echo msg="Cześć, ${imie}!" /> </target> <target name="bye"> <echo msg="Papa!" /> </target> </project>
39. DOMYŚLNIE WEDŁUG ATRYBUTU Wskazanie konkretnego targetu: $ phing nazwa_targetu
40. BLOKOWANIE URUCHAMIANIA RĘCZNEGO “-” przed nazwą targetu
41. ZALEŻNOŚCI
42. <?xml version="1.0" encoding="UTF-8"?> <project name="HelloWorld" default="bye"> <target name="hello" description="Wyświetla powitanie"> <property file="./build.properties" /> <echo msg="Cześć, ${imie}!" /> </target> <target name="bye" depends=”hello”> <echo msg="Papa!" /> </target> </project>
43. Buildfile: /home/leafnode/phing/5/build.xml HelloWorld > hello: [property] Loading /home/leafnode/phing/5/./build.properties [echo] Cześć, Jasio! HelloWorld > bye: [echo] papa BUILD FINISHED Total time: 0.0797 seconds
44. WIELE ZALEŻNOŚCI depends="pre-init, build, package"
45. RĘCZNE WYWOŁYWANIE TARGETÓW Np. narzędziowych
46. <target name="process"> <echo msg="Processing ${data}" /> </target> <target name="build"> <phingcall target="process"> <property name="data" value="some data" /> </phingcall> </target>
47. ZEWNĘTRZNY PLIK
48. <phing phingfile="utils.xml" target="bazingify"> <property name="bazinga" value="meh" /> </phing>
49. IMPORTOWANIE CAŁEGO PLIKU <import file="build.utils.xml" />
50. PRACA NA ZBIORACH PLIKÓW
51. <target name="copyfiles"> <copy todir="/tmp/deploy"> <fileset dir="." includes="**/*.php" /> </copy> </target>
52. ZŁOŻONE WARUNKI
53. <fileset dir="." includes="**/*.php"> <and> <size value="1024" when="more" /> <date datetime="20-05-2013 18:00" when="after" /> </and> </fileset>
54. FILTRY
55. <target name="copyfiles"> <property file="./build.properties" /> <copy todir="/tmp/deploy"> <filterchain> <replacetokens begintoken="@@" endtoken="@@"> <token key="DBNAME" value="${db.name}" /> <token key="DBUSER" value="${db.user}" /> <token key="DBPASS" value="${db.pass}" /> </replacetokens> </filterchain> <fileset dir="." includes="**/*.php" /> </copy> </target>
56. ZMIANA NAZW PLIKÓW
57. <mapper type="glob" from="*.bat" to="*.txt"/>
58. <mapper type="regexp" from="^(.*)\.ent\.xml$" to="\1.php"/>
59. INSTRUKCJE WARUNKOWE
60. <if> <equals arg1="${foo}" arg2="bar" /> <then> <echo message="The value of property foo is bar" /> </then> <else> <echo message="The value of property foo is not bar" /> </else> </if>
61. <condition property="isMacOrWindows"> <or> <os family="mac"/> <os family="windows"/> </or> </condition>
62. PĘTLE
63. <foreach param="filename" absparam="filename" target="print"> <fileset dir="."> <include name="*.php" /> </fileset> </foreach>
64. INTERAKCJA <input propertyname="env" defaultValue="dev">Jakie środowisko?</input>
65. WYWOŁYWANIE FUNKCJI PHP <php function="strtoupper" returnProperty="builddir"> <param value="${tag}" />
66. PRZEGLĄD TASKÓW
67. <-- List the contents of "/home". --> <exec command="ls -l" dir="/home" /> <-- Start the make process in "/usr/src/php-4.0". --> <exec command="make" dir="/usr/src/php-4.0" /> <-- List the contents of "/tmp" out to a file. --> <exec command="ls -l /tmp > foo.out" escape="false" />
68. <-- Exit with message --> <fail message="Failed for some reason!" /> <-- Exit if ${errorprop} is defined --> <fail if="errorprop" message="Detected error!" /> <-- Exit unless ${dontfail} prop is defined. --> <fail unless="dontfail" message="Detected error!" />
69. <mail tolist="user@example.org" subject="build complete">The build process is a success...</mail>
70. <chmod file="/home/test/mine.txt" mode="0500" verbose="true" />
71. <svncopy username="user" password="pass" repositoryurl="svn://localhost/phing/trunk/" todir="svn://localhost/phing/tags/1.0"/> <svnexport repositoryurl="svn://localhost/project/trunk/" todir="/home/michiel/dev"/> <svnlastrevision repositoryurl="svn://localhost/project/trunk/" propertyname="lastrev"/> <echo>Last revision: ${lastrev}</echo>
72. <gitinit repository="${repo.dir.resolved}" /> <gitclone repository="git://github.com/path/to/repo/repo.git" targetPath="${repo.dir.resolved}" /> <gitpull repository="${repo.dir.resolved}" all="true" />
73. <docblox title="API Documentation" destdir="apidocs" template="new_black"> <fileset dir="./classes"> <include name="**/*.php" /> </fileset> </docblox>
74. <jsMin targetDir="docroot/script/minified" failOnError="false"> <fileset dir="docroot/script"> <include name="**/*.js"/> </fileset> </jsMin>
75. <phpunit codecoverage="true"> <formatter type="xml" todir="reports" /> <batchtest> <fileset dir="src"> <include name="**/*Test.php" /> </fileset> </batchtest> </phpunit>
76. <zip destfile="output.zip"> <fileset dir="build"> <include name="**/*.php" /> </fileset> </zip>
77. DEPLOYMENT Fabric
78. CZEMU NIE DEPLOYMENT PRZEZ PHING? Można, ale XML.
79. ZDALNE POLECENIE
80. <?xml version="1.0"?> <project name="sshtest" default="main"> <target name="main"> <ssh username="username" password="password" host="192.168.1.200" command="pwd" /> </target> </project>
81. <ssh username="username" password="password" host="192.168.1.200" command="pwd" property="mypwd" display="false" /> <echo>The present working directory is ${mypwd}</echo>
82. KOPIOWANIE PLIKÓW
83. <scp username="john" password="smith" host="webserver" todir="/www/htdocs/ project/"> <fileset dir="test"> <include name="*.html" /> </fileset> </scp>
84. MIGRACJA BAZY DANYCH
85. <dbdeploy url="sqlite:${project.basedir}/data/db.sqlite" userid="dbdeploy" password="dbdeploy" dir="${project.basedir}/data/dbdeploy/deltas" /> http://dbdeploy.com/documentation/getting-started/rules-for-using-dbdeploy/ <pdosqlexec src="deploy.sql" url="sqlite:test.db"/> http://www.liquibase.org/ <liquibase-update jar="/usr/local/lib/liquibase/liquibase.jar" classpathref="/usr/local/lib/liquibase/lib/mysql-connector- java-5.1.15-bin.jar" changelogFile="./changelogTest.xml" username="liquibase" password="liquibase" url="jdbc:mysql://localhost/mydatabase" />
86. CZEMU NIE CHEF LUB PUPPET?
87. DUŻO POTRAFIĄ Kimberly Vardeman CC-BY-SA
88. UŻYWANIE JEST SKOMPLIKOWANE Frank Bruns-Ballhausen CC-BY-SA 3.0/de
89. WYMAGANE DODATKOWE ZASOBY http://www.flickr.com/photos/rolohauck/3432135840/ © Roland Hauck, CC-BY-NC-SA 2.0
90. (i wolę Pythona od Ruby’ego ;) )
91. INSTALACJA
92. pip install fabric
93. INSTALACJA PIP easy-install pip
94. INSTALACJA EASY-INSTALL apt-get install python-setuptools
95. WINDOWS • Ze strony python.org: • instalator python • instalator setup-tools • easy_install pip • pip install fabric
96. PLIK WEJŚCIOWY Zwykły kod Pythona fabfile.py
97. from fabric.api import run def host_type(): run('uname -s')
98. $ fab -H localhost,linuxbox host_type [localhost] run: uname -s [localhost] out: Darwin [linuxbox] run: uname -s [linuxbox] out: Linux Done. Disconnecting from localhost... done. Disconnecting from linuxbox... done.
99. ARGUMENTY
100. def hello(name="world"): print("Hello %s!" % name) $ fab hello:name=Jeff Hello Jeff! Done.
101. Polecenie lokalne: local
102. from fabric.api import local def test(): local("phing unittest") def commit(): local("git add -p && git commit") def push(): local("git push") def prepare_deploy(): test() commit() push()
103. Polecenie zdalne: run
104. def deploy(): deploy_dir = '/var/www/app' with cd(code_dir): run("git pull") run("phing")
105. DZIAŁANIA INTERAKTYWNE
106. def deploy(): deploy_dir = '/var/www/app' with settings(warn_only=True): if run("test -d %s" % code_dir).failed: run("git clone user@host:repo.git %s" % code_dir) with cd(code_dir): run("git pull") run("phing")
107. TASKI from fabric.api import task, run @task def mytask(): run("a command")
108. REAKCJE [my_server] run: test -d /srv/django/myproject Warning: run() encountered an error (return code 1) while executing 'test -d / var/www/app' [my_server] run: git clone user@pass:repo.git /var/www/app [my_server] out: Cloning into /srv/django/myproject... [my_server] out: Password: <enter password> [my_server] out: remote: Counting objects: 6698, done. [my_server] out: remote: Compressing objects: 100% (2237/2237), done. [my_server] out: remote: Total 6698 (delta 4633), reused 6414 (delta 4412) [my_server] out: Receiving objects: 100% (6698/6698), 1.28 MiB, done. [my_server] out: Resolving deltas: 100% (4633/4633), done. [my_server] out: [my_server] run: git pull [my_server] out: Already up-to-date.
109. PRZYKŁAD
110. from fabric.api import * from datetime import datetime env.hosts = ['appserver'] def get_ts(): d = datetime.now() return d.strftime("%Y-%m-%d_%H-%M") def deploy(): ts = get_ts() with cd("/var/www"): run("mkdir app-"+ts) put(".", "/var/www/app-"+ts) build("/var/www/app-"+ts) with cd("/var/www"): run("rm app") run("ln -s app-"+ts+" app")
111. PYTANIA?
112. LINKI http://www.phing.info/ http://fabfile.org/
113. DZIĘKUJĘ :) http://speakerdeck.com/leafnode/