Irgendwie erinnerte mich das an mein HTC(R.I.P.) – mal sehen ob das neue Release was hilft, aber vorsichtshalber mal die Coredumps unter Solaris aktiviert!

das diesjährige Frühjahrsfachgespräch der GUUG (German Unix User Group) fand dieses Jahr an der UNI Köln statt und ich durfte zusammen mit Björn einen 8 Stunden Workshop und einen ein stündigen Vortrag zum Thema RT halten, die wohl recht gut ankamen. Nicht nur, dass ich einige nette Leute erstmals persönlich kennen lernen konnte, haben uns ebenfalls (nach einiger Ermutigung!!!) entschlossen ein Buch über RT und Workflows/Prozesse zu schreiben.

Ebenfalls fand ich noch die Zeit mir einen sehr gutes Vortrag über iDoit anzusehen und einen richtig tollen kleinen Vortrag zum Thema Nagios/Jabber -> NagiBot.

Details sind wie gewohnt auf der GUUG Homepage zu finden.

PS: Ich hab endlich mein neues Netbook. Ich begreiffe nicht, warum Asus hier so einen scheiss Grafikprozessor verbaut, der mich nen halben Nachmittag gekostet hat um ihn zum fliegen zu bekommen, dazu aber kommende Woche mehr!

1. RT-Extension-FastGroupRights

Die Idee stammt von Stephen Turner vom MIT, der leider nicht mehr am RT dort arbeitet, mir aber gestattet hat seinen Code weiter zu verwenden und zu erweitern. Diese Erweiterung ersetzt die GroupRights.html des RT an allen Stellen durch eine Version aus dieser Extension, welche nun mehr nicht alle Gruppen mehr lädt sondern nur noch die SystemGroups, Roles und ein Suchfenster zum finden von UserDefinedGroups beinhaltet. Dieses hat den enormen Vorteil, dass bei grossen RT Installationen diese Seite nicht mehr mehrere Minuten zum laden benötigt und so die Administration nicht nur schneller sondern auch übersichtlicher macht.

2. RT-Extension-QueueDeactivatedScrips

Diese Erweiterung stammt ursprünglich von Dirk Pape von der UNI Berlin, leider hat auch Dirk nichts mehr mit dem RT zu tun und ich durfte auch Seinen Code aufgreiffen und erweitern. Diese Erweiterung gibt dem RT Admin die Möglichkeit, global definierte Scripte auf lokaler, sprich Queue Ebene gezielt zu deaktivieren. Mit dieser Erweiterung können die global definierten RT Scripte auch weiterhin bestehen bleiben und bei Bedarf (für z.B. Workflows, die anders als der normale Flow im RT ablaufen) deaktiviert werden.

Beide Erweiterungen sind im GITHUB zu finden.

Zusammen mit Kollegen Urs habe ich mir das ganze angesehen und fest gestellt, dass die Version des RT, die wir einsetzen leider ein Problem mit HTML Attachements hat, wenn eine bestimmte Konstellation eintritt.

RT 3.6.5 versucht die Mails zu parsen und anhand der Content-Type Informationen etc. heraus zu finden, wie er mit dem Attachment umzugehen hat, allerdings ist in RT 3.6.5 das Ganze sehr blöde umgesetzt und es wird bei dem Typen den wir hier hatten (text/html) leider nicht getriggert sondern nur auf text/plain. Nach ein wenig geteste und gesuche sind wir zu dem Punkt gekommen: RT 3.6.6 macht das bereits anders, wesentlich cleverer: ergo – wir müssen updaten – jetzt geht der Spass los.

RT 3.6.5: Wenn das Mail Attachment = text/plain||message||rfc822 -> encode content

RT 3.6.6: Wenn das Mail Attachment = sub(IsTextualContent) -> rufe das Modul RT::I18N auf und mache die Konvertierung damit -> darin text/plain||text/html ….

Wir haben viele, sehr viele Erweiterungen für den RT im Einsatz und wir haben vor allem noch mehr am original RT rumgeschraubt. Also schauen wir uns als erstes an, was sch zwischen RT 3.6.5 und RT 3.6.6 geändert hat – 75 Files – puh, dass ist nicht viel. Danach haben wir uns angesehen, welche davon von uns bereits für irgendwelche AddOns “vergewaltigt” wurden – 28 Files – noch mehr Glück gehabt.

Beim Vergleich der 28 Files, die wir uns genauer ansehen müssen war ich das erste Mal im Leben richtig glücklich, dass mein Chef mich immer dazu drängt alles zu dokumentieren was ich mache – alle 28 Änderungen sind perfekt Dokumentiert und leicht nach zu verfolgen.

Kommen wir aber zu dem Problem: Wir sind gerade mitten in der Migration auf RT 3.8.x und wollten diesen zwischen Schritt nicht machen, aber der Kollege, der das Problem meldete bat uns eindringlich, dass so schnell wie möglich zu fixen, da er von diesen “kaputten” Attachments sehr viele am Tag hat (Einkauf/Bestellung) und damit nicht leben kann bis Pfingsten (wo wir hoffentlich auf 3.8.x updaten).

OK, tun wir ihm den Gefallen und machen ab Montag mal die ersten Versuche mit dem RT 3.6.6 auf einer Test Kisten gegen unsere Prod DB…….

Unsere erste Idee eines 45 Minuten Vortrages wurde jetzt um ein 6 Stunden Tutorium erweitert, so dass wir im Mai in Köln neben einer kleinen Vorstellung was RT so alles kann auch die Möglichkeit haben, den anwesenden Teilnehmern etwas mehr vom RT zu zeigen.

Weitere Infos über die Veranstaltung findet Ihr unter: GUUG.DE

Björn (DESY) und ich werden am Mittwoch, den 26.5.2010 von 10-18 Uhr alles wichtige über den RT, von der Installation bis hin zum aufsetzen eines simplen Workflows erklären und am Donnerstag, den 27.5.2010 von 17:30 – 18:15 Uhr noch einmal die Vorzüge des RT für die Integration in den Firmenalltag erklären.

Ich dachte bis dato, ich hätte alle Funktionen des RT richtig verstanden und auch umgesetzt, naja – nun bin ich schlauer und habe sogar noch einiges gelernt. Richtig toll find ich die Dashboards in RT 3.8x, die im Gegensatz zu dem was ich bis dato dachte, nicht nur ein Frontend für die User sind um einfach Crons zu bauen oder irgendwas zu automatisieren, nein, man kann hiermir auch super Aufgaben bezogene eigene RT At A Glance Seiten bauen, dann brauchen die User ihr Queries nicht mehr alle auf die Startseite packen, was diese unendlich langsam macht, sondern können sich für jedes Thema quasi eine eigene Seite bauen. Natürlich ist das sicher nur ein netter Nebeneffekt für die Automatisierungsfunktionen aber für mich und meine User ein absolutes Highlight.

Weiteres Highlight sind definitiv die mit RT 3.8.7 neu dazu gekommene Möglichkeit Abhängigkeiten von CustomField Inhalten zu erstellen. Die bekannte “Category” Funktion von älteren RT Versionen bei CF’s wurde endlich sauber umgesetzt und bietet einem nun die Möglichkeit folgendes zu bauen:

CF.Hardware:

• HP
• DELL
• APPLE
• SUN
• ACER
• ASUS

CF.Software

• System
• Application

CF.System

• OSX
• Windows
• Solaris
• Linux

CF.Application

• Word
• Excel
• Powerpoint
• Outlook
• Mail
• Calendar
• Firefox

CF.Problem

• Hardware -> Bezug auf CF.Hardware
• Software -> Bezug auf CF.Software -> Bezug auf CF.System und CF.Application

Hier kann man sich jetzt also prima so called SCIM’s bauen um den Anwender oder Helpdesk User sauber durch eine Art Fragen Katalog zu führen.

Richtig geil wurde es dann bei der Vorstellung des RT 4.0 (genauer RT 3.999-Dangerous) wo Jesse uns zum einen das neue Frontend zeigte – endlich ein aufgeräumtes Drop Down Menü aber viel wichtiger: Rules – das Replacement für die bis dato verwendeten Scripte. Was in diesem Zusammenhang auch erwähnt werden muss, ist sicher die Tatsache, dass RT 4 auch endlich Queue bezogene Status mitbringt, man braucht endlich nicht mehr mit 50 Global definierten Status leben, von denen die meisten nur 3-5 nutzen.

Rules: Eine der wichtigsten Neuerungen im RT 4 sind definitiv die Rules, die man jetzt nicht wie bekannt per Hand scripten muss sondern aus einer Liste von Aktionen diverse Reaktionen des Systes definieren kann, Beispiel:

Queue A: OnQueueChange -> to Queue B -> SetStatusTo -> New Status

Wobei in Queue A die Status New, Open, Stalled und Resolved definiert sind in Queue B aber Waiting, Approved und Denied.

Diese Rules können natürlich grafisch definiert werden (naja, sie haben den üblichen Bestpractical Charme) und sind hoffentlich später im Release auch leicht erweiterbar!

Dublin:

Das Training von BPS in Europa fand dieses Jahr das erste Mal in Dublin statt und wir haben uns darauf tierisch gefreut. Zusammen mit Freund Björn von der DESY ging es am Freitag nach Dublin, ein wenig Sightseeing und Pub Bummel. Dublin ist toll, das Bier lecker, die Musik klasse aber alles zu enormen Preisen – Dublin ist teuer!

Was mich hier am meisten beeindruckte waren aber die Strassen Bands. Wir tingeln da so durch die Stadt und an jeder Ecke spielen Bands, aber nicht wie die Strassenmusiker hier in Deutschland, die gelangweilt und lustlos da rum musizieren, nein die Band spielen als wenn es das letzte Mal wäre. Wir haben hier diverse geniale Bands gesehen und von einigen auch gleich CD’s gekauft, aber besonders möchte ich an dieser Stelle 2 Bands, die wir nicht nur auf den Strassen Dublins gesehen haben, sondern auch Abends in den Pubs, die es verstanden Ihr Publikum zu verzaubern und mitzureissen.

Mutefish: Eine junge irische Folk/Punk Band die uns gleich am ersten Tag in Dublin aufgefallen ist durch eine riesen Menschentraube am Ort des Auftrittes und die Freundlichkeit der Musiker. Tolle Musiker die richtig Spass an der Musik haben, keinen Sänger aber dafür einen “Liedflötisten” -> Check Out Mutefish at MySpace or YouTube

The Riptide Movement: An St. Patricksday trafen wir in der Graften Street auf die irische Band “The Riptide Movement” welche ein tolle Mischung aus “dreckigem” Blues Rock spielen und die es mit Ihrem Debüt Album “What About The Tip Jars??” sogar auf Platz 16 der Irisch Top 100 LP Charts schafften. Cooler, mitreissender Rocksound und vier sympatische Jungs die trotz Ihrer Bekanntheit in Irland sich nicht zu fein sind auf der Strasse zu spielen! Check out The Riptide Movement at MySpace or Facebook

Sowas braucht die deutsche, ewig jammernde Musikbranche! Keine ätzenden Casting Freaks, keine DSDS etc “Stars” die niemand ertragen kann und nur Geld kosten, sondern richtige Musiker die sich Ihren Arsch abspielen um die Fans auf Ihre Seite zu bekommen!

Hier war dann erstmal Ende für mich, da mich eine Minigrippe heimsuchte und mich erstmal für 2 Tage ausschaltete, was aber die Probleme auf der DB (Backup) auch nicht löste – das Gute daran: Niemand kann mehr behaupten ich sei Schuld bei schlechter RT Performance, denn ich war nicht im Office..!

Daheim schlug mir auch gleich das nächste Problem entgegen: Mein Heimserver meinte, seine Lizenz sei nicht gültig – recht hat er, es war eine 30 Tage Trial Version, die allerdings erst seit 5 Tagen lief – die Bestellung der richtigen Lizenz war schon unterwegs! Aber wer glaubt, dass man aus einer Microschrott Home Server Trial mit Eingabe eines Lizenzkeys eine Vollversion machen kann, der hat die Rechnung ohne den Wirt, sprich M$ gemacht – eine Neuinstallation stand an (und wird hoffentlich in diesen Minuten bald fertig sein).

Wieder im Office konnten die Kollegen die Problemquelle auch schon eingrenzen und wir konnten uns heute Abend frisch ans Werk machen die Probleme zu fixen, dazu nur soviel: MySQL, NFS, SUN und Netapp in Verbindung sind eine Herausforderung, die Details dazu kommen in ein paar Tagen in meinem Wiki.

Aktueller Status: Wir haben wieder eine performante DB auf dem Backup System, immer noch kein neuen Slave aber dafür ein konsistentes Backup auf dem Filer, hier gehts dann ab Montag weiter.

Nächste Baustelle: Backup vom Filer auf das Prod System einspielen, dann davon einen richtigen DUMP machen, diesen dann erneut mit innodb-file-per-table einspielen und die verlorenen Tage nach synchen. Dann das neu aufgesetzte System als Master machen und den Slave neu aufsetzen, es bleibt also spannend.

Desweiteren warten wir händeringend auf eine Erweiterung die BPS für uns programmiert, die dann unsere Attachments aus der DB entfernt und im FS ablegt, dann haben wir wieder eine kleine DB, naja fast: Dann kommt das Spiel mit DUMP und neu Import nochmal, da InnoDB leider vergebenen Platz nicht wieder frei gibt!

Vergleich der Shredder und Ergebnisse

Ohne Index:

RT 3.6.9: 0m 29.477s

RT 3.8.6: 1m 10.415s

Mit Index und ohne Log Ausgabe:

RT 3.6.9: 0m 9.475s

RT 3.8.6: 0m 48.338s

Das hat mir keine Ruhe gelassen und ich googlete noch ein wenig heute Abend

Mit dem Ergebnis: Ich habe Shredder unter RT 3.8.x wieder auf normale Performance gebracht! Ich konnte mich an einen RT-Users Mailinglist Eintrag aus dem letzten Jahr erinnern (wer mich kennt, weiss wie schwer das ist in meinem Alter!!!) wo jemand seine Erfahrungen mit dem Shredder mitteilte.

[rt-users] RTx-Shredder speed (or lack of!)

In der Mail beschreibt Tim seine Probleme mit dem Shredder und kommt nach einiger Arbeit zu dem Ergebnis einiger Indexe in der DB (tja, einiges an Arbeit hätte er sich mit der RTx-Shredder Doku sparen können) wovon aber drei noch nicht erklärt worden sind (ich habe mir erlaubt die Indexe ein wenig um zu benennen, damit diese besser zu den restlichen passen):

• CREATE INDEX SHREDDER_TXN5 ON Transactions(Creator);
• CREATE INDEX SHREDDER_CGM3 ON CachedGroupMembers(Via, Id);
• CREATE INDEX SHREDDER_ATT1 On Attachments(Creator);

Nachdem ich in meiner RT 3.8.6 Testumgebung gerade die Indexe zugefügt habe, war ich doch platt, hier die Ergebnisse:

1. Ohne diese 3 neuen Indexe:

time ./rt-shredder –force –plugin ‘Tickets=query, Status=”new”‘
SQL dump file is ‘/opt/rt38/sbin/20091130T203105-0001.sql’

• real    0m48.338s
• user    0m10.489s
• sys     0m0.677s

2. Nach setzen des CREATE INDEX SHREDDER_TXN5 ON Transactions(Creator); Indexes

time ./rt-shredder –force –plugin ‘Tickets=query, Status=”new”‘
SQL dump file is ‘/opt/rt38/sbin/20091130T203105-0001.sql’

• real    0m47.765s
• user    0m10.646s
• sys    0m0.621s

3. Nach setzen des CREATE INDEX SHREDDER_CGM3 ON CachedGroupMembers(Via, Id);

time ./rt-shredder –force –plugin ‘Tickets=query, Status=”new”‘
SQL dump file is ‘/opt/rt38/sbin/20091130T203420-0001.sql’

• real    0m14.714s
• user    0m10.518s
• sys    0m0.647s

4. Nach setzen des CREATE INDEX SHREDDER_ATT1 On Attachments(Creator);

time ./rt-shredder –force –plugin ‘Tickets=query, Status=”new”‘
SQL dump file is ‘/opt/rt38/sbin/20091130T203601-0001.sql’

• real    0m14.181s
• user    0m10.300s
• sys    0m0.659s

Womit wir jetzt wieder im Bereich des Shredders unter RT 3.6.x wären!

Bei Fragen und Anregungen schreibt mich ruhig an.

Torsten