Rol testmanager bij selecteren van website in de cloud.

In deze blog sta ik stil bij de rol die een testmanager in het selectieproces kan spelen. Punt is dat na de selectie allerlei zaken vastliggen, dus ook productrisico’s bij de invoering en het gebruik van de geselecteerde cloud service. Welke bijdrage kan een testmanager leveren tijdens het selectieproces om die risico’s voor het selectiebesluit te managen?

In de vorige blog staan enkele eisen aan de CMS/website als basis voor selectiecriteria. Het compleet krijgen van selectiecriteria is een taak die de testmanager past: het lijkt op ‘intake van de testbasis’. Vervolgens de vraag: hoe kunnen we controleren of een kandidaat SaaS CMS aan bepaalde eisen kan voldoen? Hiervoor kan de testmanager (test)maatregelen uitvoeren vooraf aan een selectiebesluit.

Een interessante maatregel is een proof of concept (POC), waarbij de beoogde SaaS CMS wordt uitgeprobeerd met praktijkgevallen. Er hoeft niets voor worden aangeschaft of geïnstalleerd, het tijdelijk afnemen van de beoogde service (kan vaak gratis voor probeerdoeleinden) volstaat. Vervolgens worden een aantal testgevallen uitgevoerd. Als die na de uitvoering op OK staan, kan er een GO gegeven worden voor een selectiebesluit.

Terug naar het CMS dat onderwerp is van deze blog reeks. De kandidaat SaaS CMS leverancier bood inderdaad de mogelijkheid om een maand lang gratis een proef uit te voeren en een website op te bouwen. Daar is gebruik van gemaakt en de volgende ‘testgevallen’ zijn onder meer uitgevoerd.

  • menu’s maken
  • formulieren maken met verplichte velden en controles
  • evenementen aanmaken met registratiemogelijkheid
  • inlogmogelijkheid voor leden van de organisatie
  • mogelijkheid voor automatisch gegenereerde overzichten bv van nieuwitems
  • etc.
  • ook: hoe intuïtief werkt het CMS (hoe moeilijk is het om te leren)?
  • hoe vlot reageert de website?
  • is er een ‘testomgeving’?

In de volgende blog ga ik in op het aspect ‘leverancier’: met een cloud service kies je ook voor een leverancier. Leveringsvoorwaarden vormen interessante literatuur voor een testmanager in het selectieproces.

[Dit is de derde editie in een serie blogs over de migratie van een website naar een SaaS (Software as a Service) omgeving en de rol van testen in dat traject. Meer info over het testen van cloud services kan gevonden worden in het boek Testen van Cloud services.]

Het selecteren van een cloud service voor een nieuwe website.

In de vorige blog stond ik stil bij een aantal redenen, tevens voordelen om bij de herbouw van een website voor een cloud oplossing te kiezen. Ook enkele kanttekeningen kwamen aan bod. Deze keer wordt gekeken naar selectiecriteria voor het vinden van een geschikte (SaaS) cloud service.

Ik pak een paar aspecten als voorbeeld. Om te beginnen performance. Is de leverancier in staat om een omgeving te leveren waarbij een willekeurige pagina snel genoeg laadt, ook als de nieuwste nieuwsbrief (een pdf bestand van 10MB) net door 25 mensen tegelijk wordt gedownload? Hoe zit het bijvoorbeeld met filmpjes? Kunnen daar genoeg tegelijk van gestreamd worden?

Ander onderwerp: beschikbaarheid. De huidige website is momenteel soms een paar uur per week ‘in storing’ door verschillende oorzaken. Dat moet wel echt een stuk beter worden, bijvoorbeeld 99.9% up-time (max 8 uur per jaar down).

Vraag is hoe een kandidaat leverancier de eigen SaaS kwalitatief op orde houdt. Is dat volgens een gedegen ontwikkel- en testproces? Worden de klanten ingelicht over aankomende wijzigingen zodat men kan anticiperen? Kortom: is beheer goed geregeld?

Natuurlijk moet functionaliteit ook aan de orde komen. De belangrijkste processen rond de website zijn: gebruikersregistratie, evenementen en allerlei informatie en downloads die horen bij de activiteiten van de organisatie. User stories worden opgesteld om de gewenste functionaliteit te vatten en om die te kunnen toetsen aan de mogelijkheden van de potentiële website cloud service(s).

Vanwege de privé-gegevens van de gebruikers moeten we checken of de servers van de kandidaat-leveranciers wel binnen de grenzen van de EU staan. Dit in verband met de wetgeving op dat gebied.

En hoe zit het met beveiliging? Wie bij de (kandidaat-)leverancier(s) kan er allemaal bij de gegevens? Kan er een SSL certificaat worden geïnstalleerd voor het deel van de website waarvoor je moet inloggen? Hoe groot is de kans dat er een andere klant per ongeluk bij de gegevens van de organisatie kan?

Andere vraagstukken zijn: mogelijkheden om de huidige website inhoud te importeren in de cloud service, de betrouwbaarheid van de leverancier, wat gebeurt er bij een faillissement, hoe is de prijsontwikkeling, hoe gemakkelijk kan er worden opgeschaald, etc etc.

Er ontstaat zo een behoorlijke checklist, met gemak een punt of honderd! Het is natuurlijk wel de vraag hoe uitgebreid van tevoren alles in detail moet worden afgetimmerd en gecheckt. Uiteindelijk is het leveren van een CMS en platform voor een website behoorlijk standaard, dus kun je er van uit gaan dat serieuze aanbieders van cloud services op de meeste vragen een goed antwoord hebben: het is hun core-business. Hierover heb ik in en latere blog nog een leuke anekdote.

De ‘zwaarte’ van het selectieproces hangt uiteraard met het volgende samen: de risico’s van de website in de cloud omgeving! Ziehier een belangrijke link met testen! Daarover in volgende blog meer.

 

De website: naar de Cloud ermee!

Zoals door veel analisten is voorspeld: SaaS als alternatief voor eigen software krijgt een steeds groter aandeel in de groei van cloud computing. Website CMS-en maken inmiddels ook de overstap van PaaS (een CMS uitgerold op een hosting omgeving) naar SaaS (CMS en hosting zijn één).

De komende tijd doe ik verslag van het migreren van een website naar een SaaS omgeving. In deze eerste blog ga ik in op een aantal voors en tegens van een SaaS oplossing voor de website in kwestie.

De huidige website draait op een verouderde versie van Joomla, met plugins die niet meer ondersteund worden en er is maatwerk in verwerkt. Upgraden naar een up-to-date Joomla versie komt qua kosten op het zelfde neer als herbouw van de website. De architectuur van de website in combinatie met de manier waarop beheer was georganiseerd heeft de website in deze situatie gebracht. Belangrijk voordeel van SaaS is dat de verantwoordelijkheid voor bouw en onderhoud aan het CMS, het platform en de infrastructuur volledig bij de leverancier ligt. Dit is een belangrijke reden om voor een SaaS oplossing te kiezen. Bijkomend, maar niet onbelangrijk: een SaaS oplossing voor de website pakt per saldo goedkoper uit!

We hebben binnen de organisatie waar de website van is afgesproken dat we ons zo veel mogelijk voegen in de standaard mogelijkheden en onmogelijkheden van de SaaS voorziening. Dat houdt in dat we soms op bepaalde punten concessies zullen doen en accepteren dat het niet precies werkt zoals wij liever hadden gewild. We passen dan het gebruiksproces aan, zo lang dit de kritische processen niet in de weg zit. Maatwerk kan wel, maar wordt zo veel mogelijk beperkt. Met SaaS kiezen we voor een bepaalde mate van vendor-lockin: als we op een later moment weer weg willen naar andere leverancier, dan moeten we weer opnieuw beginnen.

Tijdens het selectieproces van de SaaS leverancier voor de website staan we in meer detail stil bij wat er allemaal komt kijken bij de gang naar de cloud. Daarover gaat de volgende blog.

 

Cloutest, wat kan een cloud leverancier daar eigenlijk mee?

Het moet gezegd: Cloutest leest het gemakkelijkst weg vanuit het perspectief van de gebruiker, van de afnemer van cloud services. Daar komen de diverse risico’s van de toepassing van de service in de business-praktijk het duidelijkst en breedst naar voren. Maar wat moet je daar mee als service leverancier? Grote kans dat het software-ontwikkelingsproces van de service erg lijkt op een ‘normaal’ ontwikkeltraject met ontwerp, bouw, test en vervolgens in productiename. De focus ligt vooral op he aanbieden van goed werkende functionaliteit met wel steeds meer aandacht voor performance en security. Maar wet en regelgeving en beheerbaarheid? Dat is meer voor de gebruiker/afnemer zo lijkt het.

Toch is het nog niet zo gek om als leverancier eens door de bril van de afnemer naar de eigen cloud service te kijken en te bedenken hoe zo’n service zou uitpakken. Is het bijvoorbeeld te verwachten dat een afnemer erg veel last zou kunnen hebben van andere gebruikers als het druk is? Worden er wel voldoende mogelijkheden aangeboden om aan bepaalde security-eisen te voldoen? En hoe zit het met de privacy wetgeving? Zijn dat zorgen voor een potentiële klant? Hoe meer je als leverancier de klant een stap voor bent met het inzicht geven in hoe dat kan uitpakken, hoe groter de kans dat een klant een goed gevoel krijgt bij de leverancier en daadwerkelijk de service besluit af te nemen.

10 mei: Polteq Cloutest event op herhaling.

Donderdag 10 mei j.l. werden ruim 50 extra gasten in staat gesteld om de Cloutest keynote van Martin Pol, Ruud Teunnissen, Jeroen Mengerink en Kees Blokland bij te wonen. Evenals de premiere van het verhaal op 8 maart werd de herhaling gegeven in de Eenhoorn te Amersfoort. De groep van afgelopen donderdag moest de bijdrage van Lee Copeland op 8 maart missen, maar hierdoor was er wel ruimte voor interactie met het publiek.

Enkele voorbeelden van vragen die werden gesteld.

  • Hoe moet dat met testen als je geen OTAP straat hebt voor de service?
  • Wat zegt load testen als je niet zeker weet wat de invloed van anderen is?
  • Als je de load opvoert om de elasticiteit te testen kun je dan het opschalen bij de leverancier waarnemen?
  • Hebben jullie ook stil gestaan bij juridische problemen bij faillissement van een cloud service leverancier? Wie is dan eigenaar van de gegevens/de software?
  • Betrokkenheid bij selectie is toch niet nieuw?
  • Moeten we ons als testers echt opnieuw invechten? (in selectie)
  • Loop je niet een geweldig risico door vendor lock-in?
  • Als je met testen in productie een probleem tegen komt is het toch al te laat?
  • Zou de leverancier geen Acceptatieomgeving moeten hebben om als afnemer een voorgenomen aanpassing in de service te kunnen accepteren?

We zullen in een aantal blogs nader ingaan op de vragen. We beginnen hier met het OTAP vraagstuk.

Hoe moet dat met testen als je geen OTAP straat hebt voor de service?
De vraag krijgt twee antwoorden. Om te beginnen vanuit het perspectief van de afnemer. De Productieomgeving staat voor de service die door de gebruikers wordt afgenomen. Kun je daar tests op uitvoeren? Zolang dat de gebruikers niet in de weg zit kan dat best. Een alternatief is om de service als het ware nog een keer af te nemen. Eventueel op kleinere schaal. Dan heb je dus een Testomgeving of Acceptatieomgeving gecreëerd. Of wellicht zelfs een Ontwikkelomgeving als je bepaalde instellingen of configuratie wilt uitproberen. Net zoals bij virtualisatie is het mogelijk net zoveel omgevingen te creëren als nodig. Die kunnen allemaal productiegelijk zijn omdat precies dezelfde service wordt afgenomen. Doordat de huur van de omgevingen eenvoudig kan worden opgezegd zijn er geen investeringen in apparatuur nodig.

Het perspectief van de leverancier ziet er traditioneel uit: die moet een informatiesysteem (de service) ontwikkelen, testen en in de lucht houden. Die zal dus het volledige OTAP register open moeten trekken. De afnemer ziet uiteraard alleen de Productieomgeving.

OTAP afnemer met 1 cloud service

In het Cloutest boek hoofdstuk 5.4 “Testen rond beheerbaarheid” wordt uitgebreid stil gestaan bij het omgevingenvraagstuk.