Evry ikke alene: Plutselig gikk systemene til storbanken ned for telling i 24-timers «blackout»

[Martin Braathen Røise]

Evry ikke alene: Plutselig gikk systemene til storbanken ned for telling i 24-timers «blackout»

[tommyb]

Ved en anledning gikk serveren vår ned fordi hostingsenteret vi brukte da kjørte test av nødaggregatene. Lurer litt på hvor ofte de tester utskytningssystemene for atomvåpen.

[Andre2]

Danske Bank: Stormaskiner er noe vi er meget fornøyd med... Ja, der kan man se. Svindyrt og umoderne. Ny teknologi sprer tjenester utover flere maskiner og flytter redundansen opp i lagene.

 

Det er klart at Danske Bank har eldgamle systemer og de sliter med å skrive de om til en moderene plattform. Da har man tatt veien videre og oppgradert stormaskinen i stedet.

 

Men, det er ikke veien å gå.

[Anders Jensen]

Det begynner å bli veldig mange kritiske systemer som lever på gammeldags aktiv/passiv enterprise arkitektur. Silke feil som dette vil vi se mye av fremover da det vil ta lang tid å re-designe systemene om etter en design for failure strategi med distribuert konsensus for lagring av state. Enda lengre vil det ta før beslutningstakere innser at dette faktisk er nødvendig å gjennomføre.

Til eksempel innebærer av de skumleste planene jeg har hørt om i helsevesenet at man skal sentralisere pasient systemer, men fortsette å basere de på dagens designprinsipper. Resultatet vil bli et redundant sentralisert aktiv/passiv enterprise system som når det går ned av lignede årsak som Danske bank opplevde så vil alle sykehus bli rammet samtidig. Da Ahus gikk ned i 2011 kunne man gjøre en "fail over" til Ullevåll og Rikshospitalet for 160.000 innbyggere. Det vil ikke fungere med et sentralisert system, og det vil antagelig være katastrofalt, spesielt hvis utfallet er forårsaket av en ondsinnet aktør som koordinerer inn andre "ulykker". Man kan bare håpe at dette vil bli stoppet av DSB.

En langt mer robust tilnærming ville vært å ha komplette pasient systemer på hvert sykehus, slik at om det ble avskåret fra omverdenen så vil de fortsatt ha en vesentlig lokal kapasitet. Dette vil selvfølgelig kreve en noe mer avansert metode for utveksling av data mellom systemene, men det er fullt mulig fra et teknisk ståsted. Git løser til eksempel akkurat dette problemet. Her kan du både lese og skrive til repository selv om du er offline. Event sourcing har flere pattern som kan benyttes for å synkronisere sytemene og skal du ta den helt ut så implementer CRDT (som i google docs) for dokumenter som skal kunne editeres på flere steder samtidig, sistnevnte fungerer ikke godt offline, og en kan jo diskutere hvor viktig det er å ha denne kapasiteten. Uansett bør en gå for en distribuert modell som er "offline first", for det er når det riktig smeller at en trenger systemene mest.

Endret 9. oktober 2017 av Anders Jensen

[0laf]

Ja, der kan man se. Svindyrt og umoderne. Ny teknologi sprer tjenester utover flere maskiner og flytter redundansen opp i lagene.

 

Det er derfor IBM selger splitter nye stormaskiner til millioner av kroner per stykk, og bankene kjøper.

Fordi de er umoderne og kan erstattet med enkelhet av vanlige servere som distribuerer oppover i lagene.

 

Neppe !

 

IBM bruker rundt en milliard dollar, og cirka tre år, på å utvikle hver nye modell for deres stormaskin-marked.

 

Evry har jo nettopp investert millioner i et nytt datasenter med en del nye stormaskiner, ikke fordi man ikke forstår hvordan man setter opp en nettsky, men fordi stormaskiner er så mye mer stabile, å passer bedre til den typen ting.

 

Det finnes nær sagt ingen i dag som kjører kjernebank i nettskyer av noe slag, selv om det sannsynligvis kommer etterhvert, det er ansett som vanskelig å få til, lite stabilt, og har en del ulemper.

 

Per i dag, er det ingenting som er så stabilt, sikkert og enkelt å ha med gjøre, som en stormaskin, når man har store mengder data og transaksjoner som skal behandles, selv om også stormaskiner går ned enkelte ganger, særlig Evry sine !

Endret 9. oktober 2017 av adeneo

[Alfadir]

En harddisk feiler og alt faller sammen?

[Anders Jensen]

 

Ja, der kan man se. Svindyrt og umoderne. Ny teknologi sprer tjenester utover flere maskiner og flytter redundansen opp i lagene.

 

Det er derfor IBM selger splitter nye stormaskiner til millioner av kroner per stykk, og bankene kjøper.

Fordi de er umoderne og kan erstattet med enkelhet av vanlige servere som distribuerer oppover i lagene.

 

Neppe !

 

IBM bruker rundt en milliard dollar, og cirka tre år, på å utvikle hver nye modell for deres stormaskin-marked.

 

Evry har jo nettopp investert millioner i et nytt datasenter med en del nye stormaskiner, ikke fordi man ikke forstår hvordan man setter opp en nettsky, men fordi stormaskiner er så mye mer stabile, å passer bedre til den typen ting.

 

Det finnes nær sagt ingen i dag som kjører kjernebank i nettskyer av noe slag, selv om det sannsynligvis kommer etterhvert, det er ansett som vanskelig å få til, lite stabilt, og har en del ulemper.

 

Per i dag, er det ingenting som er så stabilt, sikkert og enkelt å ha med gjøre, som en stormaskin, når man har store mengder data og transaksjoner som skal behandles, selv om også stormaskiner går ned enkelte ganger, særlig Evry sine !

Her har du vel bommet grovt på årsakssammenhengen? Grunnen til at IBM kan forvente god avsetning på sine utdaterte systemer i lang tid fremover er fordi de har kunder med enorme software investeringer knyttet til disse maskintypene. Dette er software som implementerer forretningslogikk og kan derfor per definisjon ikke kjøpes som hyllevare. Disse systemene er heller ikke designet i en tid hvor hyppig endring var et så stort tema som det er i dag, og det er lite med kompetanse å oppdrive på de. Dermed sitter kundene fast inntil videre. De fleste er nok på vei over i PaaS løsninger som flytter redundans opp i applikasjonsnivået, men det vil ta mange år før de kan migrere ut alt fra stormaskinene. Det er imidlertid ikke meg bekjent at det finnes noen som helst teknisk fordel med stormaskin kontra distribuerte modeller med design for failure strategi. Det er imidlertid en trend at distribuerte systemer begynner å ligne mer på stormaskiner. Same same but different...

[0laf]

Her har du vel bommet grovt på årsakssammenhengen? Grunnen til at IBM kan forvente god avsetning på sine utdaterte systemer i lang tid fremover er fordi de har kunder med enorme software investeringer knyttet til disse maskintypene. 

 

Jeg tror det er deg som bommer. Igjen, IBM benytter enorme ressurser på å utvikle sine stormaskiner, nettopp fordi de foreløpig er totalt overlegne i visse applikasjoner, slik som kjernebank.

 

Nå er det jo IBM som ofte leverer core-banking softwaren også, såkalt "end-to-end digitization".

Tatt i betrakting at de bruker mange milliarder norske kroner for utviklingen av hver modell de slipper av stormaskiner, og at disse koster fra 10 til 100 millioner kroner per stykk, så er det liten tvil om at IBM kunne satset på nettsky i stedet dersom det var mer hensiktsmessig, og like stabilt.

 

IBM er allerede blant de største på markedet innen distribuerte systemer.

Med produkter som SoftLayer, WebSphere osv. kunne de med enkelthet ha solgt distribuerte systemer til bankene, å tjent enda mer penger, men systemene er rett og slett ikke stabile og sikre nok enda, men det kommer kanskje.

 

Problemet er at stormaskiner er totalt overlegne når det kommer til stabilitet og evnen til å håndtere transaksjoner.

 

Den dagen banken min kjøper inn core-banking som PaaS, bytter jeg sannsynligvis bank.

Noen av de andre fordelene med stormaskin, et at man vet hvor den er, og har kontroll, som igjen øker sikkerheten. Det er ingen banker som er ved sine fulle fem som setter ut kjernebank som en innleid tjeneste på en nettsky, slik som PaaS, i det minste ikke med den teknologien som finnes i dag.

Endret 10. oktober 2017 av adeneo

[Anders Jensen]

Det som i alle fall er sikkert er at IBM ler hele veien til banken.

[siDDis]

 

Ja, der kan man se. Svindyrt og umoderne. Ny teknologi sprer tjenester utover flere maskiner og flytter redundansen opp i lagene.

 

Det er derfor IBM selger splitter nye stormaskiner til millioner av kroner per stykk, og bankene kjøper.

Fordi de er umoderne og kan erstattet med enkelhet av vanlige servere som distribuerer oppover i lagene.

 

Neppe !

 

IBM bruker rundt en milliard dollar, og cirka tre år, på å utvikle hver nye modell for deres stormaskin-marked.

 

Evry har jo nettopp investert millioner i et nytt datasenter med en del nye stormaskiner, ikke fordi man ikke forstår hvordan man setter opp en nettsky, men fordi stormaskiner er så mye mer stabile, å passer bedre til den typen ting.

 

Det finnes nær sagt ingen i dag som kjører kjernebank i nettskyer av noe slag, selv om det sannsynligvis kommer etterhvert, det er ansett som vanskelig å få til, lite stabilt, og har en del ulemper.

 

Per i dag, er det ingenting som er så stabilt, sikkert og enkelt å ha med gjøre, som en stormaskin, når man har store mengder data og transaksjoner som skal behandles, selv om også stormaskiner går ned enkelte ganger, særlig Evry sine !

 

 

Jeg er sterkt uenig, stormaskiner er verken mer stabile, sikrere eller enklere å ha med å gjøre. Commodity hardware med skikkelig software-arkitektur er en mye mer stabil, og driftssikker løsning, ikke minst fordi tilgang til dokumentasjon for disse software-komponentene er utrolig bra, som er et resultat av hvor viktig det er å ta i bruk open source! Å ha tilgang til nettsky hjelper betraktelig, selv om jeg forstår veldig godt at en vil helst ha data lagret lokalt. Her er Azure Stack veldig interessant, samtidig så kommer også Amazon med datasenter i Sverige, men det er kanskje ikke lokalt nok det heller.

 

Det som derimot er utfordrende er tilgang til den kompetansen.

[Gjest Slettet+6132]

Trur det er lurt å ikke å være så veldig bastant hverken om PaaS, Commodity Hardware eller "Stormaskin" (zOS).
Ikke sååå overbevist om dette "hippe" nye vil være hverken så mye mer stabilt eller yte bedre (skalerbart er det utvilsomt).

 

Som allerede nevnt er det (dessverre?) slik at "kjernebank" (og tilsvarende løsninger) pt i hovedsak kjører på "Stormaskin" (IBM hardware).

Og denne platformen har ikke ufortjent ry for å være "stabil".
Om den har så veldig god performance... vel.. det vil jeg ikke påstå at den har.

Som ett lite eksempel på denne "eksentriske" platform/OS så tar f.eks. en MOVE (memmove/copy) *ekstremt* lang tid når "blokkene" passerer ca 20k (mao latterlig).. pga IBM's merkelige (utgåtte) paging-arkitektur.

 

Det som stort sett medfører ustabil drift, uansett om det er PaaS eller Stormaskin er perifere systmer som lagring (SAN) eller nettverk.

 

At IBM "ler hele veien til banken" er sikkert. 
Det er så mye investert i deres løsninger av f.eks. større banker (ikke bare i Norge/Norden) at det vil ta laaang tid før dette er erstattet av noe mer moderne.

 

Dette fra en som er "insider" og for tiden en som KTLO ("Keep The Lights On")..
Denne kompetansen (stormaskin) kommer bokstavelig talt til å dø ut om 10-20 år... selv om en del indiske aktører har sett nytte-effekten (tjene penger) i å tilby support her.

[Jens Evensen]

Ja, det er ikke ufarlig å teste...

https://no.wikipedia.org/wiki/Tsjernobyl-ulykken

[Gjest Slettet-jDflNq]

En harddisk feiler og alt faller sammen?

 

Sannsynligvis så er det snakk om en RAID kontroller eller lignende, men selv det burde være redundant. Hvis de er avhengige av en harddisk så er systemet helt latterlig.

[Anders Jensen]

Trur det er lurt å ikke å være så veldig bastant hverken om PaaS, Commodity Hardware eller "Stormaskin" (zOS).

Ikke sååå overbevist om dette "hippe" nye vil være hverken så mye mer stabilt eller yte bedre (skalerbart er det utvilsomt).

Hva som er og hva som kommer er jo kontinuerlig i bevegelse. De beste og dyreste design innen et utgående paradigme kommer alltid på slutten av paradigmet som en motreaksjon på det nye paradigmet, og dette kan være både rasjonelt og lønnsomt. Det har vi sett på propellfly og nå forbrenningsmotorer i biler. Distribuerte systemer vil med tiden erstatte sentraliserte systemer, spesielt for kritiske systemer, da de har mest å vinne. Det er fundamentalt ingenting et sentralisert system kan gjøre som en distribuert system ikke kan gjøre, all den tid det består av flere sentraliserte systemer, men motsatt er det en rekke funksjonalitet du kan få i distribuerte systemer som sentraliserte ikke kan levere.

[0laf]

Det er fundamentalt ingenting et sentralisert system kan gjøre som en distribuert system ikke kan gjøre

Det kan være sentralisert, som jo er årsak nok til at banker, NAV, Skatteetaten og andre som ikke ønsker dataene sine i en sky, bruker det.

 

motsatt er det en rekke funksjonalitet du kan få i distribuerte systemer som sentraliserte ikke kan levere.

Som ?

 

Man skulle jo tro det var mye billigere og enklere å drifte systemer med en haug bladservere, å trenger man mer guffe, så slenger man på noen bladservere til.

 

Dessverre er nok sannheten en helt annen. Å eie og drifte distribuert infrastruktur koster enorme summer.

Selv om bladserverne er billigere å kjøpe, så koster det så mye innen man har fått satt det opp, virtualisert det, sikret det, å fått det til å kjøre sånn delvis stabilt, at det stort sett ikke lønner seg.

 

Det er derfor de fleste kjøper slikt som en tjeneste, fra selskaper som Amazon, Microsoft osv.

For mange, slik som stater, finansinstitusjoner og lignende. så er det rett og slett ikke et alternativ å dytte data opp til en nettsky driftet av Amazon, og å drifte et distribuert system er så mye jobb, og koster så mye, i forhold til stormaskiner, at det lønner seg ikke.

 

Legg til at det også er en særdeles god grunn til at stormaskin er nærmest enerådende i enkelte markeder, og det er stabilitet, sikkerhet og oppetid på et nivå man nærmest aldri vil få med et distribuert system, med mindre man er Amazon å har en halv million servere og et par tusen ansatte for å drifte et slikt system.

 

IBM har litt propaganda om stormaskiner som er verdt å lese -> https://www.ibm.com/support/knowledgecenter/zosbasics/com.ibm.zos.zmainframe/zconc_whousesmf.htm

[Anders Jensen]

 

Det er fundamentalt ingenting et sentralisert system kan gjøre som en distribuert system ikke kan gjøre

Det kan være sentralisert, som jo er årsak nok til at banker, NAV, Skatteetaten og andre som ikke ønsker dataene sine i en sky, bruker det.

 

Ok jeg forstår. Vi har nok forskjellig definisjon av distribuert. PaaS kan jo også kjøres on-prem og behøver ingen kobling til skytjenester. NAV og Skatteetaten er forøvrig de to som ligger lengst frem i offentlig sektor på å ta ibruk PaaS. Bak dem kommer et tyvetalls aktører i høy hastighet, blandt annet NT;

https://www.redhat.com/cms/managed-files/Norsk-Tipping.pdf De som la den ut i pdf klippet dessverre kantene

 

Tror de aller fleste av oss gikk for Openshift, mens NAV bygger sin egen løsning nais.github.io på toppen av Kubernetes, fordi de kan.

Endret 11. oktober 2017 av Anders Jensen

[quantum]

Igjen, IBM benytter enorme ressurser på å utvikle sine stormaskiner, nettopp fordi de foreløpig er totalt overlegne i visse applikasjoner, slik som kjernebank.

 

Likevel driver man stadig og faser dem ut ... et blindspor det da, eller?

[0laf]

Likevel driver man stadig og faser dem ut ... et blindspor det da, eller?

 

Gjør man det? IBM selger da vitterlig stormaskiner som hakka møkk, å har jo solgt hele avdelingen som drev med x286, altså intel-baserte servere, til Lenovo nettopp for å satse på mainframes ?

[quantum]

 

Likevel driver man stadig og faser dem ut ... et blindspor det da, eller?

 

Gjør man det? IBM selger da vitterlig stormaskiner som hakka møkk, å har jo solgt hele avdelingen som drev med x286, altså intel-baserte servere, til Lenovo nettopp for å satse på mainframes ?

 

 

 

For IBM er det neppe et blindspor. 

[0laf]

Etter et halvt århundre med stormaskiner så har de vel vist at de er pålitelige, og det er ganske unikt at en slikt platform har overlevd så lenge.

 

Hadde det vært et "blindspor" så hadde de neppe vært så populære, over så lang tid, de er vel faktisk så langt unna et blindspor man kan komme.

Endret 15. oktober 2017 av adeneo