Nutzwertanalyse zur Auswahl von Planungssoftware

An der Hochschule München standen im Wintersemester 2019/20 mehrere Gruppen von Masterstudenten an der Fakultät 09 Wirtschaftsingenieurwesen der Aufgabe gegenüber, neue Montagelinien und Fabrikabschnitte zu planen und dabei verschiedene Handlungsalternativen abzuwägen. Teil der vom Kursleiter Prof. Dr. Spitznagel gestellten Aufgabe war die Auswahl einer passenden Planungssoftware. Folglich waren gleich mehrere Bewertungsaufgaben zu lösen. Die Anwendung der Kosten-Nutzwertanalyse lag nahe.

Die Nutzwertanalyse leistet methodische Unterstützung bei der Softwareauswahl.

Die Studierenden haben uns Einblick in ihre Arbeit und die erzielten Ergebnisse gewährt und ihre Erfahrungen mit uns geteilt. Dafür bedanken wir uns sehr herzlich.

„Die Fakultät für Wirtschaftsingenieurswesen der Hochschule München zählt zu den größten und renommiertesten Talentschmieden für WirtschaftsingenieurInnen. Enge Kontakte mit der Unternehmenspraxis wirken sich positiv auf die anwendungsorientierte Lehre aus. In vielfältigen Projekten können die Studierenden unternehmerisches Handeln üben und wesentliche Schlüsselkompetenzen erwerben.“

https://www.hm.edu/

In einem der vorherigen Blogbeiträge hatten wir diese an einem Beispiel zur Bewertung von Layoutvarianten in der Fabrikplanung vorgestellt. Wir wollten diese Gelegenheit nutzen, um die Blogserie zur Nutzwertanalyse um dieses Anwendungsbeispiel zu bereichern.

Vorgehensweise zur Softwareauswahl

Grundsätzlich ist die Vorgehensweise bei der Nutzwertanalyse zur Auswahl einer Planungssoftware nicht anders, als bei jedem anderen Variantenvergleich.

  1. Festlegung der Bewertungskriterien (Ziele)
  2. Wichtung der Bewertungskriterien
  3. Ermittlung der Kosten (Aufwände)
  4. Berechnung der Nutzwerte
  5. Auswahl der objektiv besten Lösung

Voraussetzung jeglicher Bewertung von Alternativen ist jedoch das Vorhandensein derselben. Das mag trivial klingen, dennoch stellt sich das Finden einer passenden Grundgesamtheit an möglichen Planungstools in der Praxis häufig recht schwierig dar. Denn das Suchen muss strukturiert erfolgen, wenn man das Richtige finden will.

Schritt 1: Bewertungskriterien festlegen

Aus diesem Grund hatten die Studierenden zuerst die für sie relevanten Bewertungskriterien fixiert. Dies hilft, um bei der Suche nicht den Fokus zu verlieren. Denn online-Recherchen sind beliebt und die Anbieter wissen die technischen Möglichkeiten zu nutzen. So lenken sie gern die Aufmerksamkeit auf Alleinstellungsmerkmale des eigenen Produkts. Es gelangen schnell Features in das Bewusstsein des Suchenden, die das ursprüngliche Anforderungsprofil nur tangieren, anstatt es zu erfüllen.

Dies war auch den Studierenden bewusst, zumal sie als Quellen für die Suche nach zeitgemäßer Software zur Fabrikplanung insbesondere die Webseiten der Anbieter heranzogen. Aber auch Rezensionen und Gespräche mit erfahrenen Fabrikplanern lieferten Input. Konstantin Frank, Sprecher einer der 7 Studentengruppen, spiegelt dazu die Erfahrungen seiner Gruppe:

„Dabei mussten wir vermeiden, wichtige Kriterien zu übersehen. Unterstützung fanden wir hierzu in der Literatur. So listen unter anderem Schenk, Wirth und Müller in Fabrikplanung und Fabrikbetrieb. Heidelberg: Springer, 2014 zahlreiche Kriterien auf, die zur Beurteilung eines Fabrikplanungstools herangezogen werden können. Im Team diskutierten wir, welche Kriterien für unser konkretes Planungsvorhaben am relevantesten sind.“

Die folgende Liste stellt das Ergebnis dar:

  • Hardwareanforderungen
  • Anpassbarkeit
  • Schnittstellen
  • Service
  • Einführung
  • Benutzerfreundlichkeit
  • Wartung & Updates
  • Kosten

An dieser Stelle war Herrn Frank wichtig zu betonen, dass jeder im Team dasselbe Verständnis von den einzelnen Kriterien hat. Zum Beispiel war zu klären, ob kostenpflichtige Updates zum Kriterium „Kosten“ oder zum Kriterium „Wartung & Updates“ gehören.

Hilfreich ist, bereits in dieser relativ frühen Phase ein Messsystem für die gefundenen Kriterien zu definieren. Notwendig ist dies zwar erst im Schritt 3 bei der Ermittlung der Teilnutzwerte, dennoch fördert es bereits jetzt das einheitliche Verständnis für die Kriterien. Gut geeignet sind Erfüllungsgrade. Diese beschreiben, inwieweit die Ausprägung(en) eines Kriteriums dem Zielwert des Kriteriums nahe kommen. Erfüllungsgrade sind zudem sowohl auf ordinal als auch auf kardinal skalierende Merkmalsausprägungen anwendbar.

Schritt 2: Wichtung der Bewertungskriterien

Das Gewichten von Bewertungskriterien ist mit den meisten Fehleinschätzungen zur Objektivität der Ergebnisse einer Nutzwertanalyse verbunden. Die Wahrnehmungen in der Praxis reichen von „Würfeln“ bis „Ober sticht Unter“. Tatsächlich lässt sich dieser Schritt aber methodisch gut beherrschen. Als Beispiele seien der Paarweise Vergleich oder der Stufenweise Vergleich benannt. Wir hatten das erstgenannte Verfahren hier im Blog bereits erläutert.

Warum es dennoch zu dieser Wahrnehmung kommt, ist nicht selten auf erlebte Anwendungsfehler bei der Nutzwertanalyse zurück zu führen. Insbesondere das Vermischen von Bewertung und Gewichtung ist hier zu nennen. Aus diesem Grund sollte man das Gewichten der Bewertungskriterien auch stets in einem separaten Schritt vornehmen und dokumentieren, auch wenn z. B. Excel zum Erstellen integrierter Tabellenkalkulationen animiert.

Ziel der Gewichtung ist es, die in Schritt 3 zu ermittelnden Erfüllungsgrade für die einzelnen Bewertungskriterien ihrer Bedeutung für den Beurteilenden angemessen im Gesamtergebnis zu berücksichtigen. Herr Frank erläutert diesen Aspekt an folgendem Beispiel:

„Unser Ziel war die Schaffung von brauchbaren Planungsentwürfen in möglichst kurzer Zeit und möglichst kurzer Einarbeitungsphase. Dementsprechend gewichteten wir beispielsweise Benutzerfreundlichkeit deutlich höher als Kosten.“

Andere Organisationen werden andere Ziele verfolgen. Insofern sind die von den Studierenden gefundenen Gewichtungsfaktoren nicht direkt zu übertragen. Dennoch lassen sich Tendenzen erkennen. Beispielsweise ist keines der Kriterien dominant, was für eine gewisse Ausgewogenheit bei den gefundenen Kriterien spricht.

BewertungskriterienWichtung %
Hardwareanforderungen5%
Anpassbarkeit10%
Schnittstellen15%
Service15%
Einführung10%
Benutzerfreundlichkeit25%
Wartung & Updates10%
Kosten10%

Weiterhin ist das relativ stark gewichtete Kriterium „Benutzerfreundlichkeit“ mit hoher Wahrscheinlichkeit auch bei anderen Gruppen von höherer Bedeutung, als z. B. Service oder Einführung. Denn dieses Kriterium verbindet den Wunsch vieler Anwender nach Software, die sich selbst erklärt. Gerade beim Thema Fabrikplanung wird man nicht täglich mit dem System umgehen müssen. So liegen zwischen einzelnen Bedienaktivitäten häufig Tage, manchmal sogar Wochen, in denen man vorrangig andere Systeme nutzt. Umso ärgerlicher ist dann, wenn man sich in das System immer wieder neu „hineindenken“ muss, weil es sich eben nicht intuitiv erschließt. An der Stelle hilft auch keine noch so umfängliche Schulung. Denn Routine prägt sich nicht aus, Gelerntes kann nicht gefestigt werden, es geht verloren.

Schritt 3: Ermittlung der Kosten (Aufwände)

Nun galt es, die gefundenen Alternativen für Software zur Fabrikplanung zu bewerten. In der Nutzwertanalyse benennen einige Autoren diesen Schritt als „Ermittlung der Teilnutzwerte“. Andere nehmen eine Aufwandsperspektive ein und assoziieren niedrige Aufwände mit niedrigen Kosten und damit höherer Zielerfüllung.

Welche Bewertungsperspektive man wählt, hängt vom Anwendungsfall ab. Wichtig ist jedoch, dass sich eine zielnahe Merkmalsausprägung auch in einem hohen Teilnutzwert widerspiegelt. Vergibt man beispielsweise für ein Bewertungskriterium die Erfüllungsgrade von 1 bis 5, dann wird man i. d. R. den Punktwert 5 für sehr niedrige Aufwände/Kosten oder vollständige Zielerfüllung vergeben.

Das folgende Beispiel illustriert das am Bewertungsschema der Studentengruppe von Herrn Frank im Herbst 2019 für die Planungssoftware visTABLE®:

Es wurden Erfüllungsgrade von 1 bis 5 gewählt. Am Kriterium „Hardware-Anforderungen“ sind z. B. 4 von 5 möglichen Punkten in einer ordinalen Beurteilung vergeben. Das heißt, es gibt für diese Personen eine gemeinsame Zielvorstellung von der notwendigen Hardware, die sie mit noch geringeren Kosten oder vielleicht mit besserer Verfügbarkeit innerhalb der Gruppe assoziiert. Die Software visTABLE® erfüllt diese individuelle Zielvorstellung nicht vollständig, aber doch wesentlich besser als der Durchschnitt der beurteilten Planungssysteme.

Beispiel für Kriterien und ihre Gewichtung zur Auswahl von Planungssoftware für die Fabrikplanung mittels Nutzwertanalyse
Individuelles Ergebnis der Studentengruppe um Herrn Frank für Teilnutzwerte der Planungssoftware visTABLE® im Herbst 2019 (Quelle: Frank, Konstantin)

In diesem Punktesystem eröffnet sich auch die Möglichkeit, die Nichterfüllung bzw. eine untere Grenze für eine Merkmalsausprägung als KO-Kriterium festzulegen. Erreicht eine Alternative für ein Bewertungskriterium die definierte KO-Grenze nicht, dann muss die gesamte Alternative nicht weiter betrachtet werden. Herr Frank erläutert das an folgendem Beispiel:

„Bei uns war dies beispielsweise der Fall, wenn eine Planungssoftware Spezialhardware benötigte, die über die Leistung eines normalen Office-Rechners hinausgeht.“

Es ist logisch, dass man dieses Mittel nur für Bewertungskriterien heranziehen kann, die sicher zu erkennen bzw. zu beurteilen sind. Darum legten die Studierenden besonderen Wert auf eine möglichst umfassende Informationsbasis für die Planungssoftware. Als Quellen zur Einschätzung dienten hierbei insbesondere

  • die Webseiten der Anbieter,
  • Telefonate mit dem jeweiligen Vertrieb,
  • Rezensionen aber auch
  • Probelizenzen und
  • Gespräche mit erfahrenen Fabrikplanern.

Schritt 4: Berechnung der Nutzwerte

Die Berechnung der Nutzwerte ist ein formaler Rechengang. Mithilfe der Excel-Vorlage aus unserem letzten Beitrag zum Thema Kosten-Nutzwertanalyse wird hier sicher einiges an Aufwand einzusparen sein.

Die Studierenden der Hochschule München haben eine eigene Tabelle genutzt und damit fünf Planungstools verglichen. Die letzte Zeile enthält die jeweiligen Nutzwerte. Den größten Nutzwert für die Arbeitsgruppe von Herrn Frank erreichte visTABLE® mit 4,4 von 5 möglichen Punkten. Tools mit geringeren Nutzwerten wurden neutral bezeichnet.

Beispiel für das Bewertungsergebnis einer Nutzwertanalyse zur AUswahl von Planungssoftware für die Fabrikplanung
Bewertungsergebnis zur Softwareauswahl (Quelle: Frank, Konstantin)

Charmant an der gewählten Darstellung ist die Ausgabe der maximal möglichen Punktzahl für die Teilnutzwerte in der letzten Spalte. Diese bestimmen sich pro Bewertungskriterium aus dem Produkt von Gewichtungsfaktor und maximalem Erfüllungsgrad. So kann das Kriterium „Benutzerfreundlichkeit“ bei einem Gewicht von 25 % und dem hier genutzten Maximalpunktwert von 5 nie mehr als 1,25 Punkte erreichen (also 25 % von 5). Durch diese Darstellung kann leicht nachvollzogen werden, wie weit die einzelnen Alternativen in den jeweiligen Bewertungskriterien tatsächlich vom Ziel entfernt sind.

Schritt 5: Auswahl der objektiv besten Lösung

Am Ende muss man sich für eine Planungssoftware entscheiden. Die Studierenden haben sich das nicht leicht gemacht. Um letzte Zweifel am Ergebnis der Nutzwertanalyse auszuräumen, entschieden sie sich, die zweitplatzierte Software noch einmal direkt der erstplatzierten gegenüber zu stellen. Hierzu erläutert Herr Frank die Randbedingungen:

„Dennoch sollte man auch noch die zweitplatzierte Wahl näher betrachten, wenn der Abstand zu Platz 1 nur gering ausfällt. Aus diesem Grund haben wir Software A und visTABLE® nochmal direkt gegenüber gestellt. Schlussendlich entschieden wir uns für visTABLE® aufgrund der deutlich intuitiveren Bedienung.“

Wenn Anbieter Testversionen mit vollem Funktionsumfang und ohne große Hürden bereitstellen, ist der direkte Vergleich gut realisierbar. Auch hier hilft die Nutzwertanalyse: Denn worauf man achten will, ist bereits in den Bewertungskriterien definiert. Eine Validierung der in Schritt 3 beurteilten Erfüllungsgrade sollte letzte Sicherheit geben.

Wer abschließend dem Anbieter Gelegenheit gibt, dem Test entsprungene Fragen zu konkreten Anwendungsfällen zu beantworten, wird

  • zum Einen die Servicebereitschaft und
  • zum Anderen die Kompetenz

des Supports praxisnah bewerten können.

Hierzu noch ein Tipp: Für den Test sollte man ausreichend Ressourcen (Zeit, Personal) einplanen und sich auf das Wesentliche (definierte Anwendungsfälle) konzentrieren. Kein Anbieter wird z. B. mehrfach verschobene oder verlängerte Testzeiträume als ernsthaftes Interesse deuten.

Fazit

Nach Abschluss der studentischen Arbeit und im Wissen um das Erreichte zog Herr Frank bzgl. des Aufwandes für die Recherchen und die eigentliche Nutzwertanalyse folgendes Resümee:

„Dies ist zwar durchaus mit Aufwand verbunden, aber es lohnt sich! Die Wahl der passenden Planungssoftware ist nämlich essentiell für den Projekterfolg. […] Mithilfe der Software konnten wir unsere Planungsziele wie gewünscht erreichen. Der Aufwand für die vorhergehende Nutzwertanalyse hat sich definitiv gelohnt.“

Share on linkedin
LinkedIn
Share on xing
XING
Share on twitter
Twitter
Share on linkedin
LinkedIn
Share on xing
XING
Share on twitter
Twitter