Die durchgeführten Tests zielen darauf ab, die Leistungsfähigkeit von ChatGPT in verschiedenen Bereichen der Programmierung in Bezug auf Python zu untersuchen. Für die Untersuchung wurden zunächst spezifische Aufgabentypen definiert, die klassische Aufgabenfelder der Programmierung repräsentieren sollten. Für jeden dieser Aufgabentypen wurden dann sowohl allgemeine Aufgabenstellungen als auch zusammenhängende Fälle innerhalb von Use Cases getestet. Das gewählte Aufgabenspektrum umfasst dabei bewusst verschiedene Schwierigkeitsgrade, um ein möglich breites Bild der Leistungsfähigkeit ChatGPTs zu erhalten. Die jeweiligen Aufgabenstellungen wurden im ersten Schritt als Prompts oder Anweisungen an ChatGPT übergeben. Anschließend wurde die Lösung, die die KI zurückgab, in der Entwicklungsumgebung PyCharm überprüft und dokumentiert. Diese Tests bilden die Grundlage für eine fundierte Bewertung von ChatGPT als Programmierhilfe.

Die Aufgabentypen sind das Schreiben, Debuggen, Testen und Optimieren von Code sowie die Erkennung von Sicherheitsproblemen und die Übersetzung von Python zu C++. Jeder Aufgabentyp stellt dabei eine spezifische Anforderung an ChatGPT und erlaubt eine detaillierte Analyse seiner Fähigkeiten.

Schreiben von Code

Beim Schreiben von Code wird die Fähigkeit von ChatGPT getestet, problemorientierte Aufgaben zu lösen und den entsprechenden Code zu generieren. Dabei werden Aufgaben wie die Berechnung der Fibonacci-Folge, die Matrizenmultiplikation oder die Implementierung einer Bankkonto-Klasse gestellt.

Debuggen von Code

Beim Debuggen von Code geht es darum, Fehler im vorgegebenen Code zu identifizieren und zu beheben. ChatGPT wird dabei auf seine Fähigkeit geprüft, Syntaxfehler zu erkennen, Nulldivisionen zu behandeln oder logische Fehler zu korrigieren.

Testen von Code

Das Testen von Code beinhaltet die Überprüfung der korrekten Funktionalität von implementierten Algorithmen und Funktionen. Aufgaben wie die Generierung einer großen Liste, die Fakultätsberechnung oder das Testen der Primzahlsumme ermöglichen die Bewertung der Genauigkeit und Zuverlässigkeit von ChatGPT.

Optimieren von Code

Beim Optimieren von Code wird geprüft, ob ChatGPT in der Lage ist, bestehenden Code effizienter zu gestalten. Aufgaben wie die effiziente Summenberechnung oder die Optimierung der Primfaktorzerlegung testen die Fähigkeit von ChatGPT, Code zu verbessern und eine höhere Leistung zu erzielen.

Erkennen von Sicherheitsproblemen

Das Erkennen von Sicherheitsproblemen befasst sich mit der Identifizierung möglicher Sicherheitslücken im Code. ChatGPT wird hier auf seine Fähigkeit getestet, Risiken bei der Benutzereingabe aufzuzeigen, potenziell schädliche Inhalte zu erkennen oder Sicherheitsprobleme in bestimmten Modulen zu identifizieren.

Übersetzung von Python zu C++

Die Übersetzung von Python zu C++ prüft die Fähigkeit von ChatGPT, vorhandenen Python-Code in die Programmiersprache C++ zu übersetzen. Dabei werden verschiedene Aufgaben gestellt, wie die Übersetzung einer Bankkonto-Klasse oder die Lösung quadratischer Gleichungen.

Allgemeine Informationen 

Im Rahmen des Hochschul-Projekts "Projekt Methoden und Kreativität" im 6. Semester der Studiengänge Wirtschaftsingenieurwesen und Wirtschaftsingenieurwesen/International Managements an der Hochschule Pforzheim beschäftigte sich das Team mit der Analyse und Erforschung der Einsatzmöglichkeiten von Chat GPT. Dabei liegt der Fokus auf den Fähigkeiten beim Programmieren mit der Sprache Python.

Ziel des Projekts ist es, die Funktionsweise von Chat GPT genauer zu untersuchen, konkrete Anwendungsbeispiele darzustellen und Vor- und Nachteile sowie ethische Fragen zu betrachten. Ein weiterer Schwerpunkt liegt auf der Analyse und Erstellung von Programmcode mithilfe von Chat GPT und Python. Dabei wird die Frage diskutiert, ob klassische Informatiker möglicherweise durch solche Chat-Roboter überflüssig werden könnten, da sich Computer selbst programmieren.

Für die Präsentation der Ergebnisse entschied sich das Team für die Erstellung einer multimedialen Webseite. Diese kombiniert Videos, Ton, Bilder und Texte interaktiv. Bei der Erstellung der Website wurden Aspekte wie Inhalt, Didaktik und Benutzerfreundlichkeit berücksichtigt.

Das Projektteam nutze verschiedene Testmethoden, um die Leistungsfähigkeit von Chat GPT beim Schreiben, Debuggen, Testen und Optimieren von Code sowie die Erkennung von Sicherheitsproblemen und die Übersetzung von Python zu C++. Es wird analysiert, inwiefern ChatGPT Studierenden, Programmieranfängern und Quereinsteigern den Einstieg ins Programmieren mit Python erleichtert.

Im Rahmen des Projekts wurden Videointerviews mit Experten geführt. Sie sollen helfen die Einsatzmöglichkeiten von ChatGPT beim Programmieren zu diskutieren und zu bewerten. Die Ergebnisse dieser Gespräche dienen zum einen dazu, den Kriterienkatalog zu erstellen, in welchem die Leistungsfähigkeit von ChatGPT mit der eines menschlichen Programmierers anhand bestimmter Kriterien untersucht und bewertet wird. Zum anderen soll die Einschätzung der Programmierer in Bezug auf die Frage, ob sie durch ChatGPT womöglich in der Zukunft überflüssig werden, dokumentiert werden.

Basierend auf den Erkenntnissen aus den Tests, der Analyse von Anwendungsbeispielen, ethischen Fragen und den Gesprächen mit Experten wird am Ende des Projekts ein Fazit gezogen.