Die durchgeführten Tests zielen darauf ab, die Leistungsfähigkeit von ChatGPT in verschiedenen Bereichen der Programmierung in Bezug auf Python zu untersuchen. Für die Untersuchung wurden zunächst spezifische Aufgabentypen definiert, die klassische Aufgabenfelder der Programmierung repräsentieren sollten. Für jeden dieser Aufgabentypen wurden dann sowohl allgemeine Aufgabenstellungen als auch zusammenhängende Fälle innerhalb von Use Cases getestet. Das gewählte Aufgabenspektrum umfasst dabei bewusst verschiedene Schwierigkeitsgrade, um ein möglich breites Bild der Leistungsfähigkeit ChatGPTs zu erhalten. Die jeweiligen Aufgabenstellungen wurden im ersten Schritt als Prompts oder Anweisungen an ChatGPT übergeben. Anschließend wurde die Lösung, die die KI zurückgab, in der Entwicklungsumgebung PyCharm überprüft und dokumentiert. Diese Tests bilden die Grundlage für eine fundierte Bewertung von ChatGPT als Programmierhilfe.
Die Aufgabentypen sind das Schreiben, Debuggen, Testen und Optimieren von Code sowie die Erkennung von Sicherheitsproblemen und die Übersetzung von Python zu C++. Jeder Aufgabentyp stellt dabei eine spezifische Anforderung an ChatGPT und erlaubt eine detaillierte Analyse seiner Fähigkeiten.
Schreiben von Code
Beim Schreiben von Code wird die Fähigkeit von ChatGPT getestet, problemorientierte Aufgaben zu lösen und den entsprechenden Code zu generieren. Dabei werden Aufgaben wie die Berechnung der Fibonacci-Folge, die Matrizenmultiplikation oder die Implementierung einer Bankkonto-Klasse gestellt.
Debuggen von Code
Beim Debuggen von Code geht es darum, Fehler im vorgegebenen Code zu identifizieren und zu beheben. ChatGPT wird dabei auf seine Fähigkeit geprüft, Syntaxfehler zu erkennen, Nulldivisionen zu behandeln oder logische Fehler zu korrigieren.
Testen von Code
Das Testen von Code beinhaltet die Überprüfung der korrekten Funktionalität von implementierten Algorithmen und Funktionen. Aufgaben wie die Generierung einer großen Liste, die Fakultätsberechnung oder das Testen der Primzahlsumme ermöglichen die Bewertung der Genauigkeit und Zuverlässigkeit von ChatGPT.
Optimieren von Code
Beim Optimieren von Code wird geprüft, ob ChatGPT in der Lage ist, bestehenden Code effizienter zu gestalten. Aufgaben wie die effiziente Summenberechnung oder die Optimierung der Primfaktorzerlegung testen die Fähigkeit von ChatGPT, Code zu verbessern und eine höhere Leistung zu erzielen.
Erkennen von Sicherheitsproblemen
Das Erkennen von Sicherheitsproblemen befasst sich mit der Identifizierung möglicher Sicherheitslücken im Code. ChatGPT wird hier auf seine Fähigkeit getestet, Risiken bei der Benutzereingabe aufzuzeigen, potenziell schädliche Inhalte zu erkennen oder Sicherheitsprobleme in bestimmten Modulen zu identifizieren.
Übersetzung von Python zu C++
Die Übersetzung von Python zu C++ prüft die Fähigkeit von ChatGPT, vorhandenen Python-Code in die Programmiersprache C++ zu übersetzen. Dabei werden verschiedene Aufgaben gestellt, wie die Übersetzung einer Bankkonto-Klasse oder die Lösung quadratischer Gleichungen.
