Integration of chatgpt on request for comment and score

Author: seemantTUI

Gemfile

@@ -56,6 +56,8 @@ gem 'tubesock', github: 'openhpi/tubesock'
 gem 'turbolinks'
 gem 'whenever', require: false
 gem 'zxcvbn-ruby', require: 'zxcvbn'
+gem 'openai'
+
 
 # Error Tracing
 gem 'mnemosyne-ruby'

app/assets/javascripts/editor.js

@@ -29,3 +29,50 @@ $(document).on('turbolinks:load', function(event) {
 
   $(document).on('theme:change', handleThemeChangeEvent.bind(this));
 });
+
+$(document).on('click', '.ai-feedback-link', function (e) {
+  e.preventDefault();
+
+  const testrunId = $(this).data('testrun_id');
+  const $button = $(this);
+
+  if (!testrunId) {
+    alert("No Testrun ID available for this feedback.");
+    return;
+  }
+
+  $.ajax({
+    url: `/submissions/testrun_ai_feedback`,
+    type: 'POST',
+    data: { testrun_id: testrunId },
+    beforeSend: function () {
+      $button.html(
+          '<div class="spinner-border spinner-border-sm" role="status"><span class="visually-hidden">Loading...</span></div>'
+      );
+      $button.prop('disabled', true);
+    },
+    success: function (response) {
+      // Find the card containing the button
+      const card = $button.closest('.card');
+
+      if (card.length) {
+        // Update the feedback message in the card
+        card.find('.row .col-md-9').eq(2).html(response);
+
+        // Hide or remove the button after feedback is displayed
+        $button.remove();
+      } else {
+        console.error("Card not found for testrun_id:", testrunId);
+      }
+    },
+    error: function (xhr) {
+      alert(`Failed to fetch feedback: ${xhr.responseText}`);
+      // Re-enable the button in case of an error
+      $button.html("Request Feedback from AI");
+      $button.prop('disabled', false);
+    },
+    complete: function () {
+      // No action needed here since button is removed on success
+    }
+  });
+});

app/assets/javascripts/editor/editor.js.erb

@@ -547,6 +547,7 @@ var CodeOceanEditor = {
         card.find('.card-title .number').text(index + 1);
         card.find('.row .col-md-9').eq(0).find('.number').eq(0).text(result.passed);
         card.find('.row .col-md-9').eq(0).find('.number').eq(1).text(result.count);
+        card.attr('data-testrun-id', result.testrun_id); // Add testrun_id to the card
         if (result.weight !== 0) {
             card.find('.row .col-md-9').eq(1).find('.number').eq(0).text(parseFloat((result.score * result.weight).toFixed(2)));
             card.find('.row .col-md-9').eq(1).find('.number').eq(1).text(result.weight);
@@ -555,6 +556,10 @@ var CodeOceanEditor = {
             card.find('.attribute-row.row').eq(1).addClass('d-none');
         }
         card.find('.row .col-md-9').eq(2).html(result.message);
+        if (result.testrun_id) {
+            const aiFeedbackLink = card.find('.ai-feedback-link');
+            aiFeedbackLink.data('testrun_id', result.testrun_id);
+        }
 
         // Add error message from code to card
         if (result.error_messages) {

app/controllers/exercises_controller.rb

@@ -209,6 +209,8 @@ def exercise_params
                              :hide_file_tree,
                              :allow_file_creation,
                              :allow_auto_completion,
+                             :allow_ai_comment_for_rfc,
+                             :allow_ai_feedback_on_score,
                              :title,
                              :internal_title,
                              :expected_difficulty,

app/controllers/request_for_comments_controller.rb

@@ -154,6 +154,9 @@ def create
           format.json { render json: {danger: t('exercises.editor.depleted'), status: :container_depleted}, status: :service_unavailable }
         else
           format.json { render :show, status: :created, location: @request_for_comment }
+          if @request_for_comment.submission.exercise.allow_ai_comment_for_rfc
+            GenerateAutomaticCommentsJob.perform_later(@request_for_comment, current_user)
+          end
         end
       else
         format.html { render :new }

app/controllers/submissions_controller.rb

@@ -21,6 +21,7 @@ class SubmissionsController < ApplicationController
   before_action :require_user!, except: :render_file
   # We want to serve .js files without raising a `ActionController::InvalidCrossOriginRequest` exception
   skip_before_action :verify_authenticity_token, only: %i[render_file download_file]
+  skip_after_action :verify_authorized, only: :testrun_ai_feedback_message
 
   def index
     @search = policy_scope(Submission).ransack(params[:q])
@@ -332,6 +333,19 @@ def test
     kill_client_socket(client_socket)
   end
 
+  def testrun_ai_feedback_message
+    testrun = Testrun.find(params[:testrun_id])
+
+    # Use the generate_feedback method from the Testrun model
+    feedback_message = testrun.generate_ai_feedback
+
+    if feedback_message.present?
+      render plain: feedback_message, status: :ok
+    else
+      render plain: 'Failed to generate feedback.', status: :unprocessable_entity
+    end
+  end
+
   private
 
   def authorize!

app/jobs/generate_automatic_comments_job.rb

@@ -0,0 +1,86 @@
+# app/jobs/generate_automatic_comments_job.rb
+class GenerateAutomaticCommentsJob < ApplicationJob
+  queue_as :default
+  def perform(request_for_comment, current_user)
+    chat_gpt_user = InternalUser.find_by(email: '[email protected]')
+    chat_gpt_service = ChatGptService::ChatGptRequest.new
+    chat_gpt_disclaimer = I18n.t('exercises.editor.chat_gpt_disclaimer')
+    request_for_comment.submission.files.each do |file|
+      response_data = chat_gpt_service.get_response(
+        request_for_comment: request_for_comment,
+        file: file,
+        response_format_needed: true
+      )
+      Rails.logger.debug "Response data: #{response_data.inspect}"
+      next unless response_data.present?
+
+      # Create comment for combined 'requirements' comments
+      if response_data[:requirements_comments].present?
+        Rails.logger.debug "Requirements comments found."
+        comment = create_comment(
+          text: "#{response_data[:requirements_comments]}\n\n#{chat_gpt_disclaimer}",
+          file_id: file.id,
+          row: '0',
+          column: '0',
+          user: chat_gpt_user
+        )
+        send_emails(comment, request_for_comment, current_user, chat_gpt_user) if comment.persisted?
+      end
+
+      # Create comments for each line-specific comment
+      response_data[:line_specific_comments].each do |line_comment_data|
+        create_comment(
+          text: "#{line_comment_data[:comment]}\n\n#{chat_gpt_disclaimer}",
+          file_id: file.id,
+          row: line_comment_data[:line_number].to_s,
+          column: '0',
+          user: chat_gpt_user
+        )
+      end
+    end
+  end
+
+  private
+
+  def create_comment(attributes)
+    Comment.create(
+      text: attributes[:text],
+      file_id: attributes[:file_id],
+      row: attributes[:row],
+      column: attributes[:column],
+      user: attributes[:user]
+    )
+  end
+
+  def send_emails(comment, request_for_comment, current_user, chat_gpt_user)
+    send_mail_to_author(comment, request_for_comment, chat_gpt_user)
+    send_mail_to_subscribers(comment, request_for_comment, current_user)
+  end
+
+  def send_mail_to_author(comment, request_for_comment, chat_gpt_user)
+    if chat_gpt_user == comment.user
+      UserMailer.got_new_comment(comment, request_for_comment, chat_gpt_user).deliver_later
+    end
+  end
+
+  def send_mail_to_subscribers(comment, request_for_comment, current_user)
+    request_for_comment.commenters.each do |commenter|
+      subscriptions = Subscription.where(
+        request_for_comment_id: request_for_comment.id,
+        user: commenter,
+        deleted: false
+      )
+      subscriptions.each do |subscription|
+        next if subscription.user == current_user
+
+        should_send = (subscription.subscription_type == 'author' && current_user == request_for_comment.user) ||
+          (subscription.subscription_type == 'all')
+
+        if should_send
+          UserMailer.got_new_comment_for_subscription(comment, subscription, current_user).deliver_later
+          break
+        end
+      end
+    end
+  end
+end

app/models/submission.rb

@@ -317,7 +317,7 @@ def score_file(output, file, requesting_user)
     end
 
     output.merge!(assessment)
-    output.merge!(filename:, message: feedback_message(file, output), weight: file.weight, hidden_feedback: file.hidden_feedback)
+    output.merge!(filename:, message: feedback_message(file, output), weight: file.weight, hidden_feedback: file.hidden_feedback, testrun_id: testrun.id)
     output.except!(:messages)
   end
 

app/models/testrun.rb

@@ -31,4 +31,40 @@ def log
       testrun_messages.output.pluck(:log).join.presence
     end
   end
+
+  def generate_ai_feedback
+    # Validate if the exercise allows automatic feedback
+    unless submission.exercise.allow_ai_feedback_on_score
+      raise 'Automatic feedback is not enabled for this exercise.'
+    end
+
+    # Generate feedback without storing it
+    main_file = submission.main_file
+    exercise_description = submission.exercise.description
+    test_results = output
+    learner_solution = main_file.content
+    test_passed = passed
+
+    chatgpt_request = ChatGptService::ChatGptRequest.new
+    feedback_message = chatgpt_request.get_response(
+      learner_solution: learner_solution,
+      exercise: exercise_description,
+      test_results: test_results,
+      test_passed: test_passed
+    )
+
+    # Format and sanitize the feedback message
+    formatted_feedback = Kramdown::Document.new(feedback_message).to_html
+    sanitized_feedback = ActionController::Base.helpers.sanitize(
+      formatted_feedback,
+      tags: %w(p br strong em a code pre h1 h2 h3 ul ol li blockquote),
+      attributes: %w(href)
+    )
+
+    sanitized_feedback.html_safe
+  rescue => e
+    # Return the error message to be handled by the caller
+    e.message
+  end
+
 end

app/services/chat_gpt_service/chat_gpt_prompts/prompt_de.xml

@@ -0,0 +1,65 @@
+<prompt>
+	<case>
+        1-1 Syntaxfehler-Anfänger
+    </case>
+	<role>
+        Du agierst als Tutor für einen Lernenden, der ein Problem bei einer Programmieraufgabe hat. Antworte im Folgenden entsprechend deiner Rolle als Tutor!
+    </role>
+	<instructions>
+		<instruction_1>
+            Deine Aufgabe ist es, einen Hinweis für den in """ abgegrenzten Code des Lernenden zu formulieren. 
+        </instruction_1>
+		<instruction_2>
+            Der von dir generierte Hinweis muss jede der in ### abgegrenzten Anforderungen erfüllen.
+        </instruction_2>
+		<instruction_3>
+			Der von dir generierte Hinweis soll, um die Anforderungen mit den Nummern 7, 8 und 9 zu erfüllen, unbedingt die Aufgabenstellung der Programmieraufgabe, die in %%% abgegrenzt ist, berücksichtigen.
+        </instruction_3>
+		<instruction_4>
+            Der von dir generierte Hinweis soll, um die Anforderung mit der Nummer 10 zu erfüllen, unbedingt die Fehlermeldung, die der Code hervorgerufen hat, berücksichtigen. Diese Fehlermeldung liegt abgegrenzt in $$$ vor. Wenn keine Fehlermeldung angezeigt wird, bedeutet dies, dass der Testfall bestanden wurde.
+        </instruction_4>
+		<instruction_5>
+            Die Anforderungen mit den Nummern 6, 7, 8, 9, 10 und 11 sollen jeweils in einem eigenen Absatz getrennt voneinander im Hinweis erfüllt werden.
+        </instruction_5>
+		<instruction_6>
+            Gehe systematisch vor! Reflektiere deine Vorgehensweise! Gib jedoch nur den Hinweis und nicht deine Vorgehensweise aus!
+        </instruction_6>
+		<instruction_7>Der von dir generierte Hinweis soll die Frage beantworten, wenn der Studierende gefragt hat. Die Frage wird durch ??? erfüllt.</instruction_7>
+	</instructions>
+	<requirements>
+		<delimiter>###</delimiter>
+		<requirement_1>1. Der Hinweis muss einen Fehler im Code identifizieren und benennen.</requirement_1>
+		<requirement_2>2. Der Hinweis darf keine nichtexistenten Fehler identifizieren.</requirement_2>
+		<requirement_3>3. Der Hinweis darf keine, nicht den Fehler betreffenden Inhalte enthalten.</requirement_3>
+		<requirement_4>4. Der Hinweis darf keinen Code, welcher als Musterlösung verstanden werden kann, enthalten.</requirement_4>
+		<requirement_5>5. Der Hinweis darf keine Test-Cases enthalten.</requirement_5>
+		<requirement_KCR-feedback>6. Der Hinweis muss eine Beschreibung oder Andeutung der richtigen Lösung enthalten. Dieser Bestandteil soll in deinem Hinweis mit “(1)” gekennzeichnet sein. Hierin soll eine Beschreibung vorliegen, dass in einer bestimmten Stelle im Code etwas stehen sollte – ohne dass ein Code-Beispiel ausgegeben wird. Dein Hinweis hierzu muss sich unbedingt auf die Problemstelle im Code beziehen! Beschreibe nicht den vorliegenden Fehler, sondern die richtige Lösung!</requirement_KCR-feedback>
+		<requirement_KTC-TR-feedback>7. Der Hinweis muss Regeln, Einschränkungen oder Anforderungen der Aufgabenstellung enthalten – in Form von Hinweisen zu Anforderungen der Aufgabenstellung. Z. B. ist eine Anforderung, dass eine bestimmte vordefinierte Methode benutzt werden soll oder eine Methode einer bestimmten Programmbibliothek nicht benutzt werden soll. Dieser Bestandteil soll in deinem Hinweis mit “(2)” gekennzeichnet sein. Nenne nur Anforderungen aus der Aufgabenstellung, die sich direkt auf den Fehler im Code beziehen! Nenne keine Anforderungen, die nicht relevant für den Fehler im Code sind!</requirement_KTC-TR-feedback>
+		<requirement_KC-EXP-feedback>8. Der Hinweis muss konzeptuelles Wissen, welches für die Bearbeitung der Aufgabe benötigt wird, enthalten – in Form von Erläuterungen von grundlegenden Konzepten der Aufgabe. Dieser Bestandteil soll in deinem Hinweis mit “(3)” gekennzeichnet sein.</requirement_KC-EXP-feedback>
+		<requirement_KC-EXA-feedback>9. Der Hinweis muss konzeptuelles Wissen, welches für die Bearbeitung der Aufgabe benötigt wird, enthalten – in Form von Beispielen, welche grundlegende Konzepte der Aufgabe verdeutlichen. Dieser Bestandteil soll in deinem Hinweis mit “(4)” gekennzeichnet sein. Beziehe dich auf das von dir ausgewählte Konzept in der Antwort auf die Anforderung Nummer 8. Finde hierfür ein eigenes, konkretes Beispiel, welches das grundlegende Konzept implementiert und sich nicht auf die vorliegende Programmieraufgabe bezieht! Zeige unbedingt einen Code-Schnipsel, um dein Beispiel zu untermauern!</requirement_KC-EXA-feedback>
+		<requirement_KM-feedback>10. Der Hinweis muss Compiler-Fehler bzw. Interpreter-Fehler beschreiben. Compiler-Fehler bzw. Interpreter-Fehler sind syntaktische Fehler (falsche Schreibweise, fehlende Klammern). Dieser Bestandteil soll in deinem Hinweis mit “(5)” gekennzeichnet sein. Es soll eine ausführliche Erklärung des Fehlers an sich gegeben werden. Hierin sollen keine Schritte zur Lösung des Fehlers ausgegeben werden.</requirement_KM-feedback>
+		<requirement_KH-EC-feedback>11. Der Hinweis muss Wissen über das weitere Vorgehen des Lernenden enthalten. Beziehe dich auf die Behebung der Art des vorliegenden Fehlers! Dieser Bestandteil soll in deinem Hinweis mit “(6)” gekennzeichnet sein. Erkläre allgemein den methodischen Schritt zur Behebung des Fehlers. Zeige hierzu unter keinen Umständen die exakte Vorgehensweise zum Lösen des Fehlers – z. B. „Ändere dies in der Zeile X“! Zeige stattdessen, welche generellen Schritte der Lernende als Nächstes unternehmen kann. Z. B. kann der Hinweis lauten: „Als Nächstes recherchiere dieses Thema im Internet.“, „Informiere dich über diese Thematik“, „Passe deinen Code in dieser Hinsicht an.“ oder „Teste die Ausgabe deines Codes.“</requirement_KH-EC-feedback>
+	</requirements>
+	<input>
+		<code name="Code des Lernenden" type="string">
+			<delimiter>"""</delimiter>
+			<description>Code des Lernenden:</description>
+			<content>[Code des Lernenden]</content>
+		</code>
+		<programming_task name="Aufgabenstellung" type="string">
+			<delimiter>%%%</delimiter>
+			<description>Aufgabenstellung der Programmieraufgabe:</description>
+			<content>[Aufgabenstellung]</content>
+		</programming_task>
+		<error_message name="Fehlermeldung" type="string">
+			<delimiter>$$$</delimiter>
+			<description>Fehlermeldung, die der Code hervorgerufen hat:</description>
+			<content>[Fehlermeldung]</content>
+		</error_message>
+		<student_question name="Frage des Studierenden" type="string">
+			<delimiter>???</delimiter>
+			<description>Frage des Studierenden</description>
+			<content>[Frage des Studierenden]</content>
+		</student_question>
+	</input>
+</prompt>