Merge branch 'main' into default-llm-model

Author: keegangeorge

app/models/embedding_definition.rb

@@ -84,7 +84,7 @@ def presets
               dimensions: 2000,
               max_sequence_length: 8191,
               pg_function: "<=>",
-              tokenizer_class: "DiscourseAi::Tokenizer::OpenAiTokenizer",
+              tokenizer_class: "DiscourseAi::Tokenizer::OpenAiCl100kTokenizer",
               url: "https://api.openai.com/v1/embeddings",
               provider: OPEN_AI,
               matryoshka_dimensions: true,
@@ -98,7 +98,7 @@ def presets
               dimensions: 1536,
               max_sequence_length: 8191,
               pg_function: "<=>",
-              tokenizer_class: "DiscourseAi::Tokenizer::OpenAiTokenizer",
+              tokenizer_class: "DiscourseAi::Tokenizer::OpenAiCl100kTokenizer",
               url: "https://api.openai.com/v1/embeddings",
               provider: OPEN_AI,
               matryoshka_dimensions: true,
@@ -112,7 +112,7 @@ def presets
               dimensions: 1536,
               max_sequence_length: 8191,
               pg_function: "<=>",
-              tokenizer_class: "DiscourseAi::Tokenizer::OpenAiTokenizer",
+              tokenizer_class: "DiscourseAi::Tokenizer::OpenAiCl100kTokenizer",
               url: "https://api.openai.com/v1/embeddings",
               provider: OPEN_AI,
               provider_params: {

assets/javascripts/discourse/components/ai-bot-conversations.gjs

@@ -260,10 +260,11 @@ export default class AiBotConversations extends Component {
 
   @action
   async prepareAndSubmitToBot() {
-    // Pass uploads to the service before submitting
-    this.aiBotConversationsHiddenSubmit.uploads = this.uploads;
     try {
-      await this.aiBotConversationsHiddenSubmit.submitToBot();
+      await this.aiBotConversationsHiddenSubmit.submitToBot({
+        uploads: this.uploads,
+        inProgressUploadsCount: this.inProgressUploads.length,
+      });
       this.uploads = new TrackedArray();
     } catch (error) {
       popupAjaxError(error);

assets/javascripts/discourse/components/ai-features-list.gjs

@@ -66,12 +66,9 @@ class ExpandableList extends Component {
 
 export default class AiFeaturesList extends Component {
   get sortedModules() {
-    if (!this.args.modules || !this.args.modules.length) {
-      return [];
-    }
-
-    return this.args.modules.toSorted((a, b) =>
-      a.module_name.localeCompare(b.module_name)
+    const modules = this.args.modules?.toArray() || this.args.modules;
+    return [...(modules || [])].toSorted((a, b) =>
+      (a.module_name || "").localeCompare(b.module_name || "")
     );
   }
 

assets/javascripts/discourse/services/ai-bot-conversations-hidden-submit.js

@@ -18,7 +18,6 @@ export default class AiBotConversationsHiddenSubmit extends Service {
 
   personaId;
   targetUsername;
-  uploads = [];
 
   inputValue = "";
 
@@ -32,7 +31,7 @@ export default class AiBotConversationsHiddenSubmit extends Service {
   }
 
   @action
-  async submitToBot() {
+  async submitToBot(uploadData) {
     if (
       this.inputValue.length <
       this.siteSettings.min_personal_message_post_length
@@ -48,7 +47,7 @@ export default class AiBotConversationsHiddenSubmit extends Service {
     }
 
     // Don't submit if there are still uploads in progress
-    if (document.querySelector(".ai-bot-upload--in-progress")) {
+    if (uploadData.inProgressUploadsCount > 0) {
       return this.dialog.alert({
         message: i18n("discourse_ai.ai_bot.conversations.uploads_in_progress"),
       });
@@ -61,10 +60,10 @@ export default class AiBotConversationsHiddenSubmit extends Service {
     let rawContent = this.inputValue;
 
     // Append upload markdown if we have uploads
-    if (this.uploads && this.uploads.length > 0) {
+    if (uploadData.uploads && uploadData.uploads.length > 0) {
       rawContent += "\n\n";
 
-      this.uploads.forEach((upload) => {
+      uploadData.uploads.forEach((upload) => {
         const uploadMarkdown = getUploadMarkdown(upload);
         rawContent += uploadMarkdown + "\n";
       });
@@ -83,7 +82,6 @@ export default class AiBotConversationsHiddenSubmit extends Service {
       });
 
       // Reset uploads after successful submission
-      this.uploads = [];
       this.inputValue = "";
 
       this.appEvents.trigger("discourse-ai:bot-pm-created", {

config/locales/client.de.yml

@@ -233,7 +233,9 @@ de:
         inference:
           name: "Abgeleitete Konzepte"
           description: "Ordnet Themen und Beiträge in Interessensgebiete / Labels."
+          generate_concepts: "Konzepterkennung"
           match_concepts: "Passende Konzepte"
+          deduplicate_concepts: "Deduplizierung von Konzepten"
         ai_helper:
           name: "Helfer"
           description: "Unterstützt Benutzer bei der Interaktion in der Community, z. B. beim Erstellen von Themen, Verfassen von Beiträgen und Lesen von Inhalten"
@@ -773,6 +775,7 @@ de:
         shortcut_title: "Starte eine PN mit einem KI-Bot"
         share: "KI-Unterhaltung kopieren"
         conversation_shared: "Unterhaltung kopiert"
+        embed_copied: "Einbettung in die Zwischenablage kopiert"
         debug_ai: "Rohdaten der KI-Anfrage und -Antwort anzeigen"
         sidebar_empty: "Der Verlauf der Bot-Konversation wird hier angezeigt."
         debug_ai_modal:

config/locales/client.en.yml

@@ -106,6 +106,9 @@ en:
             top_p:
               label: "Top P"
               description: "Top P to use for the LLM, increase to increase randomness (leave empty to use model default)"
+            persona_id:
+              label: "Persona"
+              description: "AI Persona to use for report generation"
 
         llm_tool_triage:
           fields:
@@ -876,6 +879,7 @@ en:
           last_7_days: "Last 7 days"
           last_30_days: "Last 30 days"
           upload_files: "Upload files"
+          uploads_in_progress: "Cannot submit while uploads are in progress"
       sentiments:
         dashboard:
           title: "Sentiment"

config/locales/server.de.yml

@@ -116,7 +116,7 @@ de:
     ai_translation_model: "Das Modell, das für die Übersetzung verwendet werden soll. Dieses Modell muss die Übersetzung unterstützen. Personas können diese Einstellung überschreiben."
     ai_translation_backfill_limit_to_public_content: "Wenn diese Option aktiviert ist, werden nur Inhalte in öffentlichen Kategorien übersetzt. Wenn sie deaktiviert ist, werden auch Inhalte in Gruppen-PMs und privaten Kategorien zur Übersetzung gesendet."
     ai_translation_max_post_length: "Die maximale Länge eines zu übersetzenden Beitrags. Längere Beiträge werden nicht übersetzt."
-    ai_translation_backfill_max_age_days: "Das maximale Alter eines zu übersetzenden Beitrags und Themas. Ältere Beiträge und Themen werden nicht übersetzt."
+    ai_translation_backfill_max_age_days: "Das maximale Alter eines Beitrags oder Themas, das übersetzt werden soll. Beiträge und Themen, die älter sind, werden nicht übersetzt. 0 deaktiviert die rückwirkende Übersetzung, aber nicht die Übersetzung von neuen Beiträgen."
   reviewables:
     reasons:
       flagged_by_toxicity: Das KI-Plug-in meldete dies nach der Klassifizierung als toxisch.
@@ -221,6 +221,7 @@ de:
           one: "Du kannst nur %{count} Schlüssel im Artefakt haben."
           other: "Du kannst nur %{count} Schlüssel im Artefakt haben."
       link: "In neuem Tab anzeigen"
+      copy_embed: "Einbettung kopieren"
       view_source: "Quelle anzeigen"
       view_changes: "Änderungen anzeigen"
       change_description: "Beschreibung ändern"
@@ -590,6 +591,7 @@ de:
       bedrock_invalid_url: "Bitte fülle alle Felder aus, um dieses Modell zu verwenden."
     ai_staff_action_logger:
       updated: "aktualisiert"
+      set: "gesetzt"
       removed: "entfernt"
     errors:
       quota_exceeded: "Du hast das Kontingent für dieses Modell überschritten. Bitte versuche es erneut in %{relative_time}."

config/locales/server.en.yml

@@ -398,6 +398,9 @@ en:
         content_creator:
           name: "Content creator"
           description: "Default persona powering HyDE search"
+        report_runner:
+          name: "Report runner"
+          description: "Default persona used in the report automation script"
 
       topic_not_found: "Summary unavailable, topic not found!"
       summarizing: "Summarizing topic"

db/migrate/20250715165701_update_open_ai_embeddings_tokenizer.rb

@@ -0,0 +1,14 @@
+# frozen_string_literal: true
+class UpdateOpenAiEmbeddingsTokenizer < ActiveRecord::Migration[7.2]
+  def up
+    execute <<~SQL
+      UPDATE embedding_definitions
+      SET tokenizer_class = 'DiscourseAi::Tokenizer::OpenAiCl100kTokenizer'
+      WHERE url LIKE '%https://api.openai.com/%' AND tokenizer_class <> 'DiscourseAi::Tokenizer::OpenAiCl100kTokenizer'
+    SQL
+  end
+
+  def down
+    raise ActiveRecord::IrreversibleMigration
+  end
+end

discourse_automation/llm_report.rb

@@ -21,6 +21,18 @@ module DiscourseAutomation::LlmReport
     field :sample_size, component: :text, required: true, default_value: 100
     field :tokens_per_post, component: :text, required: true, default_value: 150
 
+    field :persona_id,
+          component: :choices,
+          required: true,
+          default_value:
+            DiscourseAi::Personas::Persona.system_personas[DiscourseAi::Personas::ReportRunner],
+          extra: {
+            content:
+              DiscourseAi::Automation.available_persona_choices(
+                require_user: false,
+                require_default_llm: false,
+              ),
+          }
     field :model,
           component: :choices,
           required: true,
@@ -60,6 +72,7 @@ module DiscourseAutomation::LlmReport
         offset = fields.dig("offset", "value").to_i
         priority_group = fields.dig("priority_group", "value")
         tokens_per_post = fields.dig("tokens_per_post", "value")
+        persona_id = fields.dig("persona_id", "value")
 
         exclude_category_ids = fields.dig("exclude_categories", "value")
         exclude_tags = fields.dig("exclude_tags", "value")
@@ -78,12 +91,19 @@ module DiscourseAutomation::LlmReport
           temperature = temperature.to_f
         end
 
+        # Backwards-compat for scripts created before this field was added.
+        if persona_id == "" || persona_id.nil?
+          persona_id =
+            DiscourseAi::Personas::Persona.system_personas[DiscourseAi::Personas::ReportRunner]
+        end
+
         suppress_notifications = !!fields.dig("suppress_notifications", "value")
         DiscourseAi::Automation::ReportRunner.run!(
           sender_username: sender,
           receivers: receivers,
           topic_id: topic_id,
           title: title,
+          persona_id: persona_id,
           model: model,
           category_ids: category_ids,
           tags: tags,