Merge branch 'main' into ux/apply-more-admin-ui-guidelines

Author: martin-brennan

app/jobs/regular/update_hot_topic_gist.rb renamed to app/jobs/regular/fast_track_topic_gist.rb

@@ -1,23 +1,20 @@
 # frozen_string_literal: true
 
 module ::Jobs
-  class UpdateHotTopicGist < ::Jobs::Base
+  class FastTrackTopicGist < ::Jobs::Base
     sidekiq_options retry: false
 
     def execute(args)
       return if !SiteSetting.discourse_ai_enabled
       return if !SiteSetting.ai_summarization_enabled
-      return if SiteSetting.ai_summarize_max_hot_topics_gists_per_batch.zero?
+      return if !SiteSetting.ai_summary_gists_enabled
 
       topic = Topic.find_by(id: args[:topic_id])
       return if topic.blank?
 
-      return if !TopicHotScore.where(topic: topic).exists?
-
       summarizer = DiscourseAi::Summarization.topic_gist(topic)
       gist = summarizer.existing_summary
-      return if gist.blank?
-      return if !gist.outdated
+      return if gist.present? && !gist.outdated
 
       summarizer.force_summarize(Discourse.system_user)
     end

app/jobs/regular/hot_topics_gist_batch.rb

@@ -70,14 +70,15 @@ def execute(args)
         Post
           .joins("LEFT JOIN #{table_name} ON #{table_name}.post_id = posts.id")
           .where(deleted_at: nil)
+          .where(post_type: Post.types[:regular])
           .limit(limit - rebaked)
 
       # First, we'll try to backfill embeddings for posts that have none
       posts
         .where("#{table_name}.post_id IS NULL")
-        .find_each do |t|
-          vector_rep.generate_representation_from(t)
-          rebaked += 1
+        .find_in_batches do |batch|
+          vector_rep.gen_bulk_reprensentations(batch)
+          rebaked += batch.size
         end
 
       return if rebaked >= limit
@@ -90,24 +91,28 @@ def execute(args)
           OR
           #{table_name}.strategy_version < #{strategy.version}
         SQL
-        .find_each do |t|
-          vector_rep.generate_representation_from(t)
-          rebaked += 1
+        .find_in_batches do |batch|
+          vector_rep.gen_bulk_reprensentations(batch)
+          rebaked += batch.size
         end
 
       return if rebaked >= limit
 
       # Finally, we'll try to backfill embeddings for posts that have outdated
       # embeddings due to edits. Here we only do 10% of the limit
-      posts
-        .where("#{table_name}.updated_at < ?", 7.days.ago)
-        .order("random()")
-        .limit((limit - rebaked) / 10)
-        .pluck(:id)
-        .each do |id|
-          vector_rep.generate_representation_from(Post.find_by(id: id))
-          rebaked += 1
-        end
+      posts_batch_size = 1000
+
+      outdated_post_ids =
+        posts
+          .where("#{table_name}.updated_at < ?", 7.days.ago)
+          .order("random()")
+          .limit((limit - rebaked) / 10)
+          .pluck(:id)
+
+      outdated_post_ids.each_slice(posts_batch_size) do |batch|
+        vector_rep.gen_bulk_reprensentations(Post.where(id: batch).order("topics.bumped_at DESC"))
+        rebaked += batch.length
+      end
 
       rebaked
     end
@@ -120,14 +125,13 @@ def populate_topic_embeddings(vector_rep, topics, force: false)
       topics = topics.where("#{vector_rep.topic_table_name}.topic_id IS NULL") if !force
 
       ids = topics.pluck("topics.id")
+      batch_size = 1000
 
-      ids.each do |id|
-        topic = Topic.find_by(id: id)
-        if topic
-          vector_rep.generate_representation_from(topic)
-          done += 1
-        end
+      ids.each_slice(batch_size) do |batch|
+        vector_rep.gen_bulk_reprensentations(Topic.where(id: batch).order("topics.bumped_at DESC"))
+        done += batch.length
       end
+
       done
     end
   end

app/jobs/scheduled/embeddings_backfill.rb

@@ -19,6 +19,8 @@ def execute(_args)
           DiscourseAi::Summarization.topic_summary(topic).force_summarize(system_user)
         end
 
+      return unless SiteSetting.ai_summary_gists_enabled
+
       gist_t = AiSummary.summary_types[:gist]
       backfill_candidates(gist_t)
         .limit(current_budget(gist_t))
@@ -29,9 +31,9 @@ def backfill_candidates(summary_type)
       Topic
         .where("topics.word_count >= ?", SiteSetting.ai_summary_backfill_minimum_word_count)
         .joins(<<~SQL)
-          LEFT OUTER JOIN ai_summaries ais ON 
-                          topics.id = ais.target_id AND 
-                          ais.target_type = 'Topic' AND 
+          LEFT OUTER JOIN ai_summaries ais ON
+                          topics.id = ais.target_id AND
+                          ais.target_type = 'Topic' AND
                           ais.summary_type = '#{summary_type}'
         SQL
         .where(

app/jobs/scheduled/summaries_backfill.rb

@@ -17,7 +17,9 @@ de:
         categories:
           discourse_ai: "Discourse-KI"
       dashboard:
-        emotion: "Emotion"
+        emotion:
+          title: "Emotion"
+          description: "Die Tabelle listet die Anzahl der Beiträge auf, die mit einer bestimmten Emotion klassifiziert wurden. Klassifiziert mit dem Modell 'SamLowe/roberta-base-go_emotions'."
   js:
     discourse_automation:
       scriptables:
@@ -463,6 +465,11 @@ de:
         topic:
           title: "Zusammenfassung des Themas"
           close: "Zusammenfassungspanel schließen"
+        topic_list_layout:
+          button:
+            compact: "Kompakt"
+            expanded: "Erweitert"
+            expanded_description: "mit KI-Zusammenfassungen"
     review:
       types:
         reviewable_ai_post:

config/locales/client.de.yml

@@ -16,6 +16,10 @@ he:
       site_settings:
         categories:
           discourse_ai: "בינה מלאכותית ב־Discourse"
+      dashboard:
+        emotion:
+          title: "רגש"
+          description: "הטבלה מפרטת את כמות הפוסטים שסווגו עם רגש שנקבע. הסיווג נעשה בעזרת המודל ‚SamLowe/roberta-base-go_emotions’."
   js:
     discourse_automation:
       scriptables:
@@ -168,6 +172,7 @@ he:
         saved: "הדמות נשמרה"
         enabled: "מאופשר?"
         tools: "כלים פעילים"
+        forced_tools: "כלים נאכפים"
         allowed_groups: "קבוצות מורשות"
         confirm_delete: "למחוק את הדמות?"
         new: "דמות חדשה"
@@ -271,6 +276,11 @@ he:
           ai_persona: "דמות (%{persona})"
           ai_summarization: "סיכום"
           ai_embeddings_semantic_search: "חיפוש בינה מלאכותית"
+        in_use_warning:
+          one: "המודל הזה משמש את %{settings}. אם לא מוגדר כראוי, היכולת לא תעבוד כמצופה."
+          two: "המודל הזה משמש את: %{settings}. אם ההגדרות שגויות היכולת לא תעבודנה כמצופה."
+          many: "המודל הזה משמש את: %{settings}. אם ההגדרות שגויות היכולת לא תעבודנה כמצופה."
+          other: "המודל הזה משמש את: %{settings}. אם ההגדרות שגויות היכולת לא תעבודנה כמצופה."
         model_description:
           none: "הגדרות כלליות שעובדות עבור רוב המודלים של השפות"
           anthropic-claude-3-5-sonnet: "המודל החכם ביותר של Anthropic"
@@ -281,6 +291,12 @@ he:
           open_ai-gpt-4-turbo: "מודל חכם מאוד מהדור הקודם"
           open_ai-gpt-4o: "מודל חכם במיוחד למשימות מורכבות, רבות שלבים"
           open_ai-gpt-4o-mini: "מודל חסכוני, קטן ומהיר למשימות קלילות"
+          open_ai-o1-mini: "מודל הגיון חסכוני"
+          open_ai-o1-preview: "מודל ההיגיון החזק ביותר מבית OpenAI"
+          samba_nova-Meta-Llama-3-1-8B-Instruct: "דגם רב־לשוני, קליל ויעיל"
+          samba_nova-Meta-Llama-3-1-70B-Instruct": "מודל רב־תכליתי חזק"
+          mistral-mistral-large-latest: "המודל החזק ביותר של Mistral"
+          mistral-pixtral-large-latest: "המודל החזק ביותר של Mistral שבנוי לעיבוד חזותי"
         configured:
           title: "LLMs (מודלי שפה גדולים) מוגדרים"
         preconfigured_llms: "בחירת ה־LLM שלך"
@@ -313,6 +329,7 @@ he:
           ollama: "Ollama"
           CDCK: "CDCK"
           samba_nova: "SambaNova"
+          mistral: "Mistral"
           fake: "מותאם"
         provider_fields:
           access_key_id: "מזהה מפתח גישה ל־AWS Bedrock"
@@ -385,6 +402,10 @@ he:
         ai_generated_result: "תוצאות חיפוש שנמצאו באמצעות בינה מלאכותית"
         quick_search:
           suffix: "בכל הנושאים והפוסטים עם בינה מלאכותית"
+      ai_artifact:
+        expand_view_label: "הרחבת תצוגה"
+        collapse_view_label: "יציאה ממסך מלא (ESC)"
+        click_to_run_label: "הרצת תוצר"
       ai_bot:
         pm_warning: "הודעות בוט שיח בינה מלאכותית לא נאכפות דרך קבע על ידי המפקחים."
         cancel_streaming: "עצירת התגובה"
@@ -450,6 +471,11 @@ he:
         topic:
           title: "תקציר הנושא"
           close: "סגירת חלונית תקציר"
+        topic_list_layout:
+          button:
+            compact: "מצומצם"
+            expanded: "מורחב"
+            expanded_description: "עם סיכוי בינה מלאכותית"
     review:
       types:
         reviewable_ai_post:

config/locales/client.he.yml

@@ -96,19 +96,19 @@ ar:
       xaxis: "إيجابية (%)"
       yaxis: "التاريخ"
     emotion_anger:
-      title: الغضب
+      title: "\U0001F620 الغضب"
     emotion_disgust:
-      title: الاشمئزاز
+      title: "\U0001F922 الاشمئزاز"
     emotion_fear:
-      title: الخوف
+      title: "\U0001F628 الخوف"
     emotion_joy:
-      title: المرح
+      title: "\U0001F60A المرح"
     emotion_neutral:
-      title: محايدة
+      title: "\U0001F610 محايدة"
     emotion_sadness:
-      title: الحزن
+      title: "\U0001F62D الحزن"
     emotion_surprise:
-      title: المفاجأة
+      title: "\U0001F632 المفاجأة"
   discourse_ai:
     unknown_model: "نموذج ذكاء اصطناعي غير معروف"
     tools:

config/locales/server.ar.yml

@@ -7,7 +7,7 @@
 be:
   reports:
     emotion_neutral:
-      title: нейтральны
+      title: "\U0001F610 нейтральны"
   discourse_ai:
     ai_bot:
       tool_summary:

config/locales/server.be.yml

@@ -9,7 +9,7 @@ ca:
     overall_sentiment:
       yaxis: "Data"
     emotion_neutral:
-      title: Neutre
+      title: "\U0001F610 Neutre"
   discourse_ai:
     ai_bot:
       tool_summary:

config/locales/server.ca.yml

@@ -9,7 +9,7 @@ da:
     overall_sentiment:
       yaxis: "Dato"
     emotion_neutral:
-      title: Neutral
+      title: "\U0001F610 Neutral"
   discourse_ai:
     ai_bot:
       tool_summary: