Merge branch 'master' into issue-3798

Author: williamstein

src/packages/database/settings/server-settings.ts

@@ -90,6 +90,7 @@ export async function load_server_settings_from_env(
   db: PostgreSQL,
 ): Promise<void> {
   const PREFIX = SERVER_SETTINGS_ENV_PREFIX;
+  L.debug("load_server_settings_from_env variables prefixed by ", PREFIX);
   // reset all readonly values
   await db.async_query({
     query: "UPDATE server_settings",

src/packages/frontend/app/insecure-test-mode-banner.tsx

@@ -0,0 +1,24 @@
+import { Alert } from "antd";
+import { A } from "@cocalc/frontend/components/A";
+
+export default function InsecureTestModeBanner() {
+  return (
+    <Alert
+      banner
+      type="warning"
+      showIcon
+      style={{ background: "darkred", color: "white" }}
+      message={
+        <div style={{ textAlign: "center" }}>
+          <A
+            href="https://cocalc.com/pricing/onprem"
+            style={{ color: "white" }}
+          >
+            <b>WARNING:</b> This is CoCalc OnPrem running in{" "}
+            <b>A HIGHLY INSECURE TRIAL MODE</b>.
+          </A>
+        </div>
+      }
+    />
+  );
+}

src/packages/frontend/app/page.tsx

@@ -45,6 +45,7 @@ import { HIDE_LABEL_THRESHOLD, NAV_CLASS } from "./top-nav-consts";
 import { CookieWarning, LocalStorageWarning, VersionWarning } from "./warnings";
 import { I18NBanner, useShowI18NBanner } from "./i18n-banner";
 import SettingsModal from "./settings-modal";
+import InsecureTestModeBanner from "./insecure-test-mode-banner";
 
 // ipad and ios have a weird trick where they make the screen
 // actually smaller than 100vh and have it be scrollable, even
@@ -113,6 +114,7 @@ export const Page: React.FC = () => {
   const show_i18n = useShowI18NBanner();
 
   const is_commercial = useTypedRedux("customize", "is_commercial");
+  const insecure_test_mode = useTypedRedux("customize", "insecure_test_mode");
 
   function account_tab_icon(): IconName | JSX.Element {
     if (is_anonymous) {
@@ -371,6 +373,7 @@ export const Page: React.FC = () => {
       onDragOver={(e) => e.preventDefault()}
       onDrop={drop}
     >
+      {insecure_test_mode && <InsecureTestModeBanner />}
       {show_file_use && (
         <div style={fileUseStyle} className="smc-vfill">
           <FileUsePage />

src/packages/frontend/codemirror/extensions/ai-formula.tsx

@@ -1,5 +1,6 @@
 import { Button, Descriptions, Divider, Input, Modal, Space } from "antd";
 import { debounce } from "lodash";
+import { useIntl } from "react-intl";
 
 import { useLanguageModelSetting } from "@cocalc/frontend/account/useLanguageModelSetting";
 import {
@@ -22,13 +23,14 @@ import {
 import AIAvatar from "@cocalc/frontend/components/ai-avatar";
 import { LLMModelName } from "@cocalc/frontend/components/llm-name";
 import LLMSelector from "@cocalc/frontend/frame-editors/llm/llm-selector";
+import { dialogs } from "@cocalc/frontend/i18n";
 import { show_react_modal } from "@cocalc/frontend/misc";
 import { LLMCostEstimation } from "@cocalc/frontend/misc/llm-cost-estimation";
 import track from "@cocalc/frontend/user-tracking";
 import { webapp_client } from "@cocalc/frontend/webapp-client";
 import { isFreeModel } from "@cocalc/util/db-schema/llm-utils";
-import { unreachable } from "@cocalc/util/misc";
 import { Locale } from "@cocalc/util/i18n";
+import { unreachable } from "@cocalc/util/misc";
 
 type Mode = "tex" | "md";
 
@@ -65,6 +67,7 @@ interface Props extends Opts {
 }
 
 function AiGenFormula({ mode, text = "", project_id, locale, cb }: Props) {
+  const intl = useIntl();
   const { setLocale } = useLocalizationCtx();
   const is_cocalc_com = useTypedRedux("customize", "is_cocalc_com");
   const [model, setModel] = useLanguageModelSetting(project_id);
@@ -260,7 +263,7 @@ function AiGenFormula({ mode, text = "", project_id, locale, cb }: Props) {
         </Title>
         {enabled ? (
           <>
-            Select language model:{" "}
+            {intl.formatMessage(dialogs.select_llm)}:{" "}
             <LLMSelector
               project_id={project_id}
               model={model}

src/packages/frontend/customize.tsx

@@ -177,6 +177,8 @@ export interface CustomizeState {
   default_llm?: string;
   user_defined_llm: boolean;
 
+  insecure_test_mode?: boolean;
+
   i18n?: List<Locale>;
 }
 
@@ -329,7 +331,7 @@ function process_customize(obj) {
   for (const k in site_settings_conf) {
     const v = site_settings_conf[k];
     obj[k] =
-      obj[k] != null ? obj[k] : v.to_val?.(v.default, obj_orig) ?? v.default;
+      obj[k] != null ? obj[k] : (v.to_val?.(v.default, obj_orig) ?? v.default);
   }
   // the llm markup special case
   obj.llm_markup = obj_orig._llm_markup ?? 30;

src/packages/frontend/frame-editors/llm/llm-selector.tsx

@@ -44,6 +44,7 @@ import {
 } from "@cocalc/util/db-schema/llm-utils";
 import { round2up } from "@cocalc/util/misc";
 import type { CustomLLMPublic } from "@cocalc/util/types/llm";
+import { FormattedMessage } from "react-intl";
 import { getCustomLLMGroup } from "./components";
 
 type SizeType = ConfigProviderProps["componentSize"];
@@ -325,21 +326,33 @@ export default function LLMSelector({
     }
 
     return (
-      <>
+      <FormattedMessage
+        id="llm-selector.help.message2"
+        defaultMessage={`
         <Paragraph>
-          The models marked as "{FREE}" do not incur any charges. However, they
-          are rate limited to avoid abuse. The more capable models are marked "
-          {PREMIUM}" and charged by the number of read and geenerated tokens –
-          i.e. "pay-as-you-go" – and do not have rate limitations. Usually,
-          these charges are very small!
+          The models marked as "{FREE}" do not incur any charges.
+          However, they are rate limited to avoid abuse.
+          The more capable models are marked "{PREMIUM}" and charged by the number of
+          read and geenerated tokens – i.e. "pay-as-you-go" – and do not have rate limitations.
+          Usually, these charges are very small!
         </Paragraph>
         <Paragraph>
-          Assuming a typical usage involves {input} input tokens and {output}{" "}
-          output tokens, the price across all models ranges from $
-          {min.toFixed(2)} to ${max.toFixed(2)} per usage, and is{" "}
-          {calcSelected()} for the selected model {modelToName(model)}.
-        </Paragraph>
-      </>
+          Assuming a typical usage involves {input} input tokens and {output} output tokens,
+          the price across all models ranges from \${min} to \${max} per usage,
+          and is {calc} for the selected model {name}.
+        </Paragraph>`}
+        values={{
+          Paragraph: (c) => <Paragraph>{c}</Paragraph>,
+          FREE,
+          PREMIUM,
+          input,
+          output,
+          min: min.toFixed(2),
+          max: max.toFixed(2),
+          calc: calcSelected(),
+          name: modelToName(model),
+        }}
+      />
     );
   }
 
@@ -348,10 +361,12 @@ export default function LLMSelector({
       <HelpIcon title={"Language Model Selection"}>
         <>
           <Paragraph>
-            This selector determines which language model will be used to
-            generate the response. You can select from a variety of models, each
-            with its own strengths and weaknesses. Your choice will become the
-            default the next time you use an LLM.
+            <FormattedMessage
+              id="llm-selector.help.message1"
+              defaultMessage={`This selector determines which language model will be used to generate the response.
+            You can select from a variety of models, each with its own strengths and weaknesses.
+            Your choice will become the default the next time you use an LLM.`}
+            />
           </Paragraph>
           {renderHelpPricing()}
         </>

src/packages/frontend/i18n/common.ts

@@ -1332,6 +1332,10 @@ export const jupyter = {
 };
 
 export const dialogs = defineMessages({
+  select_llm: {
+    id: "ai-generator.select_llm",
+    defaultMessage: "Select language model",
+  },
   project_start_warning_title: {
     id: "project-start-warning.title",
     defaultMessage: "Start this project?",

src/packages/frontend/i18n/trans/ar_EG.json

@@ -33,6 +33,7 @@
   "accountaccount.account_preferences.subtitle": "قم بضبط تفضيلات الحساب أدناه. <A>قم بزيارة إعدادات حسابك لمزيد من المعلومات...</A>",
   "ai-generate-document.loading_kernels.error_message": "غير قادر على تحميل نوى Jupyter. تأكد من تشغيل المشروع وتثبيت Jupyter.",
   "ai-generate-document.modal.title": "إنشاء مستند {docName} باستخدام الذكاء الاصطناعي",
+  "ai-generator.select_llm": "اختر نموذج اللغة",
   "app.fullscreen-button.tooltip": "وضع الشاشة الكاملة، يركز على المستند أو الصفحة الحالية.",
   "chat.chat-indicator.tooltip": "إخفاء أو إظهار محادثة المستندات",
   "chat.input.placeholder": "اكتب رسالة جديدة ({have_llm, select, true {الدردشة مع الذكاء الاصطناعي أو } other {}}إخطار زميل بكتابة @)...",
@@ -636,6 +637,8 @@
   "labels.x11_desktop": "سطح المكتب الرسومي X11",
   "labels.zoom_in": "تكبير",
   "labels.zoom_out": "التصغير",
+  "llm-selector.help.message1": "يحدد هذا المُحدد أي نموذج لغة سيتم استخدامه لتوليد الاستجابة. يمكنك الاختيار من مجموعة متنوعة من النماذج، لكل منها نقاط قوة وضعف خاصة به. سيصبح اختيارك هو الافتراضي في المرة التالية التي تستخدم فيها LLM.",
+  "llm-selector.help.message2": "النماذج المُعلمة بـ \"{FREE}\" لا تتطلب أي رسوم. ومع ذلك، فهي محدودة المعدل لتجنب الإساءة. النماذج الأكثر قدرة مُعلمة بـ \"{PREMIUM}\" ويتم فرض رسوم بناءً على عدد الرموز المقروءة والمُنشأة – أي \"الدفع حسب الاستخدام\" – ولا تحتوي على قيود المعدل. عادةً ما تكون هذه الرسوم صغيرة جداً!\n\nبافتراض أن الاستخدام النموذجي يتضمن {input} رموز إدخال و {output} رموز إخراج، فإن السعر عبر جميع النماذج يتراوح من ${min} إلى ${max} لكل استخدام، وهو {calc} للنموذج المحدد {name}.",
   "llm.cost-estimation.model_free_to_use": "هذا النموذج مجاني للاستخدام.",
   "menu.generic.button_bar.disable.label": "إزالة جميع الأزرار",
   "menu.generic.close_and_halt.label": "إغلاق وإيقاف...",
@@ -779,9 +782,17 @@
   "project.new.new-file-page.upload.description": "يمكنك إسقاط ملف أو أكثر هنا أو في قائمة ملفات المستكشف. اطلع على <A>التوثيق</A> لمزيد من الطرق لإضافة ملفاتك إلى مشروعك.",
   "project.new.new-file-page.upload.title": "تحميل الملفات إلى مشروعك",
   "project.open_file.what": "افتح الملف \"{path}\"",
+  "project.page.ai-generate-document.content.label": "قدم وصفًا مفصلًا لوثيقة {docName} التي تريد إنشاؤها:",
+  "project.page.ai-generate-document.content.placeholder": "وصف المحتوى...",
   "project.page.ai-generate-document.create_document.what": "إنشاء مستند {docName} \"{path}\"",
+  "project.page.ai-generate-document.create.label": "إنشاء {docName} باستخدام",
   "project.page.ai-generate-document.info.title": "مولد",
   "project.page.ai-generate-document.info.tooltip": "افتح مولد الذكاء الاصطناعي لإنشاء مستند تلقائيًا",
+  "project.page.ai-generate-document.preview.footer": "انقر على \"حفظ\" لتخزين معاينة المحتوى في ملف جديد بالاسم المحدد. يمكنك بعد ذلك تحرير وتشغيل المستند الحسابي كالمعتاد. انقر على \"تجاهل\" لتجاهل النتيجة والعودة إلى الخطوة السابقة.",
+  "project.page.ai-generate-document.preview.header": "هذا معاينة للمحتوى المُنشأ.",
+  "project.page.ai-generate-document.preview.info": "سيتم إرسال مطالبة لإنشاء المستند إلى نموذج اللغة {llm}. سترى معاينة للمحتوى الجديد، الذي ستتمكن بعد ذلك من حفظه في ملف جديد والبدء في العمل عليه. بشكل عام، يجب أن يساعدك المستند الذي تم إنشاؤه حديثًا في البدء في تحقيق هدفك.",
+  "project.page.ai-generate-document.preview.save_message": "لقد انتهى من توليد المحتوى. يمكنك إما <B>حفظ الملف</B> بالاسم المعطى، أو تجاهل المعاينة والعودة إلى الخطوة السابقة.",
+  "project.page.ai-generate-document.preview.saving": "{saving, select, true {يتم حفظ الملف...} other {يرجى الانتظار حتى يتم الانتهاء من التوليد...}}",
   "project.page.file-tab.search_file.label": "بحث",
   "project.page.file-tab.upgrades.flyoutTitle": "ترقيات المشروع",
   "project.page.flyout.log.title": "الملفات الأخيرة",

src/packages/frontend/i18n/trans/de_DE.json

@@ -32,7 +32,8 @@
   "account.terminal-settings.label-row.label": "Terminalfarbschema",
   "accountaccount.account_preferences.subtitle": "Passen Sie die Kontoeinstellungen unten an. <A>Besuchen Sie Ihre Kontokonfiguration für mehr...</A>",
   "ai-generate-document.loading_kernels.error_message": "Jupyter-Kernel können nicht geladen werden. Stellen Sie sicher, dass das Projekt läuft und Jupyter installiert ist.",
-  "ai-generate-document.modal.title": "Erzeugen Sie ein {docName} Dokument mit KI",
+  "ai-generate-document.modal.title": "Erzeuge ein {docName} Dokument mit KI",
+  "ai-generator.select_llm": "Sprachmodell auswählen",
   "app.fullscreen-button.tooltip": "Vollbildmodus, fokussiert auf das aktuelle Dokument oder die aktuelle Seite",
   "chat.chat-indicator.tooltip": "Dokument-Chat ausblenden oder anzeigen",
   "chat.input.placeholder": "Schreib eine neue Nachricht ({have_llm, select, true {sprich mit einer KI oder } other {}}kontaktiere eine/n Mitarbeiter/in durch Erwähnen mit einem @)...",
@@ -636,6 +637,8 @@
   "labels.x11_desktop": "Grafischer X11-Desktop",
   "labels.zoom_in": "Vergrößern",
   "labels.zoom_out": "Rauszoomen",
+  "llm-selector.help.message1": "Dieser Selektor bestimmt, welches Sprachmodell zur Generierung der Antwort verwendet wird. Sie können aus einer Vielzahl von Modellen wählen, die jeweils ihre eigenen Stärken und Schwächen haben. Ihre Wahl wird beim nächsten Mal, wenn Sie ein LLM verwenden, zum Standard.",
+  "llm-selector.help.message2": "Die Modelle, die mit \"{FREE}\" gekennzeichnet sind, verursachen keine Kosten. Sie sind jedoch in der Rate begrenzt, um Missbrauch zu vermeiden. Die leistungsfähigeren Modelle sind mit \"{PREMIUM}\" gekennzeichnet und werden nach der Anzahl der gelesenen und generierten Tokens – also \"pay-as-you-go\" – abgerechnet und haben keine Ratenbegrenzungen. In der Regel sind diese Kosten sehr gering!\n\nAngenommen, eine typische Nutzung umfasst {input} Eingabetokens und {output} Ausgabetokens, reicht der Preis für alle Modelle von ${min} bis ${max} pro Nutzung und beträgt {calc} für das ausgewählte Modell {name}.",
   "llm.cost-estimation.model_free_to_use": "Dieses Modell ist kostenlos nutzbar.",
   "menu.generic.button_bar.disable.label": "Alle Schaltflächen entfernen",
   "menu.generic.close_and_halt.label": "Schließen und Stoppen...",
@@ -779,9 +782,17 @@
   "project.new.new-file-page.upload.description": "Sie können eine oder mehrere Dateien hier oder in der Explorer-Dateiliste ablegen. Siehe <A>Dokumentation</A> für weitere Möglichkeiten, Ihre Dateien in Ihr Projekt zu bekommen.",
   "project.new.new-file-page.upload.title": "Dateien in Ihr Projekt hochladen",
   "project.open_file.what": "öffne die Datei \"{path}\"",
+  "project.page.ai-generate-document.content.label": "Geben Sie eine detaillierte Beschreibung des {docName}-Dokuments, das Sie erstellen möchten:",
+  "project.page.ai-generate-document.content.placeholder": "Inhalt beschreiben...",
   "project.page.ai-generate-document.create_document.what": "erstelle das {docName} Dokument \"{path}\"",
+  "project.page.ai-generate-document.create.label": "Erstelle {docName} mit",
   "project.page.ai-generate-document.info.title": "Generator",
   "project.page.ai-generate-document.info.tooltip": "Öffnen Sie den AI-Generator, um automatisch ein Dokument zu erstellen.",
+  "project.page.ai-generate-document.preview.footer": "Klicken Sie auf \"Speichern\", um die Vorschau des Inhalts in einer neuen Datei mit dem angegebenen Dateinamen zu speichern. Sie können dann das Rechendokument wie gewohnt bearbeiten und ausführen. Klicken Sie auf \"Verwerfen\", um das Ergebnis zu ignorieren und zum vorherigen Schritt zurückzukehren.",
+  "project.page.ai-generate-document.preview.header": "Dies ist eine Vorschau des generierten Inhalts.",
+  "project.page.ai-generate-document.preview.info": "Eine Aufforderung zur Erstellung des Dokuments wird an das {llm} Sprachmodell gesendet. Sie sehen eine Vorschau des neuen Inhalts, die Sie dann in einer neuen Datei speichern und daran arbeiten können. Insgesamt sollte das neu erstellte Dokument Ihnen helfen, Ihr Ziel zu erreichen.",
+  "project.page.ai-generate-document.preview.save_message": "Es hat die Inhalte fertiggestellt. Sie können entweder die Datei mit dem angegebenen Dateinamen <B>speichern</B> oder die Vorschau verwerfen und zum vorherigen Schritt zurückkehren.",
+  "project.page.ai-generate-document.preview.saving": "{saving, select, true {Die Datei wird gespeichert...} other {Bitte warten Sie, bis vollständig generiert...}}",
   "project.page.file-tab.search_file.label": "Suche",
   "project.page.file-tab.upgrades.flyoutTitle": "Projekt-Upgrades",
   "project.page.flyout.log.title": "Kürzlich bearbeitete Dateien",