feat: Add configurable search engine indexing behavior [internal]

Author: fnesveda

apify-docs-theme/src/config.js

@@ -10,6 +10,11 @@ if (process.env.LOCALHOST) {
     absoluteUrl = process.env.APIFY_DOCS_ABSOLUTE_URL;
 }
 
+let noIndex = false;
+if (process.env.NO_INDEX) {
+    noIndex = [true, 'true', 1, '1'].includes(process.env.NO_INDEX);
+}
+
 const themeConfig = {
     docs: {
         versionPersistence: 'localStorage',
@@ -313,4 +318,5 @@ module.exports = {
     themeConfig,
     plugins,
     absoluteUrl,
+    noIndex,
 };

docusaurus.config.js

@@ -12,6 +12,7 @@ module.exports = {
     title: 'Apify Documentation',
     tagline: 'Apify Documentation',
     url: config.absoluteUrl,
+    noIndex: config.noIndex,
     baseUrl: '/',
     trailingSlash: false,
     organizationName: 'apify',