Merge pull request #28 from alexankitty/metadata

Adds Metadata to search
Revamps search
Moves old table search to its own setting
Removes sorting on old table search as it doesn't really function anymore
Embeds old setting in the url so results are identical when sharing links
Adds metadata about information
Updates translations
Adds an info page that will give a summary of the game, when it released, pictures, videos, gamemodes, genre, etc
Added image gallery partial with youtube video embed support
Adds two new environment variables for IGDB auth
Automatically disables the new result interface if metadata db is empty.
Adds regional cover support.
Adds locale title support.
Implements a task to pull all applicable metadata from IGDB.
Implements full text search on metadata titles.
Adds backup fuzzy search to match as many games to metadata as possible.
Provides additional information on task statuses in console
Moves db optimization task to be handled after metadata
Adds IGDB mappings to keep platform names consistent
Adds locale name to code mapping.
Makes fuzzy search match run after main metadata match operation so that it doesn't delay the other database tasks unnecessarily
Adds badges to point out which search experience the user is currently using. Clicking directs to the settings page where they can change their search experience.
Fix suggestions by normalizing the names, and then deduplicating the results before sending them to the client

Author: alexankitty

.env

@@ -2,7 +2,7 @@ PORT=8062
 BIND_ADDRESS=0.0.0.0
 FORCE_FILE_REBUILD=0
 DEBUG=0
-NODE_ENV=production
+NODE_ENV=dev
 # Memory Impacting Settings - Trades for threading efficiency. Much slower, but should be useful for limited memory environments like VPS
 # May also decrease 504 failure rates
 # Changes the maximum number of jobs the crawler can queue. Setting it too high will cause a call stack overflow
@@ -13,6 +13,8 @@ MAX_FETCH_JOBS=1000
 INSTANCE_NAME=Myrient
 # Enable the built-in emulator
 EMULATOR_ENABLED=true
+# Set the hostname
+HOSTNAME=myrient.mahou.one
 
 # Run docker-compose.dev.yml for running locally
 # Database Configuration
@@ -24,3 +26,7 @@ POSTGRES_PASSWORD=development
 
 # Elasticsearch Configuration
 ELASTICSEARCH_URL=http://localhost:9200
+
+#IGDB Connection Configuration - Not setting this will disable the new search page and metadata pull
+TWITCH_CLIENT_ID=
+TWITCH_CLIENT_SECRET=

README.md

@@ -6,6 +6,9 @@ It is finally here. There is now a way to search all of Myrient's offerings.
 - 800MB-ish of memory for running the server
 - HTTPS for some CORS functions to work correctly.
 
+# Post Metasearch update
+Please clear your elasticsearch instance, and possibly run a new file rebuild to ensure there are no errors after updating your docker container or pulling the repo.
+
 # Self-Hosting
 
 ## Docker Method (Recommended)
@@ -69,6 +72,12 @@ server {
 For the SSL certificate you can use certbot via the `certbot -d servername.tld` command and adding it to your `crontab`.
 [Additional Information for Certbot Setup](https://www.digitalocean.com/community/tutorials/how-to-secure-nginx-with-let-s-encrypt-on-ubuntu-20-04)
 
+# Opengraph
+To ensure OpenGraph metadata embed for chat apps works correctly, please be sure to set `HOSTNAME` in `.env` or `docker-compose.yml` to the FQDN (fully qualifed domain name) of the server that is hosting the site.
+
+# Metadata
+To enable metadata synchronize and matching, you will need to create a developer application in the [Twitch TV Developer Console](https://dev.twitch.tv/console) and then add your client id to `TWITCH_CLIENT_ID` in `.env` or `docker-compose.yml` along with adding your client secret to `TWITCH_CLIENT_SECRET`. Metadata takes about half an hour to synchronize from IGDB to your database, and about another half an hour to match via Postgres Full Text Search. Once all other database maintenance operations are done, the database will attempt to match anything that still isn't matched using a much slower fuzzy trigram search that can take up to a day to complete. These processes won't run again until a new crawl of myrient has been performed and the file count has increased.
+
 # Contributing
 You know the usual fluff.  
 Is there a missing category or string association? `lib/categories.json` and any of the files under `lib/json/relatedkeywords` can both updated to include these. If you do update/improve these, please put in a pull request so that it can be added to the public hosted server, as well.  

config/i18n.js

@@ -24,6 +24,7 @@ console.log('Available locales:', availableLocales);
 i18n.configure({
     locales: availableLocales,
     defaultLocale: 'en',
+    retryInDefaultLocale: true,
     directory: localesDir,
     objectNotation: true,
     updateFiles: false,

config/locales/ar.json

@@ -21,7 +21,25 @@
         "in_seconds": "في {{seconds}} ثانية",
         "indexing": "جارٍ الفهرسة، إذا كان هناك شيء مفقود في القائمة، يرجى المحاولة مرة أخرى بعد بضع دقائق",
         "non_game_filter": "تم تفعيل فلتر المحتوى غير اللعبي",
-        "displaying_results": "عرض النتائج من {{start}} إلى {{end}}."
+        "displaying_results": "عرض النتائج من {{start}} إلى {{end}}.",
+        "no_description": "لم يتم العثور على وصف.",
+        "no_metadata": "لم يتم العثور على بيانات وصفية.",
+        "released": "تم الإصدار:",
+        "release_date": "تاريخ الإصدار:",
+        "region": "المنطقة:",
+        "platform": "المنصة:",
+        "genre": "النوع:",
+        "published": "الناشر:",
+        "developed": "المطور:",
+        "modes": "أنماط اللعب:",
+        "download": "تحميل",
+        "filename": "اسم الملف:",
+        "release_group": "مجموعة الإصدار:",
+        "upload_date": "تاريخ الرفع:",
+        "more_info": "المزيد من المعلومات",
+        "size": "الحجم:",
+        "old_experience": "استخدام تجربة البحث القديمة.",
+        "new_experience": "استخدام تجربة البحث الجديدة."
     },
     "about": {
         "title": "حول الموقع",
@@ -40,6 +58,10 @@
         "credits": {
             "created_by": "تم إنشاء محرك البحث بواسطة",
             "view_github": "عرض المشروع على GitHub"
+        },
+        "metadata": {
+            "title": "معلومات البيانات الوصفية",
+            "description": "يقوم هذا الموقع بجلب معلومات البيانات الوصفية عن الألعاب من {{metadata_source}}. قد تكون بعض البيانات الوصفية مفقودة أو غير صحيحة بسبب عدم تطابق اسم ROM أو مشاكل مع مزود الخدمة."
         }
     },
     "settings": {
@@ -67,8 +89,12 @@
                 "tooltip": "يتطلب تطابق جميع الكلمات في استعلام البحث."
             },
             "hide_non_game": {
-                "label": "إخفاء المحتوى غير اللعبي",
-                "tooltip": "يفلتر تعديلات الـ ROM، والتصحيحات، والرسومات، والمحتويات الأخرى غير اللعبية من نتائج البحث."
+                "label": "إخفاء المحتوى غير المتعلق بالألعاب",
+                "tooltip": "يقوم بتصفية تعديلات ROM والتصحيحات والرسومات والمحتويات الأخرى غير المتعلقة بالألعاب من نتائج البحث."
+            },
+            "use_old_results": {
+                "label": "البحث القديم",
+                "tooltip": "يعيد توجيه بحثك إلى نتائج التنسيق الجدولي القديم. ستحمل هذه النتائج بشكل أسرع لأنها ستتجاهل سحب البيانات الوصفية."
             }
         },
         "save": "حفظ الإعدادات"
@@ -77,6 +103,7 @@
         "queries": "عدد الاستعلامات:",
         "files": "الملفات المعروفة:",
         "terms": "عدد المصطلحات:",
+        "metadata": "الملفات مع البيانات الوصفية:",
         "last_crawl": "وقت آخر زحف:"
     },
     "emulator": {
@@ -106,6 +133,7 @@
         "download": "تنزيل",
         "play": "تشغيل",
         "not_available": "----",
+        "not_available_tooltip": "المحاكاة عبر الويب غير متوفرة لهذا العنوان إما لأنه ليس لعبة أو لأن المنصة غير مدعومة.",
         "disclaimer": "يقوم هذا المحاكي بتحميل الألعاب مباشرة من {{link}}. تعرف على المزيد في صفحة {{about}}."
     },
     "results": {

config/locales/bn.json

@@ -21,7 +21,25 @@
         "in_seconds": "{{seconds}} সেকেন্ডে",
         "indexing": "ইনডেক্সিং চলছে, তালিকায় কিছু অনুপস্থিত থাকলে কয়েক মিনিট পরে আবার চেষ্টা করুন",
         "non_game_filter": "নন-গেম কন্টেন্ট ফিল্টার সক্রিয় আছে",
-        "displaying_results": "{{start}} থেকে {{end}} পর্যন্ত ফলাফল দেখানো হচ্ছে।"
+        "displaying_results": "{{start}} থেকে {{end}} পর্যন্ত ফলাফল দেখানো হচ্ছে।",
+        "no_description": "কোন বিবরণ পাওয়া যায়নি।",
+        "no_metadata": "কোন মেটাডেটা পাওয়া যায়নি।",
+        "released": "প্রকাশিত:",
+        "release_date": "প্রকাশের তারিখ:",
+        "region": "অঞ্চল:",
+        "platform": "প্ল্যাটফর্ম:",
+        "genre": "ধরন:",
+        "published": "প্রকাশক:",
+        "developed": "ডেভেলপার:",
+        "modes": "গেমপ্লে মোড:",
+        "download": "ডাউনলোড",
+        "filename": "ফাইলের নাম:",
+        "release_group": "রিলিজ গ্রুপ:",
+        "upload_date": "আপলোডের তারিখ:",
+        "more_info": "আরও তথ্য",
+        "size": "সাইজ:",
+        "old_experience": "পুরানো অনুসন্ধান অভিজ্ঞতা ব্যবহার করা হচ্ছে।",
+        "new_experience": "নতুন অনুসন্ধান অভিজ্ঞতা ব্যবহার করা হচ্ছে।"
     },
     "about": {
         "title": "সম্পর্কে",
@@ -40,6 +58,10 @@
         "credits": {
             "created_by": "সার্চ ইঞ্জিন তৈরি করেছেন",
             "view_github": "GitHub-এ প্রকল্প দেখুন"
+        },
+        "metadata": {
+            "title": "মেটাডেটা তথ্য",
+            "description": "এই ওয়েবসাইট {{metadata_source}} থেকে গেমস সম্পর্কে মেটাডেটা তথ্য সংগ্রহ করে। ROM নামের অমিল বা পরিষেবা প্রদানকারীর সমস্যার কারণে কিছু মেটাডেটা অনুপস্থিত বা ভুল হতে পারে।"
         }
     },
     "settings": {
@@ -68,16 +90,21 @@
             },
             "hide_non_game": {
                 "label": "নন-গেম কন্টেন্ট লুকান",
-                "tooltip": "ROM হ্যাকস, প্যাচ, আর্টওয়ার্ক এবং অন্যান্য নন-গেম কন্টেন্ট অনুসন্ধান ফলাফল থেকে ফিল্টার করে।"
+                "tooltip": "সার্চ রেজাল্ট থেকে ROM হ্যাকস, প্যাচ, আর্টওয়ার্ক এবং অন্যান্য নন-গেম কন্টেন্ট ফিল্টার করে।"
+            },
+            "use_old_results": {
+                "label": "পুরানো সার্চ",
+                "tooltip": "আপনার সার্চকে পুরানো টেবিল ফরম্যাটের রেজাল্টে রিডাইরেক্ট করে। এগুলি মেটাডেটা পুল করা এড়িয়ে যাবে তাই দ্রুত লোড হবে।"
             }
         },
         "save": "সেটিংস সংরক্ষণ করুন"
     },
     "footer": {
-        "queries": "অনুসন্ধান সংখ্যা:",
-        "files": "পরিচিত ফাইল:",
-        "terms": "শব্দ সংখ্যা:",
-        "last_crawl": "সর্বশেষ আপডেটের সময়:"
+        "queries": "কোয়েরির সংখ্যা:",
+        "files": "জানা ফাইল:",
+        "terms": "শব্দের সংখ্যা:",
+        "metadata": "মেটাডেটা সহ ফাইল:",
+        "last_crawl": "সর্বশেষ ক্রল সময়:"
     },
     "emulator": {
         "loading": {
@@ -106,6 +133,7 @@
         "download": "ডাউনলোড",
         "play": "প্লে",
         "not_available": "----",
+        "not_available_tooltip": "এই টাইটেলের জন্য ওয়েব এমুলেশন উপলব্ধ নয় কারণ এটি হয় একটি গেম নয় অথবা প্ল্যাটফর্মটি সমর্থিত নয়।",
         "disclaimer": "এই এমুলেটর {{link}} থেকে সরাসরি গেম লোড করে। {{about}} পৃষ্ঠায় আরও জানুন।"
     },
     "results": {