Merge pull request #20 from ARTEMKOPIK/codegen-bot/ai-powered-automation-1766714812

ARTEMKOPIK · web-flow · commit e6151a5b815f · 2025-12-26T07:30:09.000+05:00
🤖 AI-Powered Automation v1.1.0 - Крупное обновление!
diff --git a/CHANGELOG.md b/CHANGELOG.md
@@ -1,7 +1,32 @@
-## [1.0.21] - 2025-12-26\n\n### 🐛 Исправления
+## [1.1.0] - 2025-12-26
+
+### 🤖 AI-POWERED AUTOMATION - Крупное обновление!
+
+#### ✨ Новые возможности
+- **findText(text, timeout)** - умный поиск текста на экране используя ML Kit OCR
+- **findImage(imagePath, threshold)** - поиск изображений через template matching
+- **TemplateMatcher** - собственная реализация алгоритма Normalized Cross-Correlation
+- Полностью локальная работа AI - без внешних зависимостей и серверов
+- Автоматическое определение координат элементов
+
+#### 📚 Улучшения документации
+- Расширенные примеры использования AI команд
+- Добавлены практические use-cases с findText и findImage
+- Обновлён README с подробной документацией
+
+#### 🎯 Преимущества
+- Не нужно вручную искать координаты элементов
+- Скрипты работают на разных разрешениях экрана
+- 100% бесплатно, работает офлайн
+- Высокая точность распознавания
+
+---
+
+## [1.0.21] - 2025-12-26
+
+### 🐛 Исправления
 - Fix: Ошибка компиляции - убран лишний параметр versionName из createErrorNotification
 
 ### 📝 Другое
 - Security: Добавлена проверка подписи APK перед установкой обновлений
 
-
diff --git a/README.md b/README.md
@@ -15,6 +15,8 @@ Android приложение для автоматизации действий
 
 ## Функции скриптов
 
+### Базовые команды
+
 ```javascript
 // Клик по координатам
 click(x, y)
@@ -47,7 +49,36 @@ pushToCb("текст")
 EXIT = true
 ```
 
-## Пример скрипта
+### 🤖 AI-Powered команды (NEW!)
+
+```javascript
+// Найти текст на экране (возвращает координаты)
+val pos = findText("Кнопка")
+if (pos != null) {
+    click(pos.first, pos.second)
+}
+
+// Найти текст с таймаутом
+val pos = findText("Загрузка", 10000) // ждать до 10 секунд
+
+// Найти изображение на экране
+val pos = findImage("/sdcard/template.png")
+if (pos != null) {
+    click(pos.first, pos.second)
+}
+
+// Найти изображение с порогом совпадения
+val pos = findImage("/sdcard/button.png", 0.9) // 90% совпадение
+
+// Ожидать появления текста
+if (waitForText(0, 0, 1080, 1920, "Готово", 5000)) {
+    log("Текст появился!")
+}
+```
+
+## Примеры скриптов
+
+### Базовый пример
 
 ```javascript
 log("Скрипт запущен")
@@ -70,6 +101,54 @@ while (!EXIT) {
 log("Скрипт остановлен")
 ```
 
+### 🤖 AI-пример: Автоматический поиск и клик
+
+```javascript
+log("🤖 AI-скрипт запущен")
+
+// Ищем кнопку "Начать" на экране
+val startButton = findText("Начать")
+if (startButton != null) {
+    log("✅ Кнопка найдена!")
+    click(startButton.first, startButton.second)
+    sleep(1000)
+} else {
+    log("❌ Кнопка не найдена")
+    EXIT = true
+}
+
+// Ждём появления текста "Готово"
+if (waitForText(0, 0, 1080, 1920, "Готово", 30000)) {
+    log("✅ Процесс завершён!")
+    sendTelegram("🎉 Задача выполнена!")
+} else {
+    log("⏱️ Таймаут ожидания")
+}
+
+log("Скрипт завершён")
+```
+
+### 🖼️ Пример с поиском изображений
+
+```javascript
+log("🖼️ Поиск изображения...")
+
+// Сохраните эталонное изображение кнопки в /sdcard/button_template.png
+val buttonPos = findImage("/sdcard/button_template.png", 0.85)
+
+if (buttonPos != null) {
+    log("🎯 Кнопка найдена на экране!")
+    click(buttonPos.first, buttonPos.second)
+    sleep(500)
+} else {
+    log("🔍 Кнопка не найдена, пробуем текстовый поиск...")
+    val textPos = findText("ОК")
+    if (textPos != null) {
+        click(textPos.first, textPos.second)
+    }
+}
+```
+
 ## Требуемые разрешения
 
 - **Accessibility Service** - для выполнения кликов
diff --git a/app/build.gradle.kts b/app/build.gradle.kts
@@ -28,8 +28,8 @@ android {
         applicationId = "com.autoclicker.app"
         minSdk = 24
         targetSdk = 35
-        versionCode = 1021
-        versionName = "1.0.21"
+        versionCode = 1100
+        versionName = "1.1.0"
         
         // Crash reporting credentials (читаем из local.properties или environment)
         buildConfigField("String", "CRASH_BOT_TOKEN", "\"${getConfigValue("CRASH_BOT_TOKEN")}\"")
diff --git a/app/src/main/java/com/autoclicker/app/script/ScriptEngine.kt b/app/src/main/java/com/autoclicker/app/script/ScriptEngine.kt
@@ -5,6 +5,7 @@ import android.content.Context
 import android.graphics.Bitmap
 import android.graphics.Color
 import com.autoclicker.app.service.ClickerAccessibilityService
+import com.autoclicker.app.util.TemplateMatcher
 import com.autoclicker.app.service.ScreenCaptureService
 import com.autoclicker.app.util.Constants
 import com.autoclicker.app.util.CrashHandler
@@ -92,6 +93,12 @@ class ScriptEngine(
         private val REGEX_GET_VAR = Regex("""getVar\(["'](\w+)["']\)""")
         private val REGEX_INC_VAR = Regex("""incVar\(["'](\w+)["']\)""")
         private val REGEX_DEC_VAR = Regex("""decVar\(["'](\w+)["']\)""")
+
+        // AI-Powered Commands
+        private val REGEX_FIND_TEXT = Regex("""findText\(["'](.*?)["']\)""")
+        private val REGEX_FIND_TEXT_TIMEOUT = Regex("""findText\(["'](.*?)["'],\s*(\d+)\)""")
+        private val REGEX_FIND_IMAGE = Regex("""findImage\(["'](.*?)["']\)""")
+        private val REGEX_FIND_IMAGE_THRESHOLD = Regex("""findImage\(["'](.*?)["'],\s*([0-9.]+)\)""")
     }
 
     fun execute(code: String) {
@@ -201,6 +208,8 @@ class ScriptEngine(
             line.contains("getText(") -> parseGetText(line)
             line.contains("getColor(") -> parseGetColor(line)
             line.contains("pushToCb(") -> parsePushToClipboard(line)
+            line.contains("findText(") -> parseFindText(line)
+            line.contains("findImage(") -> parseFindImage(line)
             line == "EXIT = true" -> EXIT = true
             line.startsWith("while") -> return executeWhileLoop(line, allLines, currentIndex)
             line.startsWith("if") -> return executeIfBlock(line, allLines, currentIndex)
@@ -1129,4 +1138,186 @@ class ScriptEngine(
         }
         log("Clipboard: $text")
     }
+
+    // ==================== AI-POWERED METHODS ====================
+    
+    /**
+     * Find text anywhere on screen using ML Kit OCR.
+     * Returns coordinates of found text or null if not found.
+     * 
+     * @param text Text to search for
+     * @param timeout Maximum time to search in milliseconds (default 5000)
+     * @return Pair of (x, y) coordinates where text was found, or null
+     */
+    fun findText(text: String, timeout: Long = 5000): Pair<Int, Int>? {
+        if (EXIT || Thread.currentThread().isInterrupted) return null
+        
+        log("🔍 FindText: searching for '$text'...")
+        val startTime = System.currentTimeMillis()
+        
+        while (!EXIT && !Thread.currentThread().isInterrupted) {
+            val elapsed = System.currentTimeMillis() - startTime
+            if (elapsed >= timeout) {
+                log("⏱️ FindText: timeout after ${timeout}ms")
+                return null
+            }
+            
+            val screenshot = screenshot() ?: continue
+            
+            try {
+                val image = InputImage.fromBitmap(screenshot, 0)
+                val latch = CountDownLatch(1)
+                var result: Pair<Int, Int>? = null
+                
+                val recognizer = getTextRecognizer()
+                if (recognizer == null) {
+                    log("❌ FindText: TextRecognizer not initialized")
+                    screenshot.recycle()
+                    return null
+                }
+                
+                recognizer.process(image)
+                    .addOnSuccessListener { visionText ->
+                        for (block in visionText.textBlocks) {
+                            if (block.text.contains(text, ignoreCase = true)) {
+                                val rect = block.boundingBox
+                                if (rect != null) {
+                                    result = Pair(rect.centerX(), rect.centerY())
+                                    log("✅ FindText: found at (${rect.centerX()}, ${rect.centerY()}) in ${elapsed}ms")
+                                }
+                                break
+                            }
+                        }
+                        latch.countDown()
+                    }
+                    .addOnFailureListener { e ->
+                        log("❌ FindText error: ${e.message}")
+                        latch.countDown()
+                    }
+                
+                latch.await(2000, TimeUnit.MILLISECONDS)
+                screenshot.recycle()
+                
+                if (result != null) {
+                    return result
+                }
+            } catch (e: Exception) {
+                log("❌ FindText error: ${e.message}")
+                CrashHandler.logError("ScriptEngine", "Error in findText", e)
+                screenshot.recycle()
+            }
+            
+            sleep(200)
+        }
+        
+        return null
+    }
+    
+    /**
+     * Find image on screen using template matching.
+     * Returns coordinates of best match or null if not found.
+     * 
+     * @param imagePath Path to template image file
+     * @param threshold Confidence threshold (0.0 to 1.0, default 0.8)
+     * @return Pair of (x, y) coordinates where image was found, or null
+     */
+    fun findImage(imagePath: String, threshold: Float = 0.8f): Pair<Int, Int>? {
+        if (EXIT || Thread.currentThread().isInterrupted) return null
+        
+        log("🔍 FindImage: searching for '$imagePath' (threshold: $threshold)...")
+        
+        try {
+            // Load template image
+            val templateFile = java.io.File(imagePath)
+            if (!templateFile.exists()) {
+                log("❌ FindImage: template file not found: $imagePath")
+                return null
+            }
+            
+            val template = android.graphics.BitmapFactory.decodeFile(imagePath)
+            if (template == null) {
+                log("❌ FindImage: failed to decode template image")
+                return null
+            }
+            
+            // Get current screenshot
+            val screenshot = screenshot()
+            if (screenshot == null) {
+                log("❌ FindImage: failed to capture screenshot")
+                template.recycle()
+                return null
+            }
+            
+            // Perform template matching
+            val matcher = TemplateMatcher.getInstance()
+            val matches = matcher.match(screenshot, template, threshold, maxMatches = 1)
+            
+            screenshot.recycle()
+            template.recycle()
+            
+            if (matches.isNotEmpty()) {
+                val match = matches[0]
+                val centerX = match.x + template.width / 2
+                val centerY = match.y + template.height / 2
+                log("✅ FindImage: found at ($centerX, $centerY) with confidence ${match.confidence}")
+                return Pair(centerX, centerY)
+            } else {
+                log("❌ FindImage: not found (no matches above threshold)")
+                return null
+            }
+            
+        } catch (e: Exception) {
+            log("❌ FindImage error: ${e.message}")
+            CrashHandler.logError("ScriptEngine", "Error in findImage", e)
+            return null
+        }
+    }
+    
+    private fun parseFindText(line: String) {
+        val matchTimeout = REGEX_FIND_TEXT_TIMEOUT.find(line)
+        if (matchTimeout != null) {
+            val text = matchTimeout.groupValues[1]
+            val timeout = matchTimeout.groupValues[2].toLong()
+            val result = findText(text, timeout)
+            if (result != null && line.contains("=")) {
+                val varName = line.substringBefore("=").trim().removePrefix("val ").removePrefix("var ")
+                variables[varName] = result
+            }
+            return
+        }
+        
+        val match = REGEX_FIND_TEXT.find(line)
+        if (match != null) {
+            val text = match.groupValues[1]
+            val result = findText(text)
+            if (result != null && line.contains("=")) {
+                val varName = line.substringBefore("=").trim().removePrefix("val ").removePrefix("var ")
+                variables[varName] = result
+            }
+        }
+    }
+    
+    private fun parseFindImage(line: String) {
+        val matchThreshold = REGEX_FIND_IMAGE_THRESHOLD.find(line)
+        if (matchThreshold != null) {
+            val imagePath = matchThreshold.groupValues[1]
+            val threshold = matchThreshold.groupValues[2].toFloat()
+            val result = findImage(imagePath, threshold)
+            if (result != null && line.contains("=")) {
+                val varName = line.substringBefore("=").trim().removePrefix("val ").removePrefix("var ")
+                variables[varName] = result
+            }
+            return
+        }
+        
+        val match = REGEX_FIND_IMAGE.find(line)
+        if (match != null) {
+            val imagePath = match.groupValues[1]
+            val result = findImage(imagePath)
+            if (result != null && line.contains("=")) {
+                val varName = line.substringBefore("=").trim().removePrefix("val ").removePrefix("var ")
+                variables[varName] = result
+            }
+        }
+    }
 }
diff --git a/app/src/main/java/com/autoclicker/app/util/TemplateMatcher.kt b/app/src/main/java/com/autoclicker/app/util/TemplateMatcher.kt
