|
| 1 | +<img src="https://github.com/Unity-Technologies/ml-agents/blob/master/docs/images/image-banner.png" align="middle" width="3000"/> |
| 2 | + |
| 3 | +# Unity ML-Agents Toolkit Version Release 7 |
| 4 | + |
| 5 | +[](https://github.com/Unity-Technologies/ml-agents/tree/release_7_docs/docs/) |
| 6 | +[](LICENSE) |
| 7 | + |
| 8 | +([latest release](https://github.com/Unity-Technologies/ml-agents/releases/tag/latest_release)) |
| 9 | +([all releases](https://github.com/Unity-Technologies/ml-agents/releases)) |
| 10 | + |
| 11 | +**The Unity Machine Learning Agents Toolkit (ML-Agents)** - open-source проект, |
| 12 | +предназначенный для обучения искусственного интеллекта (агента) через взаимодействие со средой, - |
| 13 | +игрой или симуляцией, - используя различные методы машинного обучения: |
| 14 | +обучение с подкреплением (reinforcement learning), имитационное обучение (imitation learning), |
| 15 | +нейроэволюция (neuroevolution) и др. средствами Python API. В проекте реализованы также и современные |
| 16 | +алгоритмы (на основе TensorFlow), чтобы дать возможность как разработчикам игр так и любым другим, |
| 17 | +кто увлечен темой AI, обучать искусственный интеллект для 2D, 3D и VR/AR игр. Применение таких агентов |
| 18 | +бесчисленно: например, вы можете использовать их для управления NPC (опций также много - будь то |
| 19 | +обучение действиям в кооперативе или друг против друга), для тестирования различных версий сборок |
| 20 | +игры, а также для оценки гейм дизайнерских решений. ML-Agents объединяет разработчиков игр и |
| 21 | +исследователей AI, так как предоставляет единую платформу, в рамках которой новые разработки |
| 22 | +в сфере искусственного интеллекта могут быть протестированы через движок Unity и, как следствие, |
| 23 | +стать доступнее большему количеству и тех, и других. |
| 24 | + |
| 25 | +## Особенности: |
| 26 | + |
| 27 | +- Более [15 примеров на Unity](docs/Learning-Environment-Examples.md). |
| 28 | +- Большие возможности по конфигурации среды и тренировочных сценариев. |
| 29 | +- Unity SDK, который легко встроить в код вашей игры или в кастомную сцену в Unity |
| 30 | +- Два алгоритма глубинного обучения с подкреплением (deep reinforcement learning): |
| 31 | +Proximal Policy Optimization (PPO) и Soft Actor-Critic (SAC). Первый алгоритм старается узнать, |
| 32 | +какой будет наилучший шаг в конкретной ситуации, тогда как второй - узнать в целом правила |
| 33 | +игры/системы/симуляции, их закон и действовать согласно этому усвоенному закону изменения среды. |
| 34 | +- Встроенная поддержка для имитационного обучения (Imitation Learning), которое можно сделать |
| 35 | +либо через клонирование поведения (Behavioral Cloning), либо через генеративно-состязательное |
| 36 | +имитационное обучение (Generative Adversarial Imitation Learning - GAIL), когда одна часть алгоритма |
| 37 | +генерирует поведение, а другая определяет, похоже данное поведение на то, которое было дано как исходное, |
| 38 | +например, самим пользователем в виде записи его действий. Генерация происходит до тех пор, пока |
| 39 | +сгенерированное поведение не будет определено как неотличимое или очень близкое к исходному. |
| 40 | +- Возможность для агента игры с самим собой, если агент обучается в контексте сценария “состязание”: |
| 41 | +например, игра в футбол, где есть две команды. |
| 42 | +- ML-Agents позволяет настроить череду сцен, где каждая новая сцена - это усложнение сцены предыдущей, |
| 43 | +например, добавление новой преграды. Не всегда поставленную задачу агент сможет научиться |
| 44 | +выполнять, если среда слишком сложная изначально. Дайте ему сначала сценку попроще, когда |
| 45 | +он научиться ее проходить, его перенесет на уровень посложнее. |
| 46 | +- Обучение агента, устойчивого к изменениям, с помощью возможности случайного генерации элементов сцены |
| 47 | +- Гибкий контроль агента: демонстрация выученного поведения только при определенных условиях. |
| 48 | +Например, NPC входит в контекст “атака” - атакует так, как научился ранее в рамках обучающего сценария. |
| 49 | +- Обучение агента сразу на множестве сцен одновременно. Представьте, как он играет в футбол сразу |
| 50 | +на десяти стадионах, набираясь опыта одновременно на них всех. Выглядит это в Unity также, |
| 51 | +как и представляется. |
| 52 | +- Использование [Unity Inference Engine](docs/Unity-Inference-Engine.md) для поддержки кроссплатформенности. |
| 53 | +- Контроль через [Python API](docs/Python-API.md) сцен. |
| 54 | +- Возможность обернуть Unity среду для обучения как [gym](gym-unity/README.md). |
| 55 | + |
| 56 | +Для более детального ознакомления с данными особенностями см. [Обзор ML-Agents] (docs/ML-Agents-Overview.md). |
| 57 | + |
| 58 | +## Релизы и Документация |
| 59 | + |
| 60 | +**Наш последний стабильный релиз - это `7-ой Релиз` (Release 7). |
| 61 | +См. [здесь](https://github.com/Unity-Technologies/ml-agents/tree/release_7_docs/docs/Readme.md), |
| 62 | +чтобы начать работать с самой последней версий ML-Agents.** |
| 63 | + |
| 64 | +Таблица внизу - список всех наших релизов, включая master ветку, над которой мы ведем активную работу |
| 65 | +и которая может быть нестабильной. Полезная информация: |
| 66 | + |
| 67 | +[Управление версиями](docs/Versioning.md) - описание того, как мы работам с GitHub. |
| 68 | +[Релизы](https://github.com/Unity-Technologies/ml-agents/releases) - об изменениях между версиями |
| 69 | +[Миграция](docs/Migrating.md) - как перейти с более ранней версии ML-Agents на новую. |
| 70 | +Ссылки на **документацию** - как установить и начать пользоваться ML-Agents в зависимости от версии. |
| 71 | +Всегда используйте только ту документацию, которая относится к той версии, которую вы установили: |
| 72 | + |
| 73 | +| **Version** | **Дата релиза** | **Source** | **Документация** | **Загрузка** | |
| 74 | +|:-------:|:------:|:-------------:|:-------:|:------------:| |
| 75 | +| **master (unstable)** | -- | [source](https://github.com/Unity-Technologies/ml-agents/tree/master) | [docs](https://github.com/Unity-Technologies/ml-agents/tree/master/docs/Readme.md) | [download](https://github.com/Unity-Technologies/ml-agents/archive/master.zip) | |
| 76 | +| **Release 7** | **16 Сентября, 2020** | **[source](https://github.com/Unity-Technologies/ml-agents/tree/release_7)** | **[docs](https://github.com/Unity-Technologies/ml-agents/tree/release_7_docs/docs/Readme.md)** | **[download](https://github.com/Unity-Technologies/ml-agents/archive/release_7.zip)** | |
| 77 | +| **Release 6** | 12 Августа, 2020 | [source](https://github.com/Unity-Technologies/ml-agents/tree/release_6) | [docs](https://github.com/Unity-Technologies/ml-agents/tree/release_6_docs/docs/Readme.md) | [download](https://github.com/Unity-Technologies/ml-agents/archive/release_6.zip) | |
| 78 | +| **Release 5** | 31 Июля, 2020 | [source](https://github.com/Unity-Technologies/ml-agents/tree/release_5) | [docs](https://github.com/Unity-Technologies/ml-agents/tree/release_5_docs/docs/Readme.md) | [download](https://github.com/Unity-Technologies/ml-agents/archive/release_5.zip) | |
| 79 | +| **Release 4** | 15 Июля, 2020 | [source](https://github.com/Unity-Technologies/ml-agents/tree/release_4) | [docs](https://github.com/Unity-Technologies/ml-agents/tree/release_4_docs/docs/Readme.md) | [download](https://github.com/Unity-Technologies/ml-agents/archive/release_4.zip) | |
| 80 | +| **Release 3** | 10 Июня, 2020 | [source](https://github.com/Unity-Technologies/ml-agents/tree/release_3) | [docs](https://github.com/Unity-Technologies/ml-agents/tree/release_3_docs/docs/Readme.md) | [download](https://github.com/Unity-Technologies/ml-agents/archive/release_3.zip) | |
| 81 | +| **Release 2** | 20 Мая, 2020 | [source](https://github.com/Unity-Technologies/ml-agents/tree/release_2) | [docs](https://github.com/Unity-Technologies/ml-agents/tree/release_2_docs/docs/Readme.md) | [download](https://github.com/Unity-Technologies/ml-agents/archive/release_2.zip) | |
| 82 | +| **Release 1** | 30 Апреля, 2020 | [source](https://github.com/Unity-Technologies/ml-agents/tree/release_1) | [docs](https://github.com/Unity-Technologies/ml-agents/tree/release_1_docs/docs/Readme.md) | [download](https://github.com/Unity-Technologies/ml-agents/archive/release_1.zip) | |
| 83 | + |
| 84 | +## Цитирование |
| 85 | + |
| 86 | +Если вас интересует Unity как платформа для изучения AI, см. [нашу работу Unity и ML-Agents](https://arxiv.org/abs/1809.02627). |
| 87 | +Если вы используете Unity или ML-Agents для исследовательской работы, пожалуйста, указывайте |
| 88 | +в списке используемой литературы следующую работу: |
| 89 | +Juliani, A., Berges, V., Teng, E., Cohen, A., Harper, J., Elion, C., Goy, |
| 90 | +C., Gao, Y., Henry, H., Mattar, M., Lange, D. (2020). Unity: A General Platform for |
| 91 | +Intelligent Agents. _arXiv preprint |
| 92 | +[arXiv:1809.02627].(https://arxiv.org/abs/1809.02627)._ |
| 93 | +https://github.com/Unity-Technologies/ml-agents. |
| 94 | + |
| 95 | +## Дополнительные источники: |
| 96 | + |
| 97 | +Мы опубликовали серию статей на нашем блоге про ML-Agents (**пока без перевода на русский**): |
| 98 | + |
| 99 | +- (12 Мая, 2020) |
| 100 | +[Announcing ML-Agents Unity Package v1.0!](https://blogs.unity3d.com/2020/05/12/announcing-ml-agents-unity-package-v1-0/) |
| 101 | +- (28 Февраля, 2020) |
| 102 | +[Training intelligent adversaries using self-play with ML-Agents](https://blogs.unity3d.com/2020/02/28/training-intelligent-adversaries-using-self-play-with-ml-agents/) |
| 103 | +- (11 Ноября, 2019) |
| 104 | +[Training your agents 7 times faster with ML-Agents](https://blogs.unity3d.com/2019/11/11/training-your-agents-7-times-faster-with-ml-agents/) |
| 105 | +- (21 Октября, 2019) |
| 106 | +[The AI@Unity interns help shape the world](https://blogs.unity3d.com/2019/10/21/the-aiunity-interns-help-shape-the-world/) |
| 107 | +- (15 Апреля, 2019) |
| 108 | +[Unity ML-Agents Toolkit v0.8: Faster training on real games](https://blogs.unity3d.com/2019/04/15/unity-ml-agents-toolkit-v0-8-faster-training-on-real-games/) |
| 109 | +- (1 Марта, 2019) |
| 110 | +[Unity ML-Agents Toolkit v0.7: A leap towards cross-platform inference](https://blogs.unity3d.com/2019/03/01/unity-ml-agents-toolkit-v0-7-a-leap-towards-cross-platform-inference/) |
| 111 | +- (17 Декабря, 2018) |
| 112 | +[ML-Agents Toolkit v0.6: Improved usability of Brains and Imitation Learning](https://blogs.unity3d.com/2018/12/17/ml-agents-toolkit-v0-6-improved-usability-of-brains-and-imitation-learning/) |
| 113 | +- (2 Октября, 2018) |
| 114 | +[Puppo, The Corgi: Cuteness Overload with the Unity ML-Agents Toolkit](https://blogs.unity3d.com/2018/10/02/puppo-the-corgi-cuteness-overload-with-the-unity-ml-agents-toolkit/) |
| 115 | +- (11 Сентября, 2018) |
| 116 | +[ML-Agents Toolkit v0.5, new resources for AI researchers available now](https://blogs.unity3d.com/2018/09/11/ml-agents-toolkit-v0-5-new-resources-for-ai-researchers-available-now/) |
| 117 | +- (26 Июня, 2018) |
| 118 | +[Solving sparse-reward tasks with Curiosity](https://blogs.unity3d.com/2018/06/26/solving-sparse-reward-tasks-with-curiosity/) |
| 119 | +- (19 Июня, 2018) |
| 120 | +[Unity ML-Agents Toolkit v0.4 and Udacity Deep Reinforcement Learning Nanodegree](https://blogs.unity3d.com/2018/06/19/unity-ml-agents-toolkit-v0-4-and-udacity-deep-reinforcement-learning-nanodegree/) |
| 121 | +- (24 Мая, 2018) |
| 122 | +[Imitation Learning in Unity: The Workflow](https://blogs.unity3d.com/2018/05/24/imitation-learning-in-unity-the-workflow/) |
| 123 | +- (15 Марта, 2018) |
| 124 | +[ML-Agents Toolkit v0.3 Beta released: Imitation Learning, feedback-driven features, and more](https://blogs.unity3d.com/2018/03/15/ml-agents-v0-3-beta-released-imitation-learning-feedback-driven-features-and-more/) |
| 125 | +- (11 Декабря, 2017) |
| 126 | +[Using Machine Learning Agents in a real game: a beginner’s guide](https://blogs.unity3d.com/2017/12/11/using-machine-learning-agents-in-a-real-game-a-beginners-guide/) |
| 127 | +- (8 Декабря, 2017) |
| 128 | +[Introducing ML-Agents Toolkit v0.2: Curriculum Learning, new environments, and more](https://blogs.unity3d.com/2017/12/08/introducing-ml-agents-v0-2-curriculum-learning-new-environments-and-more/) |
| 129 | +- (19 Сентября, 2017) |
| 130 | +[Introducing: Unity Machine Learning Agents Toolkit](https://blogs.unity3d.com/2017/09/19/introducing-unity-machine-learning-agents/) |
| 131 | +- Обзор обучения с подкреплением ( |
| 132 | +[multi-armed bandit](https://blogs.unity3d.com/2017/06/26/unity-ai-themed-blog-entries/) |
| 133 | +и |
| 134 | +[Q-learning](https://blogs.unity3d.com/2017/08/22/unity-ai-reinforcement-learning-with-q-learning/)) |
| 135 | + |
| 136 | +Дополнительные материалы от других авторов: |
| 137 | +- [A Game Developer Learns Machine Learning] (https://mikecann.co.uk/machine-learning/a-game-developer-learns-machine-learning-intent/) |
| 138 | +- [Explore Unity Technologies ML-Agents Exclusively on Intel Architecture](https://software.intel.com/en-us/articles/explore-unity-technologies-ml-agents-exclusively-on-intel-architecture) |
| 139 | +- [ML-Agents Penguins tutorial](https://learn.unity.com/project/ml-agents-penguins) |
| 140 | + |
| 141 | +## Community and Feedback |
| 142 | + |
| 143 | +ML-Agents Toolkit - open-source проект, поэтому мы рады любой помощи. Если вы хотите нам помочь, |
| 144 | +ознакомьтесь, для начала, пожалуйста, для с [гайдом, как сделать это правильно](com.unity.ml-agents/CONTRIBUTING.md), |
| 145 | +и [кодексом поведения](CODE_OF_CONDUCT.md). |
| 146 | + |
| 147 | +Если возникли проблемы с установкой и настройкой ML-Agents, если вы хотите обсудить как лучше всего |
| 148 | +обучать агентов и пр., пожалуйста, посмотрите возможные решения на [форуме Unity ML-Agents](https://forum.unity.com/forums/ml-agents.453/). |
| 149 | +Если вы не найдете нужной вам информации, начните новую тему, дав подробное описания вашей проблемы. Если вы обнаружили |
| 150 | +какие-то баги или ошибки во время работы с ML-Agents, пожалуйста, сообщите об этом [здесь](https://github.com/Unity-Technologies/ml-agents/issues). |
| 151 | + |
| 152 | +Нам важно знать ваше мнение. Только на его основе проект Unity ML-Agents и продолжает развиваться. |
| 153 | +Пожалуйста, уделите несколько минут и [поделитесь](https://github.com/Unity-Technologies/ml-agents/issues/1454) |
| 154 | +с нами тем, что могло бы улучшить наш проект. |
| 155 | + |
| 156 | +По всем остальным вопросам или отзыву, пишите сразу на адрес команды разработчиков ML-Agents - [email protected]. |
| 157 | + |
| 158 | +## Лицензия |
| 159 | + |
| 160 | +Apache License 2.0 |
0 commit comments