Skip to content

Commit 1544d13

Browse files
committed
docs: update README.md
1 parent 55d8c77 commit 1544d13

File tree

5 files changed

+136
-80
lines changed

5 files changed

+136
-80
lines changed

README.md

Lines changed: 1 addition & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -249,6 +249,7 @@ MediaCrawler 支持多种数据存储方式,包括 CSV、JSON、Excel、SQLite
249249

250250
### 💬 交流群组
251251
- **微信交流群**[点击加入](https://nanmicoder.github.io/MediaCrawler/%E5%BE%AE%E4%BF%A1%E4%BA%A4%E6%B5%81%E7%BE%A4.html)
252+
- **B站账号**[关注我](https://space.bilibili.com/434377496),分享AI与爬虫技术知识
252253

253254

254255
### 💰 赞助商展示

README_en.md

Lines changed: 63 additions & 26 deletions
Original file line numberDiff line numberDiff line change
@@ -148,6 +148,37 @@ uv run main.py --platform xhs --lt qrcode --type detail
148148
uv run main.py --help
149149
```
150150

151+
## WebUI Support
152+
153+
<details>
154+
<summary>🖥️ <strong>WebUI Visual Operation Interface</strong></summary>
155+
156+
MediaCrawler provides a web-based visual operation interface, allowing you to easily use crawler features without command line.
157+
158+
#### Start WebUI Service
159+
160+
```shell
161+
# Start API server (default port 8080)
162+
uv run uvicorn api.main:app --port 8080 --reload
163+
164+
# Or start using module method
165+
uv run python -m api.main
166+
```
167+
168+
After successful startup, visit `http://localhost:8080` to open the WebUI interface.
169+
170+
#### WebUI Features
171+
172+
- Visualize crawler parameter configuration (platform, login method, crawling type, etc.)
173+
- Real-time view of crawler running status and logs
174+
- Data preview and export
175+
176+
#### Interface Preview
177+
178+
<img src="docs/static/images/img_8.png" alt="WebUI Interface Preview">
179+
180+
</details>
181+
151182
<details>
152183
<summary>🔗 <strong>Using Python native venv environment management (Not recommended)</strong></summary>
153184

@@ -214,44 +245,36 @@ MediaCrawler supports multiple data storage methods, including CSV, JSON, Excel,
214245

215246
[🚀 MediaCrawlerPro Major Release 🚀! More features, better architectural design!](https://github.com/MediaCrawlerPro)
216247

217-
## 🤝 Community & Support
218-
219248
### 💬 Discussion Groups
220249
- **WeChat Discussion Group**: [Click to join](https://nanmicoder.github.io/MediaCrawler/%E5%BE%AE%E4%BF%A1%E4%BA%A4%E6%B5%81%E7%BE%A4.html)
250+
- **Bilibili Account**: [Follow me](https://space.bilibili.com/434377496), sharing AI and crawler technology knowledge
221251

222-
### 📚 Documentation & Tutorials
223-
- **Online Documentation**: [MediaCrawler Complete Documentation](https://nanmicoder.github.io/MediaCrawler/)
224-
- **Crawler Tutorial**: [CrawlerTutorial Free Tutorial](https://github.com/NanmiCoder/CrawlerTutorial)
225-
226-
227-
# Other common questions can be viewed in the online documentation
228-
>
229-
> The online documentation includes usage methods, common questions, joining project discussion groups, etc.
230-
> [MediaCrawler Online Documentation](https://nanmicoder.github.io/MediaCrawler/)
231-
>
232-
233-
# Author's Knowledge Services
234-
> If you want to quickly get started and learn the usage of this project, source code architectural design, learn programming technology, or want to understand the source code design of MediaCrawlerPro, you can check out my paid knowledge column.
235252

236-
[Author's Paid Knowledge Column Introduction](https://nanmicoder.github.io/MediaCrawler/%E7%9F%A5%E8%AF%86%E4%BB%98%E8%B4%B9%E4%BB%8B%E7%BB%8D.html)
253+
### 💰 Sponsor Display
237254

255+
<a href="https://h.wandouip.com">
256+
<img src="docs/static/images/img_8.jpg">
257+
<br>
258+
WandouHTTP - Self-operated tens of millions IP resource pool, IP purity ≥99.8%, daily high-frequency IP updates, fast response, stable connection, supports multiple business scenarios, customizable on demand, register to get 10000 free IPs.
259+
</a>
238260

239261
---
240262

241-
## ⭐ Star Trend Chart
242-
243-
If this project helps you, please give a ⭐ Star to support and let more people see MediaCrawler!
244-
245-
[![Star History Chart](https://api.star-history.com/svg?repos=NanmiCoder/MediaCrawler&type=Date)](https://star-history.com/#NanmiCoder/MediaCrawler&Date)
263+
<a href="https://tikhub.io/?utm_source=github.com/NanmiCoder/MediaCrawler&utm_medium=marketing_social&utm_campaign=retargeting&utm_content=carousel_ad">
264+
<img width="500" src="docs/static/images/tikhub_banner_zh.png">
265+
<br>
266+
TikHub.io provides 900+ highly stable data interfaces, covering 14+ mainstream domestic and international platforms including TK, DY, XHS, Y2B, Ins, X, etc. Supports multi-dimensional public data APIs for users, content, products, comments, etc., with 40M+ cleaned structured datasets. Use invitation code <code>cfzyejV9</code> to register and recharge, and get an additional $2 bonus.
267+
</a>
246268

247-
### 💰 Sponsor Display
269+
---
248270

249-
<a href="https://www.swiftproxy.net/?ref=nanmi">
250-
<img src="docs/static/images/img_5.png">
271+
<a href="https://www.thordata.com/?ls=github&lk=mediacrawler">
272+
<img width="500" src="docs/static/images/Thordata.png">
251273
<br>
252-
**Swiftproxy** - 90M+ global high-quality pure residential IPs, register to get free 500MB test traffic, dynamic traffic never expires!
253-
> Exclusive discount code: **GHB5** Get 10% off instantly!
274+
Thordata: Reliable and cost-effective proxy service provider. Provides stable, efficient and compliant global proxy IP services for enterprises and developers. Register now to get 1GB free residential proxy trial and 2000 serp-api calls.
254275
</a>
276+
<br>
277+
<a href="https://www.thordata.com/products/residential-proxies/?ls=github&lk=mediacrawler">【Residential Proxies】</a> | <a href="https://www.thordata.com/products/web-scraper/?ls=github&lk=mediacrawler">【serp-api】</a>
255278

256279

257280
### 🤝 Become a Sponsor
@@ -261,10 +284,24 @@ Become a sponsor and showcase your product here, getting massive exposure daily!
261284
**Contact Information**:
262285
- WeChat: `relakkes`
263286
287+
---
288+
289+
### 📚 Other
290+
- **FAQ**: [MediaCrawler Complete Documentation](https://nanmicoder.github.io/MediaCrawler/)
291+
- **Crawler Beginner Tutorial**: [CrawlerTutorial Free Tutorial](https://github.com/NanmiCoder/CrawlerTutorial)
292+
- **News Crawler Open Source Project**: [NewsCrawlerCollection](https://github.com/NanmiCoder/NewsCrawlerCollection)
293+
294+
295+
## ⭐ Star Trend Chart
296+
297+
If this project helps you, please give a ⭐ Star to support and let more people see MediaCrawler!
298+
299+
[![Star History Chart](https://api.star-history.com/svg?repos=NanmiCoder/MediaCrawler&type=Date)](https://star-history.com/#NanmiCoder/MediaCrawler&Date)
264300

265301

266302
## 📚 References
267303

304+
- **Xiaohongshu Signature Repository**: [Cloxl's xhs signature repository](https://github.com/Cloxl/xhshow)
268305
- **Xiaohongshu Client**: [ReaJason's xhs repository](https://github.com/ReaJason/xhs)
269306
- **SMS Forwarding**: [SmsForwarder reference repository](https://github.com/pppscn/SmsForwarder)
270307
- **Intranet Penetration Tool**: [ngrok official documentation](https://ngrok.com/docs/)

README_es.md

Lines changed: 66 additions & 51 deletions
Original file line numberDiff line numberDiff line change
@@ -149,6 +149,37 @@ uv run main.py --platform xhs --lt qrcode --type detail
149149
uv run main.py --help
150150
```
151151

152+
## Soporte WebUI
153+
154+
<details>
155+
<summary>🖥️ <strong>Interfaz de Operación Visual WebUI</strong></summary>
156+
157+
MediaCrawler proporciona una interfaz de operación visual basada en web, permitiéndole usar fácilmente las funciones del rastreador sin línea de comandos.
158+
159+
#### Iniciar Servicio WebUI
160+
161+
```shell
162+
# Iniciar servidor API (puerto predeterminado 8080)
163+
uv run uvicorn api.main:app --port 8080 --reload
164+
165+
# O iniciar usando método de módulo
166+
uv run python -m api.main
167+
```
168+
169+
Después de iniciar exitosamente, visite `http://localhost:8080` para abrir la interfaz WebUI.
170+
171+
#### Características de WebUI
172+
173+
- Configuración visual de parámetros del rastreador (plataforma, método de login, tipo de rastreo, etc.)
174+
- Vista en tiempo real del estado de ejecución del rastreador y logs
175+
- Vista previa y exportación de datos
176+
177+
#### Vista Previa de la Interfaz
178+
179+
<img src="docs/static/images/img_8.png" alt="Vista Previa de Interfaz WebUI">
180+
181+
</details>
182+
152183
<details>
153184
<summary>🔗 <strong>Usando gestión de entorno venv nativo de Python (No recomendado)</strong></summary>
154185

@@ -207,75 +238,45 @@ python main.py --help
207238

208239
## 💾 Almacenamiento de Datos
209240

210-
Soporta múltiples métodos de almacenamiento de datos:
211-
- **Archivos CSV**: Soporta guardar en CSV (bajo el directorio `data/`)
212-
- **Archivos JSON**: Soporta guardar en JSON (bajo el directorio `data/`)
213-
- **Almacenamiento en Base de Datos**
214-
- Use el parámetro `--init_db` para la inicialización de la base de datos (cuando use `--init_db`, no se necesitan otros argumentos opcionales)
215-
- **Base de Datos SQLite**: Base de datos ligera, no requiere servidor, adecuada para uso personal (recomendado)
216-
1. Inicialización: `--init_db sqlite`
217-
2. Almacenamiento de Datos: `--save_data_option sqlite`
218-
- **Base de Datos MySQL**: Soporta guardar en la base de datos relacional MySQL (la base de datos debe crearse con anticipación)
219-
1. Inicialización: `--init_db mysql`
220-
2. Almacenamiento de Datos: `--save_data_option db` (el parámetro db se mantiene por compatibilidad con actualizaciones históricas)
241+
MediaCrawler soporta múltiples métodos de almacenamiento de datos, incluyendo CSV, JSON, Excel, SQLite y bases de datos MySQL.
221242

243+
📖 **Para instrucciones de uso detalladas, por favor vea: [Guía de Almacenamiento de Datos](docs/data_storage_guide.md)**
222244

223-
### Ejemplos de Uso:
224-
```shell
225-
# Inicializar la base de datos SQLite (cuando use '--init_db', no se necesitan otros argumentos opcionales)
226-
uv run main.py --init_db sqlite
227-
# Usar SQLite para almacenar datos (recomendado para usuarios personales)
228-
uv run main.py --platform xhs --lt qrcode --type search --save_data_option sqlite
229-
```
230-
```shell
231-
# Inicializar la base de datos MySQL
232-
uv run main.py --init_db mysql
233-
# Usar MySQL para almacenar datos (el parámetro db se mantiene por compatibilidad con actualizaciones históricas)
234-
uv run main.py --platform xhs --lt qrcode --type search --save_data_option db
235-
```
236-
237-
---
238245

239246
[🚀 ¡Lanzamiento Mayor de MediaCrawlerPro 🚀! ¡Más características, mejor diseño arquitectónico!](https://github.com/MediaCrawlerPro)
240247

241-
## 🤝 Comunidad y Soporte
242248

243249
### 💬 Grupos de Discusión
244250
- **Grupo de Discusión WeChat**: [Haga clic para unirse](https://nanmicoder.github.io/MediaCrawler/%E5%BE%AE%E4%BF%A1%E4%BA%A4%E6%B5%81%E7%BE%A4.html)
251+
- **Cuenta de Bilibili**: [Sígueme](https://space.bilibili.com/434377496), compartiendo conocimientos de tecnología de IA y rastreo
245252

246-
### 📚 Documentación y Tutoriales
247-
- **Documentación en Línea**: [Documentación Completa de MediaCrawler](https://nanmicoder.github.io/MediaCrawler/)
248-
- **Tutorial de Rastreador**: [Tutorial Gratuito CrawlerTutorial](https://github.com/NanmiCoder/CrawlerTutorial)
249-
250-
251-
# Otras preguntas comunes pueden verse en la documentación en línea
252-
>
253-
> La documentación en línea incluye métodos de uso, preguntas comunes, unirse a grupos de discusión del proyecto, etc.
254-
> [Documentación en Línea de MediaCrawler](https://nanmicoder.github.io/MediaCrawler/)
255-
>
256-
257-
# Servicios de Conocimiento del Autor
258-
> Si quiere comenzar rápidamente y aprender el uso de este proyecto, diseño arquitectónico del código fuente, aprender tecnología de programación, o quiere entender el diseño del código fuente de MediaCrawlerPro, puede revisar mi columna de conocimiento pagado.
259253

260-
[Introducción de la Columna de Conocimiento Pagado del Autor](https://nanmicoder.github.io/MediaCrawler/%E7%9F%A5%E8%AF%86%E4%BB%98%E8%B4%B9%E4%BB%8B%E7%BB%8D.html)
254+
### 💰 Exhibición de Patrocinadores
261255

256+
<a href="https://h.wandouip.com">
257+
<img src="docs/static/images/img_8.jpg">
258+
<br>
259+
WandouHTTP - Pool de recursos IP auto-operado de decenas de millones, pureza de IP ≥99.8%, actualizaciones de IP de alta frecuencia diarias, respuesta rápida, conexión estable, soporta múltiples escenarios de negocio, personalizable según demanda, regístrese para obtener 10000 IPs gratis.
260+
</a>
262261

263262
---
264263

265-
## ⭐ Gráfico de Tendencia de Estrellas
266-
267-
¡Si este proyecto te ayuda, por favor da una ⭐ Estrella para apoyar y que más personas vean MediaCrawler!
268-
269-
[![Star History Chart](https://api.star-history.com/svg?repos=NanmiCoder/MediaCrawler&type=Date)](https://star-history.com/#NanmiCoder/MediaCrawler&Date)
264+
<a href="https://tikhub.io/?utm_source=github.com/NanmiCoder/MediaCrawler&utm_medium=marketing_social&utm_campaign=retargeting&utm_content=carousel_ad">
265+
<img width="500" src="docs/static/images/tikhub_banner_zh.png">
266+
<br>
267+
TikHub.io proporciona 900+ interfaces de datos altamente estables, cubriendo 14+ plataformas principales nacionales e internacionales incluyendo TK, DY, XHS, Y2B, Ins, X, etc. Soporta APIs de datos públicos multidimensionales para usuarios, contenido, productos, comentarios, etc., con 40M+ conjuntos de datos estructurados limpios. Use el código de invitación <code>cfzyejV9</code> para registrarse y recargar, y obtenga $2 adicionales de bonificación.
268+
</a>
270269

271-
### 💰 Exhibición de Patrocinadores
270+
---
272271

273-
<a href="https://www.swiftproxy.net/?ref=nanmi">
274-
<img src="docs/static/images/img_5.png">
272+
<a href="https://www.thordata.com/?ls=github&lk=mediacrawler">
273+
<img width="500" src="docs/static/images/Thordata.png">
275274
<br>
276-
**Swiftproxy** - ¡90M+ IPs residenciales puras de alta calidad globales, regístrese para obtener 500MB de tráfico de prueba gratuito, el tráfico dinámico nunca expira!
277-
> Código de descuento exclusivo: **GHB5** ¡Obtenga 10% de descuento instantáneamente!
275+
Thordata: Proveedor de servicios de proxy confiable y rentable. Proporciona servicios de IP proxy global estables, eficientes y conformes para empresas y desarrolladores. Regístrese ahora para obtener 1GB de prueba gratuita de proxy residencial y 2000 llamadas serp-api.
278276
</a>
277+
<br>
278+
<a href="https://www.thordata.com/products/residential-proxies/?ls=github&lk=mediacrawler">【Proxies Residenciales】</a> | <a href="https://www.thordata.com/products/web-scraper/?ls=github&lk=mediacrawler">【serp-api】</a>
279+
279280

280281
### 🤝 Conviértase en Patrocinador
281282

@@ -284,10 +285,24 @@ uv run main.py --platform xhs --lt qrcode --type search --save_data_option db
284285
**Información de Contacto**:
285286
- WeChat: `relakkes`
286287
288+
---
289+
290+
### 📚 Otros
291+
- **Preguntas Frecuentes**: [Documentación Completa de MediaCrawler](https://nanmicoder.github.io/MediaCrawler/)
292+
- **Tutorial de Rastreador para Principiantes**: [Tutorial Gratuito CrawlerTutorial](https://github.com/NanmiCoder/CrawlerTutorial)
293+
- **Proyecto de Código Abierto de Rastreador de Noticias**: [NewsCrawlerCollection](https://github.com/NanmiCoder/NewsCrawlerCollection)
294+
295+
296+
## ⭐ Gráfico de Tendencia de Estrellas
297+
298+
¡Si este proyecto te ayuda, por favor da una ⭐ Estrella para apoyar y que más personas vean MediaCrawler!
299+
300+
[![Star History Chart](https://api.star-history.com/svg?repos=NanmiCoder/MediaCrawler&type=Date)](https://star-history.com/#NanmiCoder/MediaCrawler&Date)
287301

288302

289303
## 📚 Referencias
290304

305+
- **Repositorio de Firma Xiaohongshu**: [Repositorio de firma xhs de Cloxl](https://github.com/Cloxl/xhshow)
291306
- **Cliente Xiaohongshu**: [Repositorio xhs de ReaJason](https://github.com/ReaJason/xhs)
292307
- **Reenvío de SMS**: [Repositorio de referencia SmsForwarder](https://github.com/pppscn/SmsForwarder)
293308
- **Herramienta de Penetración de Intranet**: [Documentación oficial de ngrok](https://ngrok.com/docs/)
439 KB
Loading

docs/微信交流群.md

Lines changed: 6 additions & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -5,8 +5,11 @@
55
❗️❗️❗️群内禁止广告,禁止发各类违规和MediaCrawler不相关的问题
66

77
## 加群方式
8-
> 备注:github,会有拉群小助手自动拉你进群。
9-
>
10-
> 如果图片展示不出来或过期,可以直接添加我的微信号:relakkes,并备注github,会有拉群小助手自动拉你进群
8+
9+
扫码加入MediaCrawler微信交流群(25群):
10+
11+
![25群二维码](static/images/25群二维码.png)
12+
13+
> 若群二维码过期或无法扫码,请添加作者微信号:relakkes,备注来意
1114
1215
![relakkes_wechat](static/images/relakkes_weichat.jpg)

0 commit comments

Comments
 (0)