-
Notifications
You must be signed in to change notification settings - Fork 0
Expand file tree
/
Copy pathcomandos.txt
More file actions
136 lines (72 loc) · 5.47 KB
/
Copy pathcomandos.txt
File metadata and controls
136 lines (72 loc) · 5.47 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
COMANDOS UTILIZADOS DURANTE A TRILHA
**** iniciando o zookeeper:
windows: bin\windows\zookeeper-server-start.bat config\zookeeper.properties
linux: bin/zookeeper-server-start.sh config/zookeeper.properties
***** iniciando o kafka:
windows:bin\windows\kafka-server-start.bat config\server.properties
linux: bin/kafka-server-start.sh config/server.properties
Obs: no linux sempre se usa os comandos com .sh no windows dentro da pasta bin sempre se usa os comandos .bat
***** criando um tópico no kafka:
windows: bin\windows\kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic LOJA_NOVO_PEDIDO
linux: bin/kafka-topics.sh --create --bootstrap-server localhost:9082 --replication-factor 1 --partitions 1 --topic LOJA_NOVO_PEDIDO
**** mostrar os tópicos criados:
linux: bin/kafka-topics.sh --list --bootstrap-server localhost:9092
windows: bin\windows\kafka-topics.bat --list --bootstrap-server localhost:9092
****** rodando um produtor de msgs(que produz as msgs):
linux: bin/kafka-console-producer.sh --broker-list localhost:9092 --topic LOJA_NOVO_PEDIDO
windows: \bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic LOJA_NOVO_PEDIDO
****** consumindo um tópico desde a primeira msg que está armazenada:
linux: bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic LOJA_NOVO_PEDIDO --from-beginning
windows: bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic LOJA_NOVO_PEDIDO --from-beginning
********** descrevendo os tópicos:
linux: bin/kafka-topics.sh --bootstrap-server localhost:9092 --describe
windows: bin\windows\kafka-topics.bat --bootstrap-server localhost:9092 --describe
********** alterar um tópico (número de partição):
linux: bin/kafka-topics.sh --alter --bootstrap-server localhost:9092 --topic ECOMMERCE_NEW_ORDER --partitions 3 -- esse funcionou devido a versão do kafka
windows: bin\windows\kafka-topics.bat --alter --zookeeper localhost:9092 --topic ECOMMERCE_NEW_ORDER --partitions 3
******* analisar os grupos de consumo:
windows: bin\windows\kafka-consumer-groups.bat --all-groups --bootstrap-server localhost:9092 --describe
linux: bin/kafka-consumer-groups.sh --all-groups --bootstrap-server localhost:9092 --describe
*********** alterar a para que o broker se replique em outro broker:
obs: o fator de replicação não pode ser alterado com o comando alter, o kafka não permite Option "[replication-factor]" can't be used with option "[alter]"
Option Description
linux: bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic ECOMMERCE_NEW_ORDER --partitions 3 --replication-factor 2
bin/kafka-topics.sh --bootstrap-server localhost:9092 --alter --topic ECOMMERCE_NEW_ORDER --partitions 3 --replication-factor 2 --- esse deu certo devido a versão utilizada do kafka
*********** adicionando uma nova propriedade de replicação no config/server.properties:
***** conferindo todos os tópicos pelo zookeeper:
linux: bin/kafka-topics.sh --describe --zookeeper localhost:2181
*************** No #kafka não existe funcionalidade para apagar os eventos. O que temos é a polícia de limpeza configurada em nível tópico,
que está relacionado com a retenção: retention.ms e retention.bytes:
# Limpeza por eliminação
cleanup.policy=delete
# Limpeza por compactação
cleanup.policy=compact
# Ambas
cleanup.policy=delete,compact
link de explicação do kafka transaction: medium.com/@mykidong/kafka-transaction-56f022af1b0c
link dos repositórios remotos utilizados na trilha da alura: https://github.com/orgs/alura-cursos/repositories?type=all&q=kafka
**** Configurando o confluent para executar o confluent kafka
* após baixar e extrair o arquivo configurar as duas variáveis de ambiente da seguinte forma:
variável confluent_home -> export CONFLUENT_HOME=/l/disk0/sanara/confluent/confluent-7.6.0
variável path -> export PATH=$CONFLUENT_HOME/bin:$PATH
** para executar o confluent : confluent local services start
**** Caso haja erro na inicialização é necessário instalar a versão 8 ou 11 do java e configurar o caminho para o confluent seguir os passos:
* instalar a versão 11 do java
* selecionar a versão que queira usar o java através do comando : sudo update-alternatives --config java
* copie esse caminho desejado ( no caso o java 11) do arquivo e altere a variavel de ambiente do JAVA_HOME para apontar para o caminho da instalação
* para alterar você pode usar o nano através do comando : sudo nano /etc/environment ou outro editor de texto
e colocar a variaavel assim: JAVA_HOME="/usr/lib/jvm/java-11-openjdk-amd64"
* salve o arquivo e saia do editor
* depois recarregue as alterações que vc fez com o comando : source /etc/environment
* para conferir se deu certo digite o comando echo $JAVA_HOME e deverá aparecer o caminho configurado
** após essa configuração executar novamente o comando : confluent local services start
link do control center: localhost:9021/clusters/
**** comandos para instalar o java através do sdkman.io:
instalação:
curl -s "https://get.sdkman.io" | bash
source "$HOME/.sdkman/bin/sdkman-init.sh"
sdk version -- para ver as versão instalada
* instalar o java pelo sdkman: abra o terminal e digite sdk install java e a versão selecionada
* ver toas as versões java disponiveis: sdk list java
* mudar a versão do java : sdk use java 11.0.6 (versão escolhida)
** sdk list : mostra todas as tecnologias que o SDKMan suporta