micord/ervu-lkrp-ul
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions

SUPPORT-8749: rename common kafka env vars

Browse source
This commit is contained in:
gulnaz 2025-01-29 18:23:56 +03:00
parent 44f9351cde
commit 7e59789449
7 changed files with 55 additions and 75 deletions
Download patch file Download diff file Expand all files Collapse all files

12
backend/src/main/java/ervu/AvKafkaConfig.java
View file

@ -24,17 +24,17 @@ import org.springframework.kafka.core.ProducerFactory;
*/
@Configuration
public class AvKafkaConfig {
@Value("${av.kafka.bootstrap.servers}")
@Value("${kafka.hosts}")
private String kafkaUrl;
@Value("${av.kafka.security.protocol}")
@Value("${kafka.auth_sec_proto}")
private String securityProtocol;
@Value("${av.kafka.login.module:org.apache.kafka.common.security.scram.ScramLoginModule}")
@Value("${kafka.auth_sasl_module}")
private String loginModule;
@Value("${av.kafka.username}")
@Value("${kafka.user}")
private String username;
@Value("${av.kafka.password}")
@Value("${kafka.pass}")
private String password;
@Value("${av.kafka.sasl.mechanism}")
@Value("${kafka.auth_sasl_mech}")
private String saslMechanism;
@Bean

12
backend/src/main/java/ru/micord/ervu/kafka/ReplyingKafkaConfig.java
View file

@ -30,7 +30,7 @@ import java.util.UUID;
@EnableKafka
public class ReplyingKafkaConfig {
@Value("${ervu.kafka.bootstrap.servers}")
@Value("${kafka.hosts}")
private String bootstrapServers;
@Value("${ervu.kafka.org.reply.topic}")
private String orgReplyTopic;
@ -42,15 +42,15 @@ public class ReplyingKafkaConfig {
private long replyTimeout;
@Value("${ervu.kafka.excerpt.reply.topic}")
private String excerptReplyTopic;
@Value("${ervu.kafka.security.protocol}")
@Value("${kafka.auth_sec_proto}")
private String securityProtocol;
@Value("${ervu.kafka.login.module:org.apache.kafka.common.security.scram.ScramLoginModule}")
@Value("${kafka.auth_sasl_module}")
private String loginModule;
@Value("${ervu.kafka.username}")
@Value("${kafka.user}")
private String username;
@Value("${ervu.kafka.password}")
@Value("${kafka.pass}")
private String password;
@Value("${ervu.kafka.sasl.mechanism}")
@Value("${kafka.auth_sasl_mech}")
private String saslMechanism;
@Bean("ervuProducerFactory")

19
config.md
View file

@ -789,6 +789,15 @@ JBPM использует 3 корневых категории логирова
справочник окопф с задержкой. По умолчанию задержка по времени 30000 ms
- `ESNSI_OKOPF_RETRY_MAX_ATTEMPTS_LOAD` - настройка, которая указывет на максимальное кол-во попыток
повторно загрузить справочник окопф. По умолчанию 3 попытки
#### Общие параметры Kafka
- `KAFKA_HOSTS` - список пар хост:порт, использующихся для установки первоначального соединения с кластером Kafka
- `KAFKA_AUTH_SEC_PROTO` - протокол, используемый для взаимодействия с брокерами
- `KAFKA_AUTH_SASL_MECH` - механизм SASL, используемый для клиентских подключений
- `KAFKA_AUTH_SASL_MODULE` - имя класса для входа в систему для SASL-соединений в формате, используемом конфигурационными файлами JAAS
- `KAFKA_USER` - пользователь для подключения к Kafka
- `KAFKA_PASS` - пароль для подключения к Kafka
#### Взаимодействие с WebDav
@ -803,22 +812,12 @@ JBPM использует 3 корневых категории логирова
- `WEBDAV_RETRY_DELAY` - количество попыток по операциям с файлами WebDav
- `FILE_WEBDAV_LIFETIME_SECONDS` - время жизни файла в WebDav (секунды)
- `FILE_WEBDAV_EXTENSIONS` - список расширений файлов, удаляемых с WebDav
- `AV_KAFKA_BOOTSTRAP_SERVERS` - список пар хост:порт, использующихся для установки первоначального соединения с кластером Kafka
- `AV_KAFKA_SECURITY_PROTOCOL` - протокол, используемый для взаимодействия с брокерами
- `AV_KAFKA_SASL_MECHANISM` - механизм SASL, используемый для клиентских подключений
- `AV_KAFKA_USERNAME` - пользователь для подключения к Kafka
- `AV_KAFKA_PASSWORD` - пароль для подключения к Kafka
- `AV_KAFKA_GROUP_ID` - идентификатор группы потребителей, который отвечает за создание группы для объединения нескольких потребителей
- `AV_KAFKA_MESSAGE_TOPIC_NAME` - топик для записи данных по файлу для перекладчика.
- `AV_KAFKA_DOWNLOAD_RESPONSE` - топик для чтения статусов файла, полученных от перекладчика.
#### Взаимодействие с Kafka ERVU
- `ERVU_KAFKA_BOOTSTRAP_SERVERS` - список пар хост:порт, использующихся для установки первоначального соединения с кластером Kafka
- `ERVU_KAFKA_SECURITY_PROTOCOL` - протокол, используемый для взаимодействия с брокерами
- `ERVU_KAFKA_SASL_MECHANISM` - механизм SASL, используемый для клиентских подключений
- `ERVU_KAFKA_USERNAME` - пользователь для подключения к Kafka
- `ERVU_KAFKA_PASSWORD` - пароль для подключения к Kafka
- `ERVU_KAFKA_GROUP_ID` - идентификатор группы потребителей, который отвечает за создание группы для объединения нескольких потребителей
- `ERVU_KAFKA_REPLY_TIMEOUT` - определяет, сколько времени Kafka будет ожидать ответа от потребителя после отправки сообщения. Значение задается в секундах
- `ERVU_KAFKA_ORG_REQUEST_TOPIC` - топик для записи данных об организации, для получения id организации из ЕРВУ.

28
config/ervu-lkrp-av.env
View file

@ -1,27 +1,21 @@
AV_KAFKA_BOOTSTRAP_SERVERS=local-kafka:9094
#AV_KAFKA_SECURITY_PROTOCOL=SASL_PLAINTEXT
AV_KAFKA_SECURITY_PROTOCOL=PLAINTEXT
#AV_KAFKA_SASL_MECHANISM=SCRAM-SHA-256
AV_KAFKA_SASL_MECHANISM=PLAIN
AV_KAFKA_USERNAME=user2
AV_KAFKA_PASSWORD=Blfi9d2OFG
KAFKA_HOSTS=local-kafka:9094
#KAFKA_AUTH_SEC_PROTO=SASL_PLAINTEXT
KAFKA_AUTH_SEC_PROTO=PLAINTEXT
#KAFKA_AUTH_SASL_MECH=SCRAM-SHA-256
KAFKA_AUTH_SASL_MECH=PLAIN
#KAFKA_AUTH_SASL_MODULE=org.apache.kafka.common.security.scram.ScramLoginModule
KAFKA_AUTH_SASL_MODULE=org.apache.kafka.common.security.plain.PlainLoginModule
KAFKA_USER=user1
KAFKA_PASS=Blfi9d2OFG
AV_KAFKA_GROUP_ID=local-ervu-lkrp-av1
AV_KAFKA_TOPIC_NAME=file-to-upload
AV_KAFKA_STATUS_TOPIC_NAME=ervu.lkrp.av-fileupload-status
AV_KAFKA_LOGIN_MODULE=org.apache.kafka.common.security.plain.PlainLoginModule
ERVU_KAFKA_BOOTSTRAP_SERVERS=local-kafka:9094
#ERVU_KAFKA_SECURITY_PROTOCOL=SASL_PLAINTEXT
ERVU_KAFKA_SECURITY_PROTOCOL=PLAINTEXT
#ERVU_KAFKA_SASL_MECHANISM=SCRAM-SHA-256
ERVU_KAFKA_SASL_MECHANISM=PLAIN
ERVU_KAFKA_USERNAME=user2
ERVU_KAFKA_PASSWORD=Blfi9d2OFG
ERVU_KAFKA_GROUP_ID=local-ervu-lkrp-av2
ERVU_KAFKA_ERROR_TOPIC_NAME=ervu.lkrp.download.request
ERVU_KAFKA_SUCCESS_TOPIC_NAME=ervu.lkrp.download.request
ERVU_KAFKA_RESPONSE_TOPIC_NAME=ervu.lkrp.download.response
ERVU_KAFKA_LOGIN_MODULE=org.apache.kafka.common.security.plain.PlainLoginModule
AV_CHECK_ENABLED=true
AV_REST_ADDRESS=http://10.10.30.120:8085/scans
@ -40,4 +34,4 @@ S3_PATH_STYLE_ACCESS_ENABLED=true
FILE_WEBDAV_UPLOAD_USERNAME=test
FILE_WEBDAV_UPLOAD_PASSWORD=test
WEBDAV_USERNAME=test
WEBDAV_PASSWORD=test
WEBDAV_PASSWORD=test

24
config/local.env
View file

@ -6,14 +6,17 @@ DB_APP_HOST=10.10.31.119
DB_APP_PORT=5432
DB_APP_NAME=ervu_lkrp_ul
KAFKA_HOSTS=local-kafka:9094
#KAFKA_AUTH_SEC_PROTO=SASL_PLAINTEXT
KAFKA_AUTH_SEC_PROTO=PLAINTEXT
#KAFKA_AUTH_SASL_MECH=SCRAM-SHA-256
KAFKA_AUTH_SASL_MECH=PLAIN
#KAFKA_AUTH_SASL_MODULE=org.apache.kafka.common.security.scram.ScramLoginModule
KAFKA_AUTH_SASL_MODULE=org.apache.kafka.common.security.plain.PlainLoginModule
KAFKA_USER=user1
KAFKA_PASS=Blfi9d2OFG
AV_KAFKA_MESSAGE_TOPIC_NAME=file-to-upload
AV_KAFKA_BOOTSTRAP_SERVERS=http://local-kafka:9094
#AV_KAFKA_SECURITY_PROTOCOL=SASL_PLAINTEXT
AV_KAFKA_SECURITY_PROTOCOL=PLAINTEXT
#AV_KAFKA_SASL_MECHANISM=SCRAM-SHA-256
AV_KAFKA_SASL_MECHANISM=PLAIN
AV_KAFKA_USERNAME=user2
AV_KAFKA_PASSWORD=Blfi9d2OFG
AV_KAFKA_GROUP_ID=local-ervu-lkrp-ul-backend
AV_KAFKA_DOWNLOAD_RESPONSE=ervu.lkrp.av-fileupload-status
@ -33,19 +36,12 @@ ESIA_TOKEN_CLEAR_CRON=0 0 */1 * * *
SIGN_URL=https://ervu-sign-dev.k8s.micord.ru/sign
SIGN_VERIFY_URL=https://ervu-sign-dev.k8s.micord.ru/verify
ERVU_KAFKA_BOOTSTRAP_SERVERS=local-kafka:9094
ERVU_KAFKA_ORG_REPLY_TOPIC=ervu.organization.response
ERVU_KAFKA_GROUP_ID=local-ervu-lkrp-ul-backend
ERVU_KAFKA_ORG_REQUEST_TOPIC=ervu.organization.request
ERVU_KAFKA_REPLY_TIMEOUT=5
ERVU_KAFKA_JOURNAL_REQUEST_TOPIC=ervu.organization.journal.request
ERVU_KAFKA_JOURNAL_REPLY_TOPIC=ervu.organization.journal.response
#ERVU_KAFKA_SECURITY_PROTOCOL=SASL_PLAINTEXT
ERVU_KAFKA_SECURITY_PROTOCOL=PLAINTEXT
#ERVU_KAFKA_SASL_MECHANISM=SCRAM-SHA-256
ERVU_KAFKA_SASL_MECHANISM=PLAIN
ERVU_KAFKA_USERNAME=user2
ERVU_KAFKA_PASSWORD=Blfi9d2OFG
ERVU_KAFKA_EXCERPT_REPLY_TOPIC=ervu.lkrp.excerpt.response
ERVU_KAFKA_EXCERPT_REQUEST_TOPIC=ervu.lkrp.excerpt.request

19
config/micord.env
View file

@ -6,12 +6,14 @@ DB_APP_HOST=10.10.31.119
DB_APP_PORT=5432
DB_APP_NAME=ervu_lkrp_ul
KAFKA_HOSTS=10.10.31.11:32609
KAFKA_AUTH_SEC_PROTO=SASL_PLAINTEXT
KAFKA_AUTH_SASL_MECH=SCRAM-SHA-256
KAFKA_AUTH_SASL_MODULE=org.apache.kafka.common.security.scram.ScramLoginModule
KAFKA_USER=user1
KAFKA_PASS=Blfi9d2OFG
AV_KAFKA_MESSAGE_TOPIC_NAME=file-to-upload
AV_KAFKA_BOOTSTRAP_SERVERS=http://10.10.31.11:32609
AV_KAFKA_SECURITY_PROTOCOL=SASL_PLAINTEXT
AV_KAFKA_SASL_MECHANISM=SCRAM-SHA-256
AV_KAFKA_USERNAME=user1
AV_KAFKA_PASSWORD=Blfi9d2OFG
AV_KAFKA_GROUP_ID=1
AV_KAFKA_DOWNLOAD_RESPONSE=ervu.lkrp.av-fileupload-status
@ -27,22 +29,15 @@ ESIA_UPLOAD_DATA_ROLE=MNSV89_UPLOAD_DATA
ESIA_CLIENT_CERT_HASH=04508B4B0B58776A954A0E15F574B4E58799D74C61EE020B3330716C203E3BDD
ESIA_TOKEN_CLEAR_CRON=0 0 */1 * * *
SIGN_URL=https://ervu-sign-dev.k8s.micord.ru/sign
SIGN_VERIFY_URL=https://ervu-sign-dev.k8s.micord.ru/verify
ERVU_KAFKA_BOOTSTRAP_SERVERS=10.10.31.11:32609
ERVU_KAFKA_ORG_REPLY_TOPIC=ervu.organization.response
ERVU_KAFKA_GROUP_ID=1
ERVU_KAFKA_ORG_REQUEST_TOPIC=ervu.organization.request
ERVU_KAFKA_REPLY_TIMEOUT=30
ERVU_KAFKA_JOURNAL_REQUEST_TOPIC=ervu.organization.journal.request
ERVU_KAFKA_JOURNAL_REPLY_TOPIC=ervu.organization.journal.response
ERVU_KAFKA_SECURITY_PROTOCOL=SASL_PLAINTEXT
ERVU_KAFKA_SASL_MECHANISM=SCRAM-SHA-256
ERVU_KAFKA_USERNAME=user1
ERVU_KAFKA_PASSWORD=Blfi9d2OFG
ERVU_KAFKA_EXCERPT_REPLY_TOPIC=ervu.lkrp.excerpt.response
ERVU_KAFKA_EXCERPT_REQUEST_TOPIC=ervu.lkrp.excerpt.request
ESNSI_OKOPF_URL=https://esnsi.gosuslugi.ru/rest/ext/v1/classifiers/16271/file?extension=JSON&encoding=UTF_8

16
config/standalone/dev/standalone.xml
View file

@ -57,12 +57,13 @@
<property name="webdav.urls" value="https://ervu-webdav.k8s.micord.ru"/>
<property name="webdav.username" value="test"/>
<property name="webdav.password" value="test"/>
<property name="kafka.hosts" value="localhost:9092"/>
<property name="kafka.auth_sec_proto" value="SASL_PLAINTEXT"/>
<property name="kafka.auth_sasl_mech" value="SCRAM-SHA-256"/>
<property name="kafka.auth_sasl_module" value="org.apache.kafka.common.security.scram.ScramLoginModule"/>
<property name="kafka.user" value="user1"/>
<property name="kafka.pass" value="Blfi9d2OFG"/>
<property name="av.kafka.download-request-topic" value="ervu.lkrp.download.request"/>
<property name="av.kafka.bootstrap.servers" value="localhost:9092"/>
<property name="av.kafka.security.protocol" value="SASL_PLAINTEXT"/>
<property name="av.kafka.sasl.mechanism" value="SCRAM-SHA-256"/>
<property name="av.kafka.username" value="user1"/>
<property name="av.kafka.password" value="Blfi9d2OFG"/>
<property name="av.kafka.message.topic.name" value="file-to-upload"/>
<property name="esia.scopes" value="fullname, snils, id_doc, birthdate, usr_org, openid"/>
<property name="esia.org.scopes" value="org_fullname, org_shortname, org_brhs, org_brhs_ctts, org_brhs_addrs, org_type, org_ogrn, org_inn, org_leg, org_kpp, org_ctts, org_addrs, org_grps, org_emps"/>
@ -72,17 +73,12 @@
<property name="esia.client.id" value="MNSV89"/>
<property name="esia.redirect.url" value="https://lkrp.micord.ru"/>
<property name="sign.url" value="https://ervu-sign-dev.k8s.micord.ru/sign"/>
<property name="ervu.kafka.bootstrap.servers" value="localhost:9092"/>
<property name="ervu.kafka.org.reply.topic" value="ervu.organization.response"/>
<property name="ervu.kafka.group.id" value="1"/>
<property name="ervu.kafka.org.request.topic" value="ervu.organization.request"/>
<property name="ervu.kafka.reply.timeout" value="30"/>
<property name="esia.client.cert.hash" value="04508B4B0B58776A954A0E15F574B4E58799D74C61EE020B3330716C203E3BDD"/>
<property name="bpmn.enable" value="false"/>
<property name="ervu.kafka.security.protocol" value="SASL_PLAINTEXT"/>
<property name="ervu.kafka.sasl.mechanism" value="SCRAM-SHA-256"/>
<property name="ervu.kafka.username" value="user1"/>
<property name="ervu.kafka.password" value="Blfi9d2OFG"/>
<property name="esnsi.okopf.cron.load" value="0 0 */1 * * *"/>
<property name="esnsi.okopf.url" value="https://esnsi.gosuslugi.ru/rest/ext/v1/classifiers/16271/file?extension=JSON&amp;encoding=UTF_8"/>
<property name="esnsi.okop.retry.delay.load" value="30000"/>