diff --git a/backend/src/main/java/ervu/AvKafkaConfig.java b/backend/src/main/java/ervu/AvKafkaConfig.java index feb31556..09d4ad30 100644 --- a/backend/src/main/java/ervu/AvKafkaConfig.java +++ b/backend/src/main/java/ervu/AvKafkaConfig.java @@ -24,17 +24,17 @@ import org.springframework.kafka.core.ProducerFactory; */ @Configuration public class AvKafkaConfig { - @Value("${av.kafka.bootstrap.servers}") + @Value("${kafka.hosts}") private String kafkaUrl; - @Value("${av.kafka.security.protocol}") + @Value("${kafka.auth_sec_proto}") private String securityProtocol; - @Value("${av.kafka.login.module:org.apache.kafka.common.security.scram.ScramLoginModule}") + @Value("${kafka.auth_sasl_module}") private String loginModule; - @Value("${av.kafka.username}") + @Value("${kafka.user}") private String username; - @Value("${av.kafka.password}") + @Value("${kafka.pass}") private String password; - @Value("${av.kafka.sasl.mechanism}") + @Value("${kafka.auth_sasl_mech}") private String saslMechanism; @Bean diff --git a/backend/src/main/java/ru/micord/ervu/kafka/ReplyingKafkaConfig.java b/backend/src/main/java/ru/micord/ervu/kafka/ReplyingKafkaConfig.java index c70dbdfe..88ed924d 100644 --- a/backend/src/main/java/ru/micord/ervu/kafka/ReplyingKafkaConfig.java +++ b/backend/src/main/java/ru/micord/ervu/kafka/ReplyingKafkaConfig.java @@ -30,7 +30,7 @@ import java.util.UUID; @EnableKafka public class ReplyingKafkaConfig { - @Value("${ervu.kafka.bootstrap.servers}") + @Value("${kafka.hosts}") private String bootstrapServers; @Value("${ervu.kafka.org.reply.topic}") private String orgReplyTopic; @@ -42,15 +42,15 @@ public class ReplyingKafkaConfig { private long replyTimeout; @Value("${ervu.kafka.excerpt.reply.topic}") private String excerptReplyTopic; - @Value("${ervu.kafka.security.protocol}") + @Value("${kafka.auth_sec_proto}") private String securityProtocol; - @Value("${ervu.kafka.login.module:org.apache.kafka.common.security.scram.ScramLoginModule}") + @Value("${kafka.auth_sasl_module}") private String loginModule; - @Value("${ervu.kafka.username}") + @Value("${kafka.user}") private String username; - @Value("${ervu.kafka.password}") + @Value("${kafka.pass}") private String password; - @Value("${ervu.kafka.sasl.mechanism}") + @Value("${kafka.auth_sasl_mech}") private String saslMechanism; @Bean("ervuProducerFactory") diff --git a/config.md b/config.md index 23e8ba02..699d1a19 100644 --- a/config.md +++ b/config.md @@ -789,6 +789,15 @@ JBPM использует 3 корневых категории логирова справочник окопф с задержкой. По умолчанию задержка по времени 30000 ms - `ESNSI_OKOPF_RETRY_MAX_ATTEMPTS_LOAD` - настройка, которая указывет на максимальное кол-во попыток повторно загрузить справочник окопф. По умолчанию 3 попытки + +#### Общие параметры Kafka + +- `KAFKA_HOSTS` - список пар хост:порт, использующихся для установки первоначального соединения с кластером Kafka +- `KAFKA_AUTH_SEC_PROTO` - протокол, используемый для взаимодействия с брокерами +- `KAFKA_AUTH_SASL_MECH` - механизм SASL, используемый для клиентских подключений +- `KAFKA_AUTH_SASL_MODULE` - имя класса для входа в систему для SASL-соединений в формате, используемом конфигурационными файлами JAAS +- `KAFKA_USER` - пользователь для подключения к Kafka +- `KAFKA_PASS` - пароль для подключения к Kafka #### Взаимодействие с WebDav @@ -803,22 +812,12 @@ JBPM использует 3 корневых категории логирова - `WEBDAV_RETRY_DELAY` - количество попыток по операциям с файлами WebDav - `FILE_WEBDAV_LIFETIME_SECONDS` - время жизни файла в WebDav (секунды) - `FILE_WEBDAV_EXTENSIONS` - список расширений файлов, удаляемых с WebDav -- `AV_KAFKA_BOOTSTRAP_SERVERS` - список пар хост:порт, использующихся для установки первоначального соединения с кластером Kafka -- `AV_KAFKA_SECURITY_PROTOCOL` - протокол, используемый для взаимодействия с брокерами -- `AV_KAFKA_SASL_MECHANISM` - механизм SASL, используемый для клиентских подключений -- `AV_KAFKA_USERNAME` - пользователь для подключения к Kafka -- `AV_KAFKA_PASSWORD` - пароль для подключения к Kafka - `AV_KAFKA_GROUP_ID` - идентификатор группы потребителей, который отвечает за создание группы для объединения нескольких потребителей - `AV_KAFKA_MESSAGE_TOPIC_NAME` - топик для записи данных по файлу для перекладчика. - `AV_KAFKA_DOWNLOAD_RESPONSE` - топик для чтения статусов файла, полученных от перекладчика. #### Взаимодействие с Kafka ERVU -- `ERVU_KAFKA_BOOTSTRAP_SERVERS` - список пар хост:порт, использующихся для установки первоначального соединения с кластером Kafka -- `ERVU_KAFKA_SECURITY_PROTOCOL` - протокол, используемый для взаимодействия с брокерами -- `ERVU_KAFKA_SASL_MECHANISM` - механизм SASL, используемый для клиентских подключений -- `ERVU_KAFKA_USERNAME` - пользователь для подключения к Kafka -- `ERVU_KAFKA_PASSWORD` - пароль для подключения к Kafka - `ERVU_KAFKA_GROUP_ID` - идентификатор группы потребителей, который отвечает за создание группы для объединения нескольких потребителей - `ERVU_KAFKA_REPLY_TIMEOUT` - определяет, сколько времени Kafka будет ожидать ответа от потребителя после отправки сообщения. Значение задается в секундах - `ERVU_KAFKA_ORG_REQUEST_TOPIC` - топик для записи данных об организации, для получения id организации из ЕРВУ. diff --git a/config/ervu-lkrp-av.env b/config/ervu-lkrp-av.env index 32699b7f..ffa0f6c1 100644 --- a/config/ervu-lkrp-av.env +++ b/config/ervu-lkrp-av.env @@ -1,27 +1,21 @@ -AV_KAFKA_BOOTSTRAP_SERVERS=local-kafka:9094 -#AV_KAFKA_SECURITY_PROTOCOL=SASL_PLAINTEXT -AV_KAFKA_SECURITY_PROTOCOL=PLAINTEXT -#AV_KAFKA_SASL_MECHANISM=SCRAM-SHA-256 -AV_KAFKA_SASL_MECHANISM=PLAIN -AV_KAFKA_USERNAME=user2 -AV_KAFKA_PASSWORD=Blfi9d2OFG +KAFKA_HOSTS=local-kafka:9094 +#KAFKA_AUTH_SEC_PROTO=SASL_PLAINTEXT +KAFKA_AUTH_SEC_PROTO=PLAINTEXT +#KAFKA_AUTH_SASL_MECH=SCRAM-SHA-256 +KAFKA_AUTH_SASL_MECH=PLAIN +#KAFKA_AUTH_SASL_MODULE=org.apache.kafka.common.security.scram.ScramLoginModule +KAFKA_AUTH_SASL_MODULE=org.apache.kafka.common.security.plain.PlainLoginModule +KAFKA_USER=user1 +KAFKA_PASS=Blfi9d2OFG + AV_KAFKA_GROUP_ID=local-ervu-lkrp-av1 AV_KAFKA_TOPIC_NAME=file-to-upload AV_KAFKA_STATUS_TOPIC_NAME=ervu.lkrp.av-fileupload-status -AV_KAFKA_LOGIN_MODULE=org.apache.kafka.common.security.plain.PlainLoginModule -ERVU_KAFKA_BOOTSTRAP_SERVERS=local-kafka:9094 -#ERVU_KAFKA_SECURITY_PROTOCOL=SASL_PLAINTEXT -ERVU_KAFKA_SECURITY_PROTOCOL=PLAINTEXT -#ERVU_KAFKA_SASL_MECHANISM=SCRAM-SHA-256 -ERVU_KAFKA_SASL_MECHANISM=PLAIN -ERVU_KAFKA_USERNAME=user2 -ERVU_KAFKA_PASSWORD=Blfi9d2OFG ERVU_KAFKA_GROUP_ID=local-ervu-lkrp-av2 ERVU_KAFKA_ERROR_TOPIC_NAME=ervu.lkrp.download.request ERVU_KAFKA_SUCCESS_TOPIC_NAME=ervu.lkrp.download.request ERVU_KAFKA_RESPONSE_TOPIC_NAME=ervu.lkrp.download.response -ERVU_KAFKA_LOGIN_MODULE=org.apache.kafka.common.security.plain.PlainLoginModule AV_CHECK_ENABLED=true AV_REST_ADDRESS=http://10.10.30.120:8085/scans @@ -40,4 +34,4 @@ S3_PATH_STYLE_ACCESS_ENABLED=true FILE_WEBDAV_UPLOAD_USERNAME=test FILE_WEBDAV_UPLOAD_PASSWORD=test WEBDAV_USERNAME=test -WEBDAV_PASSWORD=test \ No newline at end of file +WEBDAV_PASSWORD=test diff --git a/config/local.env b/config/local.env index 14538f14..73ca176e 100644 --- a/config/local.env +++ b/config/local.env @@ -6,14 +6,17 @@ DB_APP_HOST=10.10.31.119 DB_APP_PORT=5432 DB_APP_NAME=ervu_lkrp_ul +KAFKA_HOSTS=local-kafka:9094 +#KAFKA_AUTH_SEC_PROTO=SASL_PLAINTEXT +KAFKA_AUTH_SEC_PROTO=PLAINTEXT +#KAFKA_AUTH_SASL_MECH=SCRAM-SHA-256 +KAFKA_AUTH_SASL_MECH=PLAIN +#KAFKA_AUTH_SASL_MODULE=org.apache.kafka.common.security.scram.ScramLoginModule +KAFKA_AUTH_SASL_MODULE=org.apache.kafka.common.security.plain.PlainLoginModule +KAFKA_USER=user1 +KAFKA_PASS=Blfi9d2OFG + AV_KAFKA_MESSAGE_TOPIC_NAME=file-to-upload -AV_KAFKA_BOOTSTRAP_SERVERS=http://local-kafka:9094 -#AV_KAFKA_SECURITY_PROTOCOL=SASL_PLAINTEXT -AV_KAFKA_SECURITY_PROTOCOL=PLAINTEXT -#AV_KAFKA_SASL_MECHANISM=SCRAM-SHA-256 -AV_KAFKA_SASL_MECHANISM=PLAIN -AV_KAFKA_USERNAME=user2 -AV_KAFKA_PASSWORD=Blfi9d2OFG AV_KAFKA_GROUP_ID=local-ervu-lkrp-ul-backend AV_KAFKA_DOWNLOAD_RESPONSE=ervu.lkrp.av-fileupload-status @@ -33,19 +36,12 @@ ESIA_TOKEN_CLEAR_CRON=0 0 */1 * * * SIGN_URL=https://ervu-sign-dev.k8s.micord.ru/sign SIGN_VERIFY_URL=https://ervu-sign-dev.k8s.micord.ru/verify -ERVU_KAFKA_BOOTSTRAP_SERVERS=local-kafka:9094 ERVU_KAFKA_ORG_REPLY_TOPIC=ervu.organization.response ERVU_KAFKA_GROUP_ID=local-ervu-lkrp-ul-backend ERVU_KAFKA_ORG_REQUEST_TOPIC=ervu.organization.request ERVU_KAFKA_REPLY_TIMEOUT=5 ERVU_KAFKA_JOURNAL_REQUEST_TOPIC=ervu.organization.journal.request ERVU_KAFKA_JOURNAL_REPLY_TOPIC=ervu.organization.journal.response -#ERVU_KAFKA_SECURITY_PROTOCOL=SASL_PLAINTEXT -ERVU_KAFKA_SECURITY_PROTOCOL=PLAINTEXT -#ERVU_KAFKA_SASL_MECHANISM=SCRAM-SHA-256 -ERVU_KAFKA_SASL_MECHANISM=PLAIN -ERVU_KAFKA_USERNAME=user2 -ERVU_KAFKA_PASSWORD=Blfi9d2OFG ERVU_KAFKA_EXCERPT_REPLY_TOPIC=ervu.lkrp.excerpt.response ERVU_KAFKA_EXCERPT_REQUEST_TOPIC=ervu.lkrp.excerpt.request diff --git a/config/micord.env b/config/micord.env index b04988ee..cf6b43ce 100644 --- a/config/micord.env +++ b/config/micord.env @@ -6,12 +6,14 @@ DB_APP_HOST=10.10.31.119 DB_APP_PORT=5432 DB_APP_NAME=ervu_lkrp_ul +KAFKA_HOSTS=10.10.31.11:32609 +KAFKA_AUTH_SEC_PROTO=SASL_PLAINTEXT +KAFKA_AUTH_SASL_MECH=SCRAM-SHA-256 +KAFKA_AUTH_SASL_MODULE=org.apache.kafka.common.security.scram.ScramLoginModule +KAFKA_USER=user1 +KAFKA_PASS=Blfi9d2OFG + AV_KAFKA_MESSAGE_TOPIC_NAME=file-to-upload -AV_KAFKA_BOOTSTRAP_SERVERS=http://10.10.31.11:32609 -AV_KAFKA_SECURITY_PROTOCOL=SASL_PLAINTEXT -AV_KAFKA_SASL_MECHANISM=SCRAM-SHA-256 -AV_KAFKA_USERNAME=user1 -AV_KAFKA_PASSWORD=Blfi9d2OFG AV_KAFKA_GROUP_ID=1 AV_KAFKA_DOWNLOAD_RESPONSE=ervu.lkrp.av-fileupload-status @@ -27,22 +29,15 @@ ESIA_UPLOAD_DATA_ROLE=MNSV89_UPLOAD_DATA ESIA_CLIENT_CERT_HASH=04508B4B0B58776A954A0E15F574B4E58799D74C61EE020B3330716C203E3BDD ESIA_TOKEN_CLEAR_CRON=0 0 */1 * * * - SIGN_URL=https://ervu-sign-dev.k8s.micord.ru/sign SIGN_VERIFY_URL=https://ervu-sign-dev.k8s.micord.ru/verify - -ERVU_KAFKA_BOOTSTRAP_SERVERS=10.10.31.11:32609 ERVU_KAFKA_ORG_REPLY_TOPIC=ervu.organization.response ERVU_KAFKA_GROUP_ID=1 ERVU_KAFKA_ORG_REQUEST_TOPIC=ervu.organization.request ERVU_KAFKA_REPLY_TIMEOUT=30 ERVU_KAFKA_JOURNAL_REQUEST_TOPIC=ervu.organization.journal.request ERVU_KAFKA_JOURNAL_REPLY_TOPIC=ervu.organization.journal.response -ERVU_KAFKA_SECURITY_PROTOCOL=SASL_PLAINTEXT -ERVU_KAFKA_SASL_MECHANISM=SCRAM-SHA-256 -ERVU_KAFKA_USERNAME=user1 -ERVU_KAFKA_PASSWORD=Blfi9d2OFG ERVU_KAFKA_EXCERPT_REPLY_TOPIC=ervu.lkrp.excerpt.response ERVU_KAFKA_EXCERPT_REQUEST_TOPIC=ervu.lkrp.excerpt.request ESNSI_OKOPF_URL=https://esnsi.gosuslugi.ru/rest/ext/v1/classifiers/16271/file?extension=JSON&encoding=UTF_8 diff --git a/config/standalone/dev/standalone.xml b/config/standalone/dev/standalone.xml index 6dec5b05..7c97545e 100644 --- a/config/standalone/dev/standalone.xml +++ b/config/standalone/dev/standalone.xml @@ -57,12 +57,13 @@ + + + + + + - - - - - @@ -72,17 +73,12 @@ - - - - -