micord/ervu-dashboard-etl
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions

border_crossing review

Browse source
This commit is contained in:
Fusionshh 2025-10-16 09:57:50 +03:00
parent 6fd68fc632
commit 5257b2188d
5 changed files with 132 additions and 18 deletions
Download patch file Download diff file Expand all files Collapse all files

34
mappings/info_recruits/citizen_tables/border_crossing/parallel/border_crossing_flow.hpl
View file

@ -18,6 +18,40 @@
<modified_date>2025/08/05 14:31:22.799</modified_date>
</info>
<notepads>
<notepad>
<backgroundcolorblue>251</backgroundcolorblue>
<backgroundcolorgreen>232</backgroundcolorgreen>
<backgroundcolorred>201</backgroundcolorred>
<bordercolorblue>90</bordercolorblue>
<bordercolorgreen>58</bordercolorgreen>
<bordercolorred>14</bordercolorred>
<fontbold>N</fontbold>
<fontcolorblue>90</fontcolorblue>
<fontcolorgreen>58</fontcolorgreen>
<fontcolorred>14</fontcolorred>
<fontitalic>N</fontitalic>
<fontname>Segoe UI</fontname>
<fontsize>9</fontsize>
<height>248</height>
<xloc>160</xloc>
<yloc>464</yloc>
<note>1. Table_input:
- string_agg же создаст перечисление дат в формате строки через запятую, как это планируеться приводить в дату и в дальнейшем инсертить в бд?
- is_border_crossed, Почему сразу не передавать true?
- зачем join на citizen, если у recruits_info уже есть поля айди военкомата?
- Зачем на уровне первичного flow, условие на дату в части created_at?
- в части where идет отбращшение к lateral elem, т.е предполагаеться что массив будет развернут до выполнения where, что будет если в исходных данных вместо массива будет null?
- elem ->> 'dataVyezd' вернет 'null', это не sql NULL, условие IS NOT NULL не отработает.
- Для чего групировка и в input и далее после table output?
- Детектить пустой стрим, можно сразу после инпута? почему пытаемся детектить только после апдейта?
2. Table_output:
- error_code нет смысла указывать в рамках error handling, под него нет колонки
3. Update:
- не указан error_description в error handling , в случае ошибки произойдет еще ошибка при попытке выполнения change job status on error
</note>
<width>1030</width>
</notepad>
</notepads>
<order>
<hop>

29
mappings/info_recruits/citizen_tables/border_crossing/parallel/border_crossing_flow_delta.hpl
View file

@ -18,6 +18,30 @@
<modified_date>2025/08/11 13:22:56.048</modified_date>
</info>
<notepads>
<notepad>
<backgroundcolorblue>251</backgroundcolorblue>
<backgroundcolorgreen>232</backgroundcolorgreen>
<backgroundcolorred>201</backgroundcolorred>
<bordercolorblue>90</bordercolorblue>
<bordercolorgreen>58</bordercolorgreen>
<bordercolorred>14</bordercolorred>
<fontbold>N</fontbold>
<fontcolorblue>90</fontcolorblue>
<fontcolorgreen>58</fontcolorgreen>
<fontcolorred>14</fontcolorred>
<fontitalic>N</fontitalic>
<fontname>Segoe UI</fontname>
<fontsize>9</fontsize>
<height>89</height>
<xloc>288</xloc>
<yloc>640</yloc>
<note>1. Перенести решение проблем описанных в ревью по первичному flow.
2. Как планируется не дублировать данные по рекруту(допустим на первичке были скопированы 2 даты, мы обновли запись и добавили еще пересечение) в новом запуске мы заного добавим 2 новые даты, + задублируем уже добавленные?
3. Insert/update нет error_description для error_handling
4. Update нет error_description для error_handling
</note>
<width>1349</width>
</notepad>
</notepads>
<order>
<hop>
@ -188,8 +212,11 @@ and recruitment_id = '${IDM_ID}';
<arguments>
</arguments>
<connection>ervu-dashboard</connection>
<delete_field/>
<execute_each_row>N</execute_each_row>
<insert_field/>
<quoteString>N</quoteString>
<read_field/>
<replace_variables>Y</replace_variables>
<set_params>N</set_params>
<single_statement>N</single_statement>
@ -200,6 +227,7 @@ SET
error_description = NULL
where job_name = '${JOB_NAME}'
and recruitment_id = '${IDM_ID}';</sql>
<update_field/>
<attributes/>
<GUI>
<xloc>352</xloc>
@ -369,7 +397,6 @@ and recruitment_id = '${IDM_ID}';</sql>
</partitioning>
<connection>ervu-dashboard</connection>
<execute_each_row>N</execute_each_row>
<limit/>
<sql>SELECT
ri.recruit_id,
(string_agg(elem->>'dataVyezd', ', '))::date as date_crossing,

30
mappings/info_recruits/citizen_tables/border_crossing/parallel/border_crossing_flow_repeat.hpl
View file

@ -18,6 +18,27 @@
<modified_date>2025/08/08 13:25:52.319</modified_date>
</info>
<notepads>
<notepad>
<backgroundcolorblue>251</backgroundcolorblue>
<backgroundcolorgreen>232</backgroundcolorgreen>
<backgroundcolorred>201</backgroundcolorred>
<bordercolorblue>90</bordercolorblue>
<bordercolorgreen>58</bordercolorgreen>
<bordercolorred>14</bordercolorred>
<fontbold>N</fontbold>
<fontcolorblue>90</fontcolorblue>
<fontcolorgreen>58</fontcolorgreen>
<fontcolorred>14</fontcolorred>
<fontitalic>N</fontitalic>
<fontname>Segoe UI</fontname>
<fontsize>9</fontsize>
<height>42</height>
<xloc>240</xloc>
<yloc>320</yloc>
<note>1.Перенести решение проблем по ревью из первичного флоу
2. insert/update и update, не передается error_description для error handling</note>
<width>419</width>
</notepad>
</notepads>
<order>
<hop>
@ -123,11 +144,8 @@
</argument>
</arguments>
<connection>ervu-dashboard</connection>
<delete_field/>
<execute_each_row>Y</execute_each_row>
<insert_field/>
<quoteString>N</quoteString>
<read_field/>
<replace_variables>Y</replace_variables>
<set_params>Y</set_params>
<single_statement>N</single_statement>
@ -139,7 +157,6 @@ WHERE job_name = '${JOB_NAME}'
and recruitment_id = '${IDM_ID}';
</sql>
<update_field/>
<attributes/>
<GUI>
<xloc>1312</xloc>
@ -160,11 +177,8 @@ and recruitment_id = '${IDM_ID}';
<arguments>
</arguments>
<connection>ervu-dashboard</connection>
<delete_field/>
<execute_each_row>Y</execute_each_row>
<insert_field/>
<quoteString>N</quoteString>
<read_field/>
<replace_variables>Y</replace_variables>
<set_params>N</set_params>
<single_statement>N</single_statement>
@ -175,7 +189,6 @@ WHERE job_name = '${JOB_NAME}'
and recruitment_id = '${IDM_ID}';
</sql>
<update_field/>
<attributes/>
<GUI>
<xloc>1776</xloc>
@ -392,7 +405,6 @@ DO UPDATE SET
</partitioning>
<connection>ervu-dashboard</connection>
<execute_each_row>N</execute_each_row>
<limit/>
<sql>SELECT
ri.recruit_id,
(string_agg(elem->>'dataVyezd', ', '))::date as date_crossing,

37
mappings/info_recruits/citizen_tables/border_crossing/recruitment_five_flow_delta.hpl
View file

@ -18,6 +18,27 @@
<modified_date>2025/08/11 13:16:11.204</modified_date>
</info>
<notepads>
<notepad>
<backgroundcolorblue>251</backgroundcolorblue>
<backgroundcolorgreen>232</backgroundcolorgreen>
<backgroundcolorred>201</backgroundcolorred>
<bordercolorblue>90</bordercolorblue>
<bordercolorgreen>58</bordercolorgreen>
<bordercolorred>14</bordercolorred>
<fontbold>N</fontbold>
<fontcolorblue>90</fontcolorblue>
<fontcolorgreen>58</fontcolorgreen>
<fontcolorred>14</fontcolorred>
<fontitalic>N</fontitalic>
<fontname>Segoe UI</fontname>
<fontsize>9</fontsize>
<height>42</height>
<xloc>224</xloc>
<yloc>608</yloc>
<note>1. Приведем реализацию к тому варианту который я проработал в своих блоках, посмотри любую дельту у меня
2. Заменить зашитое название джобы в input на переменную JOB_NAME?</note>
<width>638</width>
</notepad>
</notepads>
<order>
<hop>
@ -70,8 +91,8 @@ where je.status in ('SUCCESS', 'DELTA_ERROR', 'DELTA_SUCCESS', 'DELTA_PROCESSING
<variables_active>N</variables_active>
<attributes/>
<GUI>
<xloc>352</xloc>
<yloc>288</yloc>
<xloc>432</xloc>
<yloc>304</yloc>
</GUI>
</transform>
<transform>
@ -122,7 +143,7 @@ where je.status in ('SUCCESS', 'DELTA_ERROR', 'DELTA_SUCCESS', 'DELTA_PROCESSING
<attributes/>
<GUI>
<xloc>640</xloc>
<yloc>128</yloc>
<yloc>160</yloc>
</GUI>
</transform>
<transform>
@ -172,7 +193,7 @@ where je.status in ('SUCCESS', 'DELTA_ERROR', 'DELTA_SUCCESS', 'DELTA_PROCESSING
<executors_output_transform/>
<attributes/>
<GUI>
<xloc>656</xloc>
<xloc>640</xloc>
<yloc>224</yloc>
</GUI>
</transform>
@ -223,7 +244,7 @@ where je.status in ('SUCCESS', 'DELTA_ERROR', 'DELTA_SUCCESS', 'DELTA_PROCESSING
<executors_output_transform/>
<attributes/>
<GUI>
<xloc>656</xloc>
<xloc>640</xloc>
<yloc>304</yloc>
</GUI>
</transform>
@ -274,7 +295,7 @@ where je.status in ('SUCCESS', 'DELTA_ERROR', 'DELTA_SUCCESS', 'DELTA_PROCESSING
<executors_output_transform/>
<attributes/>
<GUI>
<xloc>656</xloc>
<xloc>640</xloc>
<yloc>384</yloc>
</GUI>
</transform>
@ -325,8 +346,8 @@ where je.status in ('SUCCESS', 'DELTA_ERROR', 'DELTA_SUCCESS', 'DELTA_PROCESSING
<executors_output_transform/>
<attributes/>
<GUI>
<xloc>656</xloc>
<yloc>480</yloc>
<xloc>640</xloc>
<yloc>464</yloc>
</GUI>
</transform>
<transform_error_handling>

20
mappings/info_recruits/citizen_tables/border_crossing/recruitment_five_flow_on_error.hpl
View file

@ -18,6 +18,26 @@
<modified_date>2025/08/05 12:54:50.126</modified_date>
</info>
<notepads>
<notepad>
<backgroundcolorblue>251</backgroundcolorblue>
<backgroundcolorgreen>232</backgroundcolorgreen>
<backgroundcolorred>201</backgroundcolorred>
<bordercolorblue>90</bordercolorblue>
<bordercolorgreen>58</bordercolorgreen>
<bordercolorred>14</bordercolorred>
<fontbold>N</fontbold>
<fontcolorblue>90</fontcolorblue>
<fontcolorgreen>58</fontcolorgreen>
<fontcolorred>14</fontcolorred>
<fontitalic>N</fontitalic>
<fontname>Segoe UI</fontname>
<fontsize>9</fontsize>
<height>26</height>
<xloc>256</xloc>
<yloc>656</yloc>
<note>1.Заменить зашитое название джобы в input на переменную JOB_NAME?</note>
<width>414</width>
</notepad>
</notepads>
<order>
<hop>