RP5id_parser regexp bugfix, more countries

This commit is contained in:
Андрей 2021-06-09 14:37:45 +04:00 committed by GitHub
parent 431a2a0913
commit c6e16ba8fa
No known key found for this signature in database
GPG key ID: 4AEE18F83AFDEB23
6 changed files with 182 additions and 2 deletions

7
rp5id_parser/belarus.csv Normal file
View file

@ -0,0 +1,7 @@
ID,City
5,Погода_в_Бресте
31,Погода_в_Витебске,_Беларусь
63,Погода_в_Гомеле,_Гомельская_область
84,Погода_в_Гродно
55,Погода_в_Минске,_Беларусь
141,Погода_в_Могилеве,_Беларусь
1 ID,City
2 5,Погода_в_Бресте
3 31,Погода_в_Витебске,_Беларусь
4 63,Погода_в_Гомеле,_Гомельская_область
5 84,Погода_в_Гродно
6 55,Погода_в_Минске,_Беларусь
7 141,Погода_в_Могилеве,_Беларусь

View file

@ -11,11 +11,11 @@ russian_cities_tree = html.fromstring(russian_cities_page.content)
columns = russian_cities_tree.xpath('//div[@class="countryMap"]//div[@class="countryMap-cell"]') columns = russian_cities_tree.xpath('//div[@class="countryMap"]//div[@class="countryMap-cell"]')
# File # File
cities_file = open('cities.csv', 'wt') cities_file = open('russia.csv', 'wt')
cities_file.write('ID,City\n') cities_file.write('ID,City\n')
# Write all identifiers and cities # Write all identifiers and cities
city_link_regex = re.compile(r'^https*://rp5.ru/(Погода_в[А-Яа-я\w.,\-()]+)') city_link_regex = re.compile(r'^https*://rp5.ru/(Погода_[А-Яа-я\w.,\-()]+)')
added_ids = [] added_ids = []
for col in columns: for col in columns:
ids = col.xpath('.//span[@class="Ajax-PointID"]//@id') ids = col.xpath('.//span[@class="Ajax-PointID"]//@id')

83
rp5id_parser/russia.csv Normal file
View file

@ -0,0 +1,83 @@
ID,City
5095,Погода_в_Майкопе
1360,Погода_в_Барнауле,_Алтайский_край
1599,Погода_в_Благовещенске,_Амурская_область
1174,Погода_в_Архангельске,_Архангельская_область
1200,Погода_в_Астрахани,_Астраханская_область
8667,Погода_в_Уфе
1435,Погода_в_Белгороде,_Белгородская_область
1859,Погода_в_Брянске,_Брянская_область
8440,Погода_в_Улан-Удэ
2278,Погода_во_Владимире,_Владимирская_область
2315,Погода_в_Волгограде
2327,Погода_в_Вологде
2374,Погода_в_Воронеже,_Воронежская_область
5260,Погода_в_Махачкале
1577,Погода_в_Биробиджане
9066,Погода_в_Чите,_Забайкальский_край
3416,Погода_в_Иваново,_Ивановский_район
13507,Погода_в_Магасе
152525,Погода_в_Иркутске
5633,Погода_в_Нальчике_(аэропорт)
3688,Погода_в_Калининграде
9323,Погода_в_Элисте
3708,Погода_в_Калуге,_Калужская_область
6608,Погода_в_Петропавловске-Камчатском
8990,Погода_в_Черкесске
6601,Погода_в_Петрозаводске
4013,Погода_в_Кирове,_Кировская_область
7925,Погода_в_Сыктывкаре
4326,Погода_в_Костроме,_Костромская_область
4429,Погода_в_Краснодаре,_Краснодарский_край
4475,Погода_в_Красноярске,_Красноярский_край
174,Погода_в_Симферополе
3932,Погода_в_Кемерове
4711,Погода_в_Кургане,_Курганская_область
4731,Погода_в_Курске,_Курская_область
7285,Погода_в_Санкт-Петербурге
4931,Погода_в_Липецке
5081,Погода_в_Магадане
3609,Погода_в_Йошкар-Оле
7300,Погода_в_Саранске,_Мордовия
5483,Погода_в_Москве_(ВДНХ)
5538,Погода_в_Мурманске
5797,Погода_в_Нижнем_Новгороде
5917,Погода_в_Великом_Новгороде
6036,Погода_в_Новосибирске
6290,Погода_в_Омске
6318,Погода_в_Орле,_Орловская_область
6320,Погода_в_Оренбурге
6501,Погода_в_Пензе,_Пензенская_область
6560,Погода_в_Перми
2275,Погода_во_Владивостоке
6935,Погода_в_Пскове
2622,Погода_в_Горно-Алтайске
9421,Погода_в_Якутске
7147,Погода_в_Ростове-на-Дону
7217,Погода_в_Рязани,_Рязанская_область
7259,Погода_в_Самаре,_Самарская_область
7303,Погода_в_Саратове
9362,Погода_в_Южно-Сахалинске
3034,Погода_в_Екатеринбурге
234,Погода_в_Севастополе,_Севастополь
2277,Погода_во_Владикавказе
7561,Погода_в_Смоленске
7719,Погода_в_Ставрополе
8012,Погода_в_Тамбове
3646,Погода_в_Казани,_Татарстан
8077,Погода_в_Твери
8218,Погода_в_Томске
8306,Погода_в_Туле,_Тульская_область
4769,Погода_в_Кызыле,_Россия
8374,Погода_в_Тюмени,_Тюменская_область
3451,Погода_в_Ижевске
8452,Погода_в_Ульяновске
8722,Погода_в_Хабаровске
858,Погода_в_Абакане
8753,Погода_в_Ханты-Мансийске
8955,Погода_в_Челябинске
2713,Погода_в_Грозном,_Чечня
8935,Погода_в_Чебоксарах,_Чувашия
1057,Погода_в_Анадыре
7249,Погода_в_Салехарде
9462,Погода_в_Ярославле,_Ярославская_область
1 ID,City
2 5095,Погода_в_Майкопе
3 1360,Погода_в_Барнауле,_Алтайский_край
4 1599,Погода_в_Благовещенске,_Амурская_область
5 1174,Погода_в_Архангельске,_Архангельская_область
6 1200,Погода_в_Астрахани,_Астраханская_область
7 8667,Погода_в_Уфе
8 1435,Погода_в_Белгороде,_Белгородская_область
9 1859,Погода_в_Брянске,_Брянская_область
10 8440,Погода_в_Улан-Удэ
11 2278,Погода_во_Владимире,_Владимирская_область
12 2315,Погода_в_Волгограде
13 2327,Погода_в_Вологде
14 2374,Погода_в_Воронеже,_Воронежская_область
15 5260,Погода_в_Махачкале
16 1577,Погода_в_Биробиджане
17 9066,Погода_в_Чите,_Забайкальский_край
18 3416,Погода_в_Иваново,_Ивановский_район
19 13507,Погода_в_Магасе
20 152525,Погода_в_Иркутске
21 5633,Погода_в_Нальчике_(аэропорт)
22 3688,Погода_в_Калининграде
23 9323,Погода_в_Элисте
24 3708,Погода_в_Калуге,_Калужская_область
25 6608,Погода_в_Петропавловске-Камчатском
26 8990,Погода_в_Черкесске
27 6601,Погода_в_Петрозаводске
28 4013,Погода_в_Кирове,_Кировская_область
29 7925,Погода_в_Сыктывкаре
30 4326,Погода_в_Костроме,_Костромская_область
31 4429,Погода_в_Краснодаре,_Краснодарский_край
32 4475,Погода_в_Красноярске,_Красноярский_край
33 174,Погода_в_Симферополе
34 3932,Погода_в_Кемерове
35 4711,Погода_в_Кургане,_Курганская_область
36 4731,Погода_в_Курске,_Курская_область
37 7285,Погода_в_Санкт-Петербурге
38 4931,Погода_в_Липецке
39 5081,Погода_в_Магадане
40 3609,Погода_в_Йошкар-Оле
41 7300,Погода_в_Саранске,_Мордовия
42 5483,Погода_в_Москве_(ВДНХ)
43 5538,Погода_в_Мурманске
44 5797,Погода_в_Нижнем_Новгороде
45 5917,Погода_в_Великом_Новгороде
46 6036,Погода_в_Новосибирске
47 6290,Погода_в_Омске
48 6318,Погода_в_Орле,_Орловская_область
49 6320,Погода_в_Оренбурге
50 6501,Погода_в_Пензе,_Пензенская_область
51 6560,Погода_в_Перми
52 2275,Погода_во_Владивостоке
53 6935,Погода_в_Пскове
54 2622,Погода_в_Горно-Алтайске
55 9421,Погода_в_Якутске
56 7147,Погода_в_Ростове-на-Дону
57 7217,Погода_в_Рязани,_Рязанская_область
58 7259,Погода_в_Самаре,_Самарская_область
59 7303,Погода_в_Саратове
60 9362,Погода_в_Южно-Сахалинске
61 3034,Погода_в_Екатеринбурге
62 234,Погода_в_Севастополе,_Севастополь
63 2277,Погода_во_Владикавказе
64 7561,Погода_в_Смоленске
65 7719,Погода_в_Ставрополе
66 8012,Погода_в_Тамбове
67 3646,Погода_в_Казани,_Татарстан
68 8077,Погода_в_Твери
69 8218,Погода_в_Томске
70 8306,Погода_в_Туле,_Тульская_область
71 4769,Погода_в_Кызыле,_Россия
72 8374,Погода_в_Тюмени,_Тюменская_область
73 3451,Погода_в_Ижевске
74 8452,Погода_в_Ульяновске
75 8722,Погода_в_Хабаровске
76 858,Погода_в_Абакане
77 8753,Погода_в_Ханты-Мансийске
78 8955,Погода_в_Челябинске
79 2713,Погода_в_Грозном,_Чечня
80 8935,Погода_в_Чебоксарах,_Чувашия
81 1057,Погода_в_Анадыре
82 7249,Погода_в_Салехарде
83 9462,Погода_в_Ярославле,_Ярославская_область

8
rp5id_parser/uk.csv Normal file
View file

@ -0,0 +1,8 @@
ID,City
3478,Погода_в_Лондоне,_Великобритания
11264,Погода_на_о._Гоф,_Великобритания
152614,Погода_в_Сент-Питер-Порту
152616,Погода_в_Дугласе,_Великобритания
152615,Погода_в_Белфасте,_Великобритания
3428,Погода_в_Кардиффе
2950,Погода_в_Эдинбурге_(аэропорт)
1 ID,City
2 3478,Погода_в_Лондоне,_Великобритания
3 11264,Погода_на_о._Гоф,_Великобритания
4 152614,Погода_в_Сент-Питер-Порту
5 152616,Погода_в_Дугласе,_Великобритания
6 152615,Погода_в_Белфасте,_Великобритания
7 3428,Погода_в_Кардиффе
8 2950,Погода_в_Эдинбурге_(аэропорт)

25
rp5id_parser/ukraine.csv Normal file
View file

@ -0,0 +1,25 @@
ID,City
187,Погода_в_Виннице
224,Погода_в_Луцке
247,Погода_в_Днепре_(Днепропетровске)
298,Погода_в_Донецке,_Украина
342,Погода_в_Житомире
373,Погода_в_Ужгороде
383,Погода_в_Запорожье,_Запорожье
414,Погода_в_Ивано-Франковске
509938,Погода_в_Киеве,_Украина
471,Погода_в_Кропивницком_(Кировограде)
520,Погода_в_Луганске,_Украина
557,Погода_во_Львове,_Львовская_область
585,Погода_в_Николаеве,_Николаевская_область
614,Погода_в_Одессе,_Украина
644,Погода_в_Полтаве,_Полтавская_область
665,Погода_в_Ровно,_Украина
687,Погода_в_Сумах,_Украина
712,Погода_в_Тернополе
741,Погода_в_Харькове
764,Погода_в_Херсоне
787,Погода_в_Хмельницком,_Хмельницкая_область
811,Погода_в_Черкассах,_Украина
838,Погода_в_Чернигове
512984,Погода_в_Черновцах
1 ID,City
2 187,Погода_в_Виннице
3 224,Погода_в_Луцке
4 247,Погода_в_Днепре_(Днепропетровске)
5 298,Погода_в_Донецке,_Украина
6 342,Погода_в_Житомире
7 373,Погода_в_Ужгороде
8 383,Погода_в_Запорожье,_Запорожье
9 414,Погода_в_Ивано-Франковске
10 509938,Погода_в_Киеве,_Украина
11 471,Погода_в_Кропивницком_(Кировограде)
12 520,Погода_в_Луганске,_Украина
13 557,Погода_во_Львове,_Львовская_область
14 585,Погода_в_Николаеве,_Николаевская_область
15 614,Погода_в_Одессе,_Украина
16 644,Погода_в_Полтаве,_Полтавская_область
17 665,Погода_в_Ровно,_Украина
18 687,Погода_в_Сумах,_Украина
19 712,Погода_в_Тернополе
20 741,Погода_в_Харькове
21 764,Погода_в_Херсоне
22 787,Погода_в_Хмельницком,_Хмельницкая_область
23 811,Погода_в_Черкассах,_Украина
24 838,Погода_в_Чернигове
25 512984,Погода_в_Черновцах

57
rp5id_parser/usa.csv Normal file
View file

@ -0,0 +1,57 @@
ID,City
259014,Погода_в_Бойсе
256341,Погода_в_Де-Мойне
259364,Погода_в_Монтгомери_(авиабаза)
259388,Погода_в_Джуно,_Соединенные_Штаты_Америки
259321,Погода_в_Паго-Паго,_Соединенные_Штаты_Америки
259322,Погода_в_Фениксе_(аэропорт)
259244,Погода_в_Литл_Рок
256853,Погода_в_Шайенне_(аэропорт)
256949,Погода_в_Олимпии
256768,Погода_в_Монтпилиере
256795,Погода_в_Ричмонде,_Виргиния
257066,Погода_в_Шарлотта-Амалии,_США
256921,Погода_в_Мэдисоне,_Висконсин
258983,Погода_в_Гонолулу
259141,Погода_в_Довере,_Делавэр
256266,Погода_в_Атланте,_Джорджия
256811,Погода_в_Чарльстоне,_Западная_Виргиния
258862,Погода_в_Спрингфилде,_Иллинойс
256322,Погода_в_Индианаполисе
256217,Погода_в_Сакраменто
258559,Погода_в_Топике_(аэропорт)
258542,Погода_в_Франкфорте_(аэропорт)
259183,Погода_в_Денвере
259171,Погода_в_Хартфорде_(аэропорт)
258483,Погода_в_Батон-Руже
258400,Погода_в_Бостоне,_Массачусетс
256449,Погода_в_Сент-Поле,_Миннесота
258170,Погода_в_Джексоне,_Миссисипи
258233,Погода_в_Джефферсон-Сити_(аэропорт)
268292,Погода_в_Лэнсинге
258014,Погода_в_Хелене
258463,Погода_в_Огасте_(аэропорт),_Мэн
258428,Погода_в_Аннаполисе_(AWS)
256509,Погода_в_Линкольне,_Небраска
257984,Погода_в_Карсон-Сити
258065,Погода_в_Конкорде_(аэропорт),_Нью-Гэмпшир
257968,Погода_в_Трентоне,_Нью-Джерси
257922,Погода_в_Олбани,_Нью-Йорк
257925,Погода_в_Санта-Фе,_США
257724,Погода_в_Колумбусе,_Огайо
256613,Погода_в_Оклахома-Сити
256240,Погода_в_Вашингтоне,_Округ_Колумбия
257590,Погода_в_Сейлеме,_Орегон
259007,Погода_в_Хагатне,_США
257580,Погода_в_Гаррисберге,_Пенсильвания
256639,Погода_в_Сан-Хуане,_США
257542,Погода_в_Провиденсе
257880,Погода_в_Бисмарке_(аэропорт)
257825,Погода_в_Роли,_Северная_Каролина
257784,Погода_в_Сайпане
257387,Погода_в_Нэшвилле,_Теннесси
257114,Погода_в_Остине_(AWS)
259107,Погода_в_Таллахасси
257364,Погода_в_Пьере
257449,Погода_в_Колумбии,_Овенс-Филде_(аэропорт)
257093,Погода_в_Солт-Лейк-Сити
1 ID,City
2 259014,Погода_в_Бойсе
3 256341,Погода_в_Де-Мойне
4 259364,Погода_в_Монтгомери_(авиабаза)
5 259388,Погода_в_Джуно,_Соединенные_Штаты_Америки
6 259321,Погода_в_Паго-Паго,_Соединенные_Штаты_Америки
7 259322,Погода_в_Фениксе_(аэропорт)
8 259244,Погода_в_Литл_Рок
9 256853,Погода_в_Шайенне_(аэропорт)
10 256949,Погода_в_Олимпии
11 256768,Погода_в_Монтпилиере
12 256795,Погода_в_Ричмонде,_Виргиния
13 257066,Погода_в_Шарлотта-Амалии,_США
14 256921,Погода_в_Мэдисоне,_Висконсин
15 258983,Погода_в_Гонолулу
16 259141,Погода_в_Довере,_Делавэр
17 256266,Погода_в_Атланте,_Джорджия
18 256811,Погода_в_Чарльстоне,_Западная_Виргиния
19 258862,Погода_в_Спрингфилде,_Иллинойс
20 256322,Погода_в_Индианаполисе
21 256217,Погода_в_Сакраменто
22 258559,Погода_в_Топике_(аэропорт)
23 258542,Погода_в_Франкфорте_(аэропорт)
24 259183,Погода_в_Денвере
25 259171,Погода_в_Хартфорде_(аэропорт)
26 258483,Погода_в_Батон-Руже
27 258400,Погода_в_Бостоне,_Массачусетс
28 256449,Погода_в_Сент-Поле,_Миннесота
29 258170,Погода_в_Джексоне,_Миссисипи
30 258233,Погода_в_Джефферсон-Сити_(аэропорт)
31 268292,Погода_в_Лэнсинге
32 258014,Погода_в_Хелене
33 258463,Погода_в_Огасте_(аэропорт),_Мэн
34 258428,Погода_в_Аннаполисе_(AWS)
35 256509,Погода_в_Линкольне,_Небраска
36 257984,Погода_в_Карсон-Сити
37 258065,Погода_в_Конкорде_(аэропорт),_Нью-Гэмпшир
38 257968,Погода_в_Трентоне,_Нью-Джерси
39 257922,Погода_в_Олбани,_Нью-Йорк
40 257925,Погода_в_Санта-Фе,_США
41 257724,Погода_в_Колумбусе,_Огайо
42 256613,Погода_в_Оклахома-Сити
43 256240,Погода_в_Вашингтоне,_Округ_Колумбия
44 257590,Погода_в_Сейлеме,_Орегон
45 259007,Погода_в_Хагатне,_США
46 257580,Погода_в_Гаррисберге,_Пенсильвания
47 256639,Погода_в_Сан-Хуане,_США
48 257542,Погода_в_Провиденсе
49 257880,Погода_в_Бисмарке_(аэропорт)
50 257825,Погода_в_Роли,_Северная_Каролина
51 257784,Погода_в_Сайпане
52 257387,Погода_в_Нэшвилле,_Теннесси
53 257114,Погода_в_Остине_(AWS)
54 259107,Погода_в_Таллахасси
55 257364,Погода_в_Пьере
56 257449,Погода_в_Колумбии,_Овенс-Филде_(аэропорт)
57 257093,Погода_в_Солт-Лейк-Сити