📗عبارتهای منظم چی هستند
📕متاکارکترهای مربوط به عبارت های منظم
📒ساختن یک عبارت منظم برای تاریخ
دریافت کدهای درس سوم
حجم: 1.02 کیلوبایت
- ۰ نظر
- ۰۵ تیر ۹۸ ، ۱۵:۴۴
📗عبارتهای منظم چی هستند
📕متاکارکترهای مربوط به عبارت های منظم
📒ساختن یک عبارت منظم برای تاریخ
دریافت کدهای درس سوم
حجم: 1.02 کیلوبایت
عبارت های منظم برای تاریخ ها
تاریخ ها معمولا به شکل متنوعی نوشته خواهند شد. بعنوان مثال اگر بخواهیم بنویسیم 23 اکتبر 2018 میتوانیم به هر یک از صورتهای پایین بنویسیم:
23-10-2018
23/10/2018
23/10/18
10/23/2018
23 oct 2018
23 october 2018
oct 23, 2018
october 23, 2018
عبارت منظمی که میتوانیم برای تاریخ بنویسیم تا مورد اول، دوم و چهارم رو پوشش بده میتونه به این صورت باشه:
\d{2}[/-]\d{2}[/-]\d{4}
بعنوان مثال رشته زیر رو در نظر بگیرید: (n/ اشاره به خط بعد دارد.)
» datestr = '23-10-2018 \n23/10/2018 \n23/10/18 \n10/23/2018 \n23 oct 2018 \n23 october 2018 \noct 23, 2018 \noctober 23, 2018\n'
» re.findall(r'\d{2}[/-]\d{2}[/-]\d{4}', datestr)
['23-10-2018', '23/10/2018', '10/23/2018']
خوب همانطور که در خروجی کد فوق مشاهده میکنید تاریخ های که ابتدا دو رقمی بودن سپس با علامتهای / و - جدا شدند و دوباره دو رقم و علامت / و - تکرار شدند و در نهایت نیز 4 رقم برای سال ذکر شده بعنوان خروجی نمایش داده خواهند شد.
حالا برای اینکه بهبود بدیم این کد رو تا برای حالت دوم هم پوشش بده کافیه بخش آخر یه تغییر ایجاد کنیم بصورت زیر:(در واقع مقدار سال میتونه دو رقم تا 4 رقم رو در نظر بگیره)
» re.findall(r'\d{2}[/-]\d{2}[/-]\d{2,4}', datestr)
['23-10-2018', '23/10/2018', '23/10/18', '10/23/2018']
دقت کنید زمانهای این امکان وجود داره که تاریخ روز و ماه بصورت تک رقمی نوشته بشه کافیه کد رو بصورت زیر اصلاح کنیم:
re.findall(r'\d{1,2}[/-]\d{1,2}[/-]\d{2,4}', datestr)
❇️ متاکارکترها - انطباق کارکترها
1️⃣ . (نقطه) : تنها یک کارکتر (هر نوع کارکتری) میتواند ظاهر گردد.
2️⃣ ^ : این علامت در داخل یک کروشه به معنی این است که کارکترهای بعد از آن نباید ظاهر گردند.
3️⃣ $ : این علامت در پایان یک رشته به این معنی که عبارت مورد جستجو باید با عبارتی که قبل از $ می آید شروع شود.
4️⃣ [ ] : انطباق با مجموعه از کارکترهای درون کروشه
5️⃣ متاکارکتر [a-z] : مطابقت با یکی از رشته های a,b,...,z
6️⃣ متاکارکتر [abc^] : مطابقت با کارکترهای که a,b,c نیستند.
7️⃣ متاکارکتر a|b : مطابقت میکند با کارکتری که a یا b باشد. در جاییکه a و b رشته هستند.
8️⃣ ( ) : محدوده ای برای عملگرها
9️⃣ \ : کارکترهای خاص (t , \n , \b\)
شبکه اجتماعی لینکدین اطلاعاتی را در مورد مشاغلی که طی چند سال اخیر بیشترین رشد را تجربه کردهاند منتشر کرد و بر اساس آن مشخص شد مهارتهای مرتبط با حوزه فناوری و داده از جمله بخشهایی بودند که میزان اشتغالزایی در آنها سریعترین رشد را داشته است و به خصوص آن دسته از افرادی که در عرصه مرتبط با دادهها فعالیت میکنند بیشتر از بقیه این رشد را پیش روی خود دیدهاند.
در رتبه نخست لیست مشاغل با بیشترین رشد، مهندسان حوزه یادگیری ماشینی قرار دارند که گفته میشود این عنوان شغلی بین سالهای ۲۰۱۲ تا ۲۰۱۷ میلادی رشد ۱۰ برابری را تجربه کرده است. پس از آن متخصصان حوزه داده پررونق ترین بازار کاری را پیش روی خود دیدند که در این بازهی زمانی این حوزه رشد ۷ برابری داشت. همچنین گفته شد کارشناسان توسعهدهندهی کلان داده و مهندسان پشتیبانی هم رشد ۶ برابری داشتند.
به گزارش وبسایت Zdnet؛ در گزارش نهایی لینکدین آمده است: «مجموعه جامعی از مهارتهایی که رشتههای مختلف را پوشش میدهند در سال های اخیر بیشترین تقاضا را داشتهاند. بیشتر این فرصتهای شغلی در لیست جاری رشتههای مختلفی را شامل میشدند که قابلیت استفاده از آنها در صنایع مختلف وجود داشت.»
۱۰ عنوان شغلی برتر با پررونقترین بازارکاری در پنج سال گذشته بر اساس گزارش لینکدین عبارتند از:
❇️ پیدا کردن الگوهای با عبارتهای منظم
اینکه بگوییم چیزی با @ شروع میگردد یک الگو می باشد برای ما کافی نیست. بلکه نشانه های است که با @ شروع می شوند و چیزی رو باید دنبال کنند.
برای مثال چگونه میتوانیم تشخیص دهیم که اگر @ در جمله ای ذکر شد آن شامل الگو خاص ما خواهد شد یا خیر. حالتهای که ممکن است بعد از @ وارد شود و آن کلمه را تبدیل به یک الگو خاص نمایید رو یادداشت میکنیم:
انظباق چیزهای بعد از @
- حروف الفبا
-اعداد
-نشانه های خاصی مانند (_)
مثال :
@UN_Spokesperson
@Python
@10years
بنابراین بعد از @ میتواند عبارتهای زیر قرار گیرد:
@[A-Za-z0-9_]+
حروف الفبای بزرگ و کوچک، اعداد صفر تا 9 ، آندرلاین
با علامت + بعد از کروشه مشخص میکنیم این عبارتها میتوانند تکرار گردند.
حالا در ادامه نحوه نوشتن کد برای این عبارت منظم را خواهیم گفت
❇️ حالا بیاییم مثال قبل رو ادامه بدهیم جایی که کلمات با @ شروع میشدند. برای عبارتهای منظم ما یک کتابخانه re داریم که باید ابتدا ایمپورتش کنیم.
در واقع این کتابخانه برای عبارتهای منظم هست و دو حرف اول Regular Expressions هست.
برای این مورد خاص از متد search برای پیدا کردن عبارت منظمی که گفتیم استفاده میکنیم.
>>> import re
>>> [w for w in text13 if re.search('@[A-Za-z0-9_]+', w)]
['@UN', '@UN_Women']
الان در نتیجه مشاهده میکنیم که @ اول که بعدش یک فاصله بود در خروجی چاپ نخواهد کرد. و تمام الگوهای مورد نظر ما فقط در خروجی نمایش داده شد.
یکبار دیگه عبارت منظمی که استفاده کردیم رو تجزیه و تحلیل میکنیم:
@[A-Za-z0-9_]+
این عبارت منظم از سه بخش تشکیل شده است.
1- بخش اول علامت @ است و به قید و شرط باید استفاده گردد.
2- بخش دوم حروف بزرگ A-Z و حروف کوچک a-z و اعداد بین صفر تا نه خواهد بود . دقت کنید همه اعدادهای چند رقمی هم از این 10 عدد صفر تا نه تشکیل شده اند. همچنین آندرلاین (_) هم میتواند قرار داشته باشد. این بخش داخل یک کروشه قرار خواهد گرفت.
3- بخش سوم علامت + است که بعد از کروشه خواهد آمد. این علامت نشان دهنده این است که عبارتهای داخل کروشه میتوانند تکرار گردند.یعنی شما میتوانید یک عدد را بارها تکرار کنید یا حروف الفبای بزرگ و کوچک را تکرار نمایید.که به این علامت متاکارکتر در عبارتهای منظم گویند که در بخش بعد توضیحات بیشتری ارائه خواهیم کرد.
❇️ در درس سوم میخواهیم در مورد عبارتهای منظم و پردازش روی متن های آزاد صحبت کنیم. هنگامی که شما در حال پردازش متن آزاد هستید، عبارتها و الگوهای منظم نقش مهمی را ایفا خواهند کرد. بنابراین بگذارید یک مثال بزنیم.
❇️ متن زیر یکی از توییتهای سخنگوی سازمان ملل می باشد:
»> text12 = '"Ethics are built right into the ideals and objectives of the United Nations" #UNSG @ NY Society for Ethical Culture bit.ly/2guVelr @UN and @UN_Women'
❇️ در این متن یک اصطلاح مشاهده می شود که با # مشخص شدند و یک سری کلمات که با @ مشخص شدند و همچنین یک لینکی رو مشاهده میکنید. اگر بخواهیم این موارد رو استخراج کنیم، گام اول اینه که ما بیاییم با متد split کلمات رو از هم جدا کنیم
»> text13 = text12.split(' ')
»> text13
['"Ethics', 'are', 'built', 'right', 'into', 'the', 'ideals', 'and', 'objectives', 'of', 'the', 'United', 'Nations"', '#UNSG', '@', 'NY', 'Society', 'for', 'Ethical', 'Culture', 'bit.ly/2guVelr', '@UN', 'and', '@UN_Women']
❇️ حالا چگونه میتونیم هشتک ها و ات ساین ها رو پیدا کنیم، خوب بریم تو بخش بعدی و این کلمات خاص رو پیدا کنیم
📗کار با متون در جملات
📕تقسیم جملات به کلمات و کلمات به کارکتر
📒پیدا کردن کلمات منحصر به فرد(حذف موارد تکراری)
📘کار با متن در سندهای فایل
دریافت کدهای درس دوم
حجم: 3.08 کیلوبایت
✅ کار با فایل های متنی بزرگ
🔹 اگر بخواهیم فایل متنی مثل یک فایل نوت پد رو با پسوند txt رو بخوانیم باید از دستور open استفاده کنیم. فرمت دستور open به این صورت است که ورودی اول باید نام فایل یا آدرس محلی که فایل متنی در آنجا قرار دارد، باشد. ورودی دوم مد r هست که برای خوندن استفاده میشه و ورودی سوم رو هم از utf8 استفاده میکنیم، دلیل گذاشتن این ورودی سوم اینه که اگر شما این ساختار رو مشخص نکنید پایتون در خروجی یکسری کارکترهای اضافی در ابتدا نمایش خواهد داد.مثال رو ببنیم:
>>> f = open('D:\Text mining\week-1\Lesson-2\humans.txt','r',encoding='utf-8-sig')
🔹 اگر بخواهیم فایل فوق رو بصورت خط به خط بخونیم باید از دستور readline بصورت زیر استفاده کنیم. (در برنامه نویسی انتهای هر خط با n/ مشخص میشه)
>>> f.readline()
'Python is an interpreted high-levelprogramming\n'
▪️نکته ای که در این بخش هست اینه که با هر بار اجرای دستور فوق یک خط خوانده می شود. دقت کنید که پایتون زمانی انتهای خط را تشخیص خواهد داد که دکمه اینتر زده شود.بنابراین اگر پارگراف نوشته شد اما فقط در انتهای پارگراف اینتر زده شد، تمام پارگراف را یک خط تشخیص خواهد داد.
🔹 خواندن کل فایل : برای اینکه مشخص کنیم از کجای فایل متن رو باید بخونیم میتونیم از تابع seek برای اینکار استفاده کنیم. دقت کنید که عبارت داخل پرانتر تابع seek اندیس شروع خوندن رو نشون میده که پیش فرض صفر خواهد بود. حالا ما در این مثال هم میخواهیم از ابتدا شروع کنیم کل فایل رو بخونیم، بنابراین داریم :
>>> f.seek(0)
0
>>> text9 = f.read()
>>> len(text9)
2672
▪️همانطور که در بالا میبینید کل فایل از اندیس صفر شروع به خوندن میکنیم و تعداد کارکترهای که داخل متنمون قرار داشت 2672 بود.
🔹حالا اگر بخواهیم کل فایل رو خط به خط جدا کنیم و در یک لیستی قرار بدهیم کافیه از تابع splitlines برای اینکار بصورت زیر استفاده کنیم
>>> text10 = text9.splitlines()
>>> len(text10)
21
>>> text10[0]
'Python is an interpreted high-levelprogramming'
▪️تعداد خطهای این فایل 21 بود و با اندیس میتونیم هر خطی که خواستیم در خروجی نمایش بدهیم.
✅ مثالهای گوناگون
🔹 تابع split بصورت پیش فرض رشته ها رو از طریق space یا همون فاصله جدا میکنه و کلمات رو استخراج میکنه، اما ما میتونیم داخل پرانتز کارکتر دلخواه خودمون رو بعنوان میعار جدا کردن در نظر بگیریم. مثال زیر رو ببنید:
>>> text4 = "ouagadougou"
>>> text5 = text4.split('ou')
>>> text5
['', 'agad', 'g', '']
▪️خوب در مثال بالا رشته رو بر اساس کارکتر ou جدا کرد.دقت کنید که ما text4 رو نمیتونیم بر اساس میعار فاصله جدا کنیم چون هیچ فاصله ای در این رشته وجود نداره و اگر داخل پرانتر دستور split خالی باشه به ارور خواهیم خورد.
🔹 در دوره مقدماتی در مورد لیست صحبت کردیم و اگر بخواهیم text4 رو تبدیل به لیست کنیم کارکتر به کارکتر داخل یک لیست برامون قرار میده.
>>> list(text4)
['o', 'u', 'a', 'g', 'a', 'd', 'o', 'u', 'g', 'o', 'u']
🔹با استفاده از حلقه for هم امکان ایجاد لیست فوق وجود داره، مثال رو ببنید.
>>> [c for c in text4]
['o', 'u', 'a', 'g', 'a', 'd', 'o', 'u', 'g', 'o', 'u']
🔹 حالا اگر بخواهیم دوباره ou رو به text5 متصل کنیم از دستور join برای اینکار استفاده میکنیم.و نحوه استفاده بصورت زیر خواهد بود
>>> 'ou'.join(text5)
'ouagadougou'
🔹یک رشته جدید تو این مثال خواهیم زد که ابتدای رشته دوتا فاصله وجود داره؛ ما اول میاییم با دستور split کلمات رو جدا میکنیم و اتفاقی که میفته فاصله های ابتدایی رو بعنوان یک کلمه مجزا درنظر میگیره
>>> text6 = ' a quick brown fox jumped over the lazy dog'
>>> text6.split(' ')
['', '', 'a', 'quick', 'brown', 'fox', 'jumped', 'over', 'the', 'lazy', 'dog']
🔹حالا اگر بخواهیم این فاصله های اضافی رو برداریم و با توجه به اینکه این موضوع برای مباحث متن کاوی مهم هست که موارد اضافه رو حذف کنیم از دستور strip برای اینکار استفاده خواهیم کرد.
>>> text7 = text6.strip()
>>> text7.split(' ')
['a', 'quick', 'brown', 'fox', 'jumped', 'over', 'the', 'lazy', 'dog']
▪️همانطور که در بالا مشاهده میکنیم دیگر فاصله ها در لیست ما قرار ندارند.
مثال دستور find و replace
🔹 در متن جدید میخواهیم کارکتر o رو پیدا کنیم اگر از دستور find استفاده کنیم اولین کارکتر o در متن رو پیدا میکنه و اندیسش رو بعنوان خروجی برمیگردونه. (اندیس در پایتون از صفر شروع میشه)
>>> text8 = "a quick brown fox jumped over the lazy dog"
>>> text8.find('o')
10
🔹 اگر دستور rfind برای اینکار استفاده کنید آخرین کارکتر o در رشته رو پیدا میکنه، بعبارتی از آخر رشته جستجو رو انجام میده.
>>> text8.rfind('o')
40
🔹 و برای جایگزینی کارکتر o با مقدار صفر (0) میتونیم از دستور replace بصورت زیر استفاده کنیم
>>> text8.replace('o','0')
'a quick br0wn f0x jumped 0ver the lazy d0g'
🏅به دو نفر برتر این مسابقه یکی از آموزش های چالش پایتون با انتخاب خودشان، به رایگان اهدا خواهد شد.
▪️فقط اعضای کلاس چالش پایتون در سامانه کوئرا میتوانند در این مسابقه نوروزی شرکت کنند. اگر عضو نشدید از طریق راهنمای زیر عضو شوید:
https://t.me/pythonchallenge/528
🔹مسابقه راس ساعت 13 امروز شروع خواهد شد و ساعت 23 به اتمام خواهد رسید. در شرایط مساوی زمان در تعیین رتبه تاثیرگذار می باشد.