چرا آفتاب ساعت 4 در میاد 😐

گزارش تلویزیونی در اواسط دهه ۵۰
مصاحبه با خانمی که ماشینشو دوبله پارک کرده

«Bahman Ansari»

@sut_tw

یکی بره از بچه‌های این خانم بپرسه الان حتی پول دارین دوچرخه بخرید که بخواید دوبل هم پارک‌ش کنید؟

گزارشگر اگه بیاد واسه پوشش میاد یا واسه رعایت قوانین راهنمایی و رانندگی؟!

یه ویدیو ببینید از لحظه ای که کاموف ۵۲ روسیه با فلر از موشک استرلا ۱۰ واگنر فرار می‌کنه.


پی‌نوشت: این جنگ داخلی روسیه هم فیلمیه واسه خودش! یه چیزی تو مایه‌های کودتای ترکیه یا همین 88 خودمون. کلا حکومت‌های ایدئولوژیک از این کارا توشون عادیه 😁

باید ببینیم ارباب پوتین چه خوابی برای زیر دستاش دیده!

یه وب‌سایت آمریکایی هست که کلی اطلاعات ارزشمند از پزشکا و عمل‌های جراحی و دارو و... داره به علاوه یه عالمه کامنت در مورد بیمارستان‌ها و پزشک‌ها و چیزای دیگه. این سایت لامصب رو گذاشتن پشت Cloud Flare و تقریبا نمی‌شه کراولش کرد. اگه کراولش کنیم کلی دیتای ارزشمند برای شرکتمون داره که می‌تونه کمک خیلی خوبی باشه برامون. می‌خوام بشینم با این سرویس یه تست بزنم ببینم می‌تونم کراولش کنم و داده‌ها رو بیارم اینور یا نه؟🤔 ببینیم این قدر که پز می‌دن سرویس خفنی دارن😒

گزارش می‌دم که چی شد😁

خب عزیزان باید بگم که Done! واقعا پشمام!

۵ هزارتا دکتر و چند صدتا کلینیک رو ریختم کف کولب و جی‌سون کردم!

الان می‌گم که چکار کردم

خب.
اول این که باید برید داخل سایت ثبت نام کنید تا بهتون API Key بده.
بعدش داکش رو بخونید که ببینید چطور می‌شه باهاش کار کرد. در کل ۵ تا روش داره که می‌شه باهاش کار کرد:
۱- استفاده از روش ناهمزمان(Async): به این شکله که شما بهش یک یا چند URL می‌دین و این سرویس این آدرس‌ها رو توی یک صف قرار می‌ده که بتونه به صورت ناهمزمان کراولشون کنه. مورد استفاده‌اش هم برای کراول‌های سنگین یا تعداد بالاست. این طوری شما می‌تونید همه رو بندازید توی یه صف و برید هر وقت تموم شد بیاید نتیجه رو استفاده کنید. جالبیش اینجاست که گفتن تضمین می‌کنیم که ۱۰۰٪ درخواست‌ها انجام خواهند شد. برای این که ببینید وضعیت درخواستتون چطوره(تموم شده یا نه) هم می‌تونید از داشبورد چک کنید و هم می‌تونید از API استفاده کنید یا راه بهترش استفاده از Webhook هستش. یعنی بهش یه آدرس می‌دین و می‌گین داداش وقتی تموم شد منو از طریق آدرس زیر با خبر کن.

۲- استفاده از روش همزمان: اگه با Scrapy یا request کار کرده باشید این روش مثل هموناست. به محض این که URL رو بهش بدید بهتون جواب رو برمی‌گردونه.
۳- استفاده از SDK: این سرویس برای زبان‌های مختلف برنامه‌نویسی کتابخونه یا SDK توسعه داده و شما می‌تونید خیلی راحت به جای این که از کامند استفاده کنید یا CURL بزنید برید سراغ کتابخونه‌اش.
۴- استفاده از پورت پراکسی(کامل نخوندم که چرا همچین راهی گذاشتن).
۵- جمع‌آوری داده‌های ساختارمند(Structured): اگه بخواید سایت‌های معروف مثل توئیتر، آمازون، گوگل، ‌Stackoverflow و... رو کراول کنید این عزیزان اومدن از قبل همه‌ی این کراولرها رو نوشتن و به صورت داده‌های ساختارمند در آوردن. شما فقط کافیه آدرس بدی خروجی جی‌سون بگیری! در این حد پایه!!!

بریم پیام بعدی.
آدرس توضیحات: https://www.scraperapi.com/documentation/python/

بعد از این که فهمیدم این چیه و چطور می‌شه ازش کار کشید. گفتم بیام یه تست ریزی بزنم ببینم اصلا کار می‌کنه یا سر کارمون گذاشته!
رفتم لینک صفحه‌ای که لیست دکترها توش وجود داشت رو دادم بهش و محتوای صفحه رو گرفتم و دیدم که بله کار می‌کنه برای این مورد🥹 بعدش رفتم لینک پروفایل یه پزشک رو دادم بهش و باز هم ازش خواستم که محتوای پروفایل رو بده بهم و داد!😭 خب اینجا تست ریزمون تموم شد. باید تست می‌کردم که آیا rate limiter رو هم می‌تونه دور بزنه یا نه. پس اومدم با regex از اون لیستی که ازش گرفته بودم آدرس پروفایل ۱۰۰ تا پزشک رو در آوردم و عمدا انداختم توی یک حلقه به جای این که بهش بگم برو دسته‌ای کراول کن. دیدم که بله این هم کار می‌کنه. دقت کنید اول کار نرفتم هر چی می‌خوام رو کد بزنم و تهش ببینم که کلا سرویس کار نمی‌کنه! این کارهایی که گفتم کمتر از ۲۰ دقیقه وقت گرفت و مطمئن شدم که می‌تونه نیاز من رو جواب بده. بعد که دیدم اوکیه و شدنی هستش رفتم با Scrapy یه کراولر و یه Parser برای استخراج لیست پزشک‌ها و یه کراولر و یه parser هم برای استخراج اطلاعات پروفایل دکترها نوشتم. این دوتا رو به هم چسبوندم و یه پایپ‌لاین ساختم که از یه طرف بهش اسم ایالت و دسته‌ی پزشک‌های مورد نظر رو می‌دی و اون بهت خروجی اطلاعات پزشک‌های اون ایالت رو می‌ده. من برای کالیفرنیا و دسته‌ی دندون پزشکی تست کردم و کاملا جواب بود.

هیچ اثری هم از کپچا، محدودیت درخواست، بلاک شدن و... نبود.

خوبی این سرویس اینه که کاملا با Scrapy و Request هم‌خوانی داره و اگه الان یه سری کراولر دارید که با اون‌ها توسعه دادید اصلا نگران نباشید. تنها کاری که باید بکنید اینه که یه لایه جلوی اونها اضافه کنید و اونها رو به این سرویس کانکت کنید و بعدش دیگه چیزی نیاز نیست. البته اگه درست کد زده باشید. اگه نه که برید از اول کد بزنید😒

اینو از آقام «هانس زیمر» داشته باشید. چقدر قشنگه🥹
https://youtu.be/xjJnWuA7-ps?list=RDP5JplB64m5U

#music

چرا همیشه باید یه داستانی گیری چیزی باشه!🤦🏻
اکثرا هم آدم چوب ندونم کاری‌های گذشته رو می‌خوره. خدایا این چیه خلق کردی؟!🤦🏻
تهش آفرین هم گفته به خودش!

کارآموزی در شاخه دیتاساینس
#job
#ml

🛑 Cracking the Code: A Workshop on Prompt Engineering and LanguageChain

🛑 چکیده: Prompt Engineering تکنیکی برای بهینه سازی نحوه ارائه داده ها به مدل‌های از پیش آموزش دیده است. این فرآیند تغییراتی در ساختار و قالب ورودی یا «prompt» اعمال می‌کند تا به مدل در درک بهتر سوال ارائه‌شده به آن کمک کند. از سوی دیگر، LangChain یک پلتفرم ترجمه ماشینی مبتنی بر هوش مصنوعی است که از مدل های پیشرفته AI برای ترجمه متون استفاده می‌کند و برای ساده سازی توسعه برنامه ها با استفاده از مدل های زبان بزرگ (LLM) مانند OpenAI یا Hugging Face ایجاد شده‌است.

🛑 ویدئو در این لینک قابل دسترسی می‌باشد.

🛑 این تاک توسط سرکار خانم زینب تقوی ورودی ۰۰ ارشد و محقق آزمایشگاه پردازش زبان و گفتار دانشکده ضبط شده‌است.

⏳ زمان ویدئو: یک ساعت و سی دقیقه

☕️ @cafe_ssc
📚 @ssc_talkche

خانم تقوی از بچه‌های هوش دانشگاه هستن و از بچه‌های آزمایشگاه پردازش زبان طبیعی(از دوستای جدید خودم😌) خیلی پیشنهاد می‌کنم اگه به پردازش زبان طبیعی و همچنین LLMها علاقه دارید یا حتی ندارید، این ویدئو رو تماشا کنید.
من لینک نوت‌بوک‌ رو هم براتون می‌ذارم که استفاده کنید 😎

🔻به دلیل قطع برق سالن افتتاحیه نمایشگاه الکامپ بیست وششم پس از خروج وزیر ارتباطات و دبیر شورای عالی فضای مجازی نیمه‌کاره به پایان رسید

@khabar_furei

https://news.1rj.ru/str/lifeAsAService/878


یونیکورن اول!

چطور بفهمیم که آیا تفکرات ما درست هستن؟
چطور درکی از این که چقدر حق با ماست پیدا کنیم؟
آیا می‌شه معیار یا معیارهایی برای خودمون و دیگران داشته باشیم که متوجه بشیم چقدر افکارشون درسته؟ چقدر می‌شه به حرفشون استناد کرد؟
چطور می‌شه فهمید که افکارمون منقضی شدن و باید در موردشون تجدید نظر کنیم؟

توی این اپیزود از #پادکست جافکری در مورد این مباحث صحبت شده. حتما اگه وقت کردین بهش گوش بدید. پیشنهادم به همه است.
عنوان اپیزود: جست و جوی واقعی برای حقیقت.

https://castbox.fm/vb/553735790