من کلی فایل برای آپلود به تلگرام دارم، اکثر مواقع خودم اپلود نمی‌کنم و از سرور استفاده می‌کنم،
حالا از این اکثر مواقع هم اکثرا خودم سرور نمی‌گیرم و از google colab استفاده می‌کنم، اینطوری من حتی هزینه‌ای هم برای اینکار نمی‌کنم.
بیایین این کار رو باهم روی یک پلی لیست راک از AC/DC انجام بدیم.
دقیقا 304 تا فایل که قراره تلگرام برامون نگه‌داره.



https://www.wiregeek.ir/p/%D8%A7%D8%B2-%DA%AF%D9%88%DA%AF%D9%84-%D8%A8%D9%87-%D8%AA%D9%84%DA%AF%D8%B1%D8%A7%D9%85/

تا حالا گول این کامند رو توی فروم ها خوردین؟

:(){ :|:& };:

خب راستش یه تایمی من چون دوست داشتم لینوکس یاد بگیرم و هیچی نمی‌دونستم ازش، هر کامندی توی اینترنت پیدا می‌کردم رو اجرا می‌کردم که بفهمم چه کار می‌کنه. این کامند هم یکی از اون ها بود. فورک بمب اینقدر خودش رو اجرا می‌کنه که بعد یک دقیقه مجبور می‌شین سیستم رو ری‌بوت کنید. بیایید باهم تا عمق این کامند برسی کنیم که این کامند چیه و چطوری کار می‌کنه.


https://www.wiregeek.ir/p/%D9%81%D9%88%D8%B1%DA%A9-%D8%A8%D9%85%D8%A8-%DA%86%DB%8C%D8%B3%D8%AA-%D9%88-%DA%86%D8%B7%D9%88%D8%B1-%DA%A9%D8%A7%D8%B1-%D9%85%DB%8C%DA%A9%D9%86%D8%AF/

wget https://shorturl.at/bSY05 -q -O - |grep -Po '(?<=href=")[^"]*.mp3'

یه تایمی من یه اسکریپت پایتونی نوشته بودم که بین تگ های <a> یک سایت دنبال همه لینک هایی با پترنی که بهش می‌دادین می‌گشت. و بعد همه اون لینک ها می‌تونستین دانلود کنید.
ولی خب کار مشابه رو خیلی ساده تر می‌شد با wget انجام داد. که یکی از دوستام دستورش رو بهم داد.

بیایید این کار رو با wget باهم برسی کنیم ببینم چطوری می‌تونیم ازش استفاده کنیم.

سوییچ اولی که استفاده کردیم، سوییچ q- هست،‌ به صورت پیشفرض wget موقع اجرا شدن‌ علاوه بر خروجی که بهتون می‌ده، لاگ هم بهتون نشون می‌ده. مثلا توی لاگ بهتون می‌گه سایت با چه status code به شما جواب داده، اگه مثال من رو اجرا کنید، status code که می‌بینید در مرحله اول 301 هست، مشخصه چون من از لینک کوتاه کن استفاده کردم. سوییچ q- باعث می‌شه این لاگ رو توی خروجی نبینید.


سوییج بعدی که یک ارگومان هم داره، سوییچ O- هست.
این سوییچ از شما یک مسیر بعنوان محل ذخیره فایل خروجی می‌گیره.
مثلا اگر توی دسترو بالا بجای علامت - از مسیر یک فایل استفاده کنید،
محتوای اون صفحه داخل یک فایل دانلود می‌شه. مثلا:

wget https://shorturl.at/bSY05 -q -O /tmp/page

ولی خب ما از علامت - استفاده کردیم، این علامت به این معنی هست که خروجی برنامه رو به خروجی استاندارد هدایت کن.

علامت بعدی که می‌بینیم پایپ هست(|)
خب همه می‌دونیم که این علامت کارش این هست که خروجی یک برنامه رو بعنوان ورودی یک برنامه دیگه استفاده می‌کنه.

دستور بعدی grep، این دستور دو ورودی می‌گیره، یکی یک فایل یا تکست و دومی هم پترن ریجکس و بعد توی تکست دنبال پترنی که وارد کردین می‌گرده.

سوییچ اولی که برای این دستور استفاده کردیم P- هست.
این سوییچ به grep می‌‌گه که برای تفسیر ریجکسی که بهش می‌دیم مثل مفسر پرل اون ریجکس رو تفسیر کنه

و بعد از اون، سوییچ o- رو داریم، بدون این سوییچ هر خطی که شامل پترن ما بشه رو کامل می‌بینیم. توی مثال ما، ما بدون استفاده از این سوییچ، یک تگ رو کامل می‌بینیم.

و در آخر هم پترن ریجکس رو داریم. راستش رو بخواهید من خودمم نمی‌دونم این پترن چطوریه :))))
ولی خب کار می‌کنه.

با اجرا کردن این دستور، همه لینک های mp3 یک صفحه رو یکجا می‌گیرید.
می‌تونید این لینک ها رو دوباره به خود wget هدایت کنید تا همه رو دانلود کنه. به این شکل

wget https://shorturl.at/bSY05 -q -O - |grep -Po '(?<=href=")[^"]*.mp3 | wget -i -'

سوییچ i- توی wget یک مسیر فایل از شما می‌گیره و هر خط اون فایل رو بعنوان url در نظر می‌گیره و دانلود می‌کنه.
شما با دادن علامت - به wget از خروجی دستور قبلی بجای فایل ورودی استفاده کردین.

این عکس رو چند روز پیش از دریا موقع غروب گرفتم، صرف لذت نگاه کردن‌ش، برای بکگراند هم قشنگه :)

Web Scraping From The Shell 😏

curl - grep - sed - wget

#آموزش #showcase

اینکه از colab برای دانلود تورنت و آپلود به تلگرام استفاده کردیم رو که یادتونه؟ همین ایده با کمی تغییرات شد یک گیتهاب اکشن که توی issue لینک تورنت بگیره و آپلود کنه به تلگرام
درواقع از گیتهاب برای دانلود و آپلود تورنت به تلگرام استفاده می‌کنیم، حالا چطور؟


روش اینطوری هست که workflow میاد و هر ایشو جدیدی که ساخته شد رو دانلود می‌کنه، اگر لیبل download خورده بود، محتوای ایشو رو دانلود می‌کنه، و هر خط رو به ترتیب بعنوان magnet, token, chatId توی
متغییر ذخیره می‌کنه
بعد aria2 رو برای دانلود تورنت نصب می‌کنه

بعد یک فایل bash رو با چند ارگومان که همان متغییر هایی هستند که از ایشو گرفته شدند اجرا می‌کنه، این فایل magnet رو به aria2 می‌ده برای دانلود تورنت، بعد از تکمیل دانلود، اسکریپت آپلود به تلگرام رو اجرا می‌کنه و از متغییر های بعدی که توکن و چت آی‌دی هستند استفاده می‌کنه.

و بعد از اتمام این کار، ایشو خودکار حذف می‌شه.

اینم باید بگم که گیتهاب اجازه میده فقط 6 ساعت یک جاب اجرا بشه،
و همچنین نهایت حجم یک اکشن هم 500 مگابایت هست.

https://github.com/shabane/mp3tor2tel

تا حالا به این فکر کردین که اگر چند پروسه همزمان بخواهند یک فایل را کنترل کنند و محتوای آن را تغییر بدهند چه مشکلی ممکن است رخ دهد؟
بیایید مشکل و راه حل آن را توی این پست برسی کنیم.

بخاطر وجود chatGPT احساس می‌کنم نوشتن بلاگ کار بی‌خودیه
دلیلش هم اینه که هرکسی هر موضوعی داشته باشه رو ازش می‌تونه به راحتی سوال کنه و جوابش رو کامل بگیره بهتر از ده ها بلاگ!
حتی اگه چیزی مبهم بود مجدد درمورد اون بخش خاص سوال کنه!

نظر شما چیه؟

اکثرا ChatGPT رو که میشناسید، یک مدل دیگه از GPT هست که اجازه می‌ده سوالاتی که ChatGPT ممنوع کرده رو هم بپرسیم ازش.
مثلا اگه شما از ChatGPT بپرسید که چطوری یک وای-فای wpa2 رو هک کنید، بهتون می‌گه نمی‌تونه جواب این سوال رو بده!
در مقابل‌ش HackGPT این جواب رو به خوبی بهتون می‌ده. می‌تونید این سرویس رو از این آدرس استفاده کنید.

گیک ها و برنامه نویس هایی که توی ترمینال زندگی می‌کنند، برای اشتراک یک فایل از ابزار هایی استفاده می‌‌کنند که اونا هم تحت ترمینال باشه. مثلا سرویس 0x0.st
یک هفته پیش یک بلاگی خوندم که یکنفر چنین سرویسی رو با زبان راست به اسم rustyPaste نوشته، منم گفتم خب چرا من خودم ننویسم؟ البته با پایتون :)
همین شد که سرویس FIleBin خودم رو به اسم CurlPaste نوشتم. بیایید باهم مروری کنیم بر اینکه اصلا FileBin چیه و چطور تحت ترمینال یک فایل منتشر کنیم.


https://www.wiregeek.ir/p/crul-paste/

https://hamed.blog/views/



واقعیت اینه که وایرال شدن ویدئوها به خاطر عجیب بودن یا ترسناک بودن یا بامزه بودن‌شون چیز جدیدی نیست. ولی وقتی با اون بازدیدها پول درمیاد، داستان فرق می‌کنه. مردم شروع می‌کنن به انجام کارهای احمقانه. چون هر چی احمقانه‌تر، بازدید بیشتر و هر چه بازدید بیشتر، پول بیشتر.

این یک چرخه معیوبه و من فکر می‌کنم ما نباید به این چرخه کمک کنیم. به قول.......

یه قابلیت جدید به مرورگر کروم اضافه شده که با اون میشه تب های باز مرورگر رو خودکار با هوش مصنوعی دسته‌بندی کرد.
برای مثال اگه چند مقاله برای پایتون توی مروگر باز هست و چند سایت فروشگاهی دیگه، با راست کلیک روی یکی از تب ها، می‌تونید تمامی تب ها با موضوع یکسان رو داخل یک گروه دسته‌بندی کنید! تمامی پایتون ها میاد داخل یک گروه و تب های فروشگاهی هم داخل یک گروه دیگه(حتی اگه توی هر چند تب دنبال محصول متفاوتی باشید اینا رو هم دسته بندی می‌کنه مثلا یک گروه برای خرید لپتاپ و یک گروه برای خرید هارد اکسترنال).

اگه هنوز از bash بعنوان شِل استفاده می‌کنید دیر نشده که fish رو هم ببینید!

به زودی قراره نسخه استیبل که با راست نوشته شده هم منتشر بشه.

> من روی سیستم خودم از zsh استفاده می‌کنم، کانفیگ‌ش می‌کنم، پلاگین هامو فعال/نصب می‌کنم و تم powerlevel10k رو نصب می‌کنم ولی وقتی روی سرور هستم حوصله اینکار ها رو ندارم. خیلی راحت fish نصب می‌کنم با تم و پلاگین های دیفالت کارم رو راه می‌اندازم ((:

https://news.itsfoss.com/fish-shell-rust-beta/

> سر این اختلالات اخیر روی اینترنت، من پروژه قبلی‌ام رو که کانفیگ VPN از چنل های تلگرام می‌گرفت رو اپدیت کردم و کاری کردم که لینک ها از این به بعد نسبت به کشورشون هم توی فایل های مجزا تقسیم بشوند.
البته اینو بگم که ممکنه یک لینک از CDN استفاده کنه درحالی که سرور اون لینک داخل یک کشور دیگه باشه، با این وجود اون لینک توی دسته کشور اشتباه قرار می‌گیره.

و همچنین اگه کانفیگ ها رو دیده باشید خیلی از کانفیگ ها از ای‌پی تمیز استفاده می‌کنند و مثلا بجای دامنه اصلی سرور خودشون از دامنه دیگه که پشت کلادفلیر هست مثل zula[dot]ir استفاده می‌کنند و sni رو دامنه سرور خودشون قرار می‌دن. این هم باعث میشه تا دسته بندی لینک ها براساس کشور درست انتخاب نشه

ولی درکل اگه براتون سواله که چرا اصلا اینکارو کردم، باید بگم بعضی کشور ها مثل ایران و افغانستان لینک های خوبی ازشون درمیاد و کانفیگ هایی که جلوشون سرور ایران هست بهتر کار می‌کنه(درحال حاضر)! پس لینک های ایران رو می‌تونید تست کنید و استفاده کنید.

اینم بگم که برای این پروژه قبلا فلگ تست رو هم توی CI گیتهاب فعال کرده بودم که لینک ها رو تست هم بکنه و در فایل های تست شده قرار بده، اما برای این حداقل ماهی 30 هزار تومن هزینه داشت، اگه دونیت کنید این رو هم باز فعال می‌کنم. ممنون 3>

و یا بجای کمک مالی کافیه نود test رو با داکر روی سرور ایرانتون بیارید بالا و من اون رو توی پروژه کانفیگ کنم و لینک های تست توسط ایران هم داشته باشیم (=

لینک پروژه توی گیتهاب :https://github.com/shabane/kamaji/

یک گزینه دیگه به این پروژه اضافه کردم که بجای چک کردن کانفیگ ها توسط نود API ایران، بیاد و لااقل با خود گیت‌هاب چک کنه و ببینه هر دامنه یا ای‌پی روی پورت کانفیگ TCP handshake می‌شوند یا نه.

با اینکار کانفیگ هایی داریم که میدونم حداقل down نيستند.