Notes on LLM Evaluation

A practical, step-by-step guide to building an evaluation pipeline for a real-world AI application. Automate your LLM evaluation workflow. Discover how to use an 'LLM-as-a-judge' to score outputs and create a repeatable feedback loop for continuous improvement.

💡چطور از یک LLM برای ارزیابی خروجی‌های یک سیستم هوش مصنوعی استفاده کنیم؟

🔗 link: https://towardsdatascience.com/notes-on-llm-evaluation/

#LLM
#software
#agent

🆔 @lifeAsAService

📢 فرصت همکاری در شرکت سامه‌آرا

ما در شرکت سامه‌آرا به‌دنبال فردی علاقه‌مند و باانگیزه در حوزه‌ی IT و برنامه‌نویسی هستیم تا به تیم پویا و رو‌به‌رشدمان بپیوندد.

🔹 محل کار: پونک، تهران
🔹 زمینه کاری: کار با دیتابیس‌ها و بیگ دیتا
🔹 حقوق: مطابق با وزارت کار
🔹 شرایط: پذیرش کارآموز نیز امکان‌پذیر است

اگر به دنیای داده، تحلیل و برنامه‌نویسی علاقه داری و دنبال محیطی صمیمی برای رشد و یادگیری واقعی هستی،
خوشحال می‌شیم تو رو در کنار خودمون داشته باشیم 🌱

برای اطلاعات بیشتر یا معرفی رزومه، می‌تونی مستقیماً با [ @attaelahian] در ارتباط باشی.
Info@samehara.com
دوستان کسی می‌شناسید که علاقه منده و جویای کار براش بفرستید. 🙏

توی این ویدئو تفاوت Langchain و Langflow و Langsmith و Langgraph توی یک دقیقه توضیح داده شده.

بخش دیگری از مزاحمت ها که در گروه من داره رخ میده از نمایش شماره تلفن برای همگان هست پس لطفا این گزینه رو تغییر بدید مرسی.

مدل ۲۷ میلیارد پارامتری روش جدیدی برای درمان سرطان کشف کرد که توسط متخصصان هم تایید شد:

https://blog.google/technology/ai/google-gemma-ai-cancer-therapy-discovery/


مدلی که استفاده کردند:

https://huggingface.co/vandijklab/C2S-Scale-Gemma-2-27B

تپسل مدیر محصول می‌خواد.
لینک آگهی

امکان ریفر هم دارم.
@mahdiAkhi

#job
🆔 @lifeAsAService

درود و مهر

برای یک پروژه‌ی پژوهشی در زمینه‌ی «تشخیص همدلی در گفتگوهای فارسی» به کمکتون نیاز دارم.

لطفاً چند دقیقه وقت بذارید و به ۲۰ موقعیت کوتاهی که در این پرسشنامه هست، یک پاسخ «واقعی و طبیعی» بدید. (انگار که واقعاً اون جمله رو از یک دوست شنیدید و می‌خواید جوابش رو تایپ کنید).

پاسخ‌ها کاملاً ناشناس جمع‌آوری می‌شن.

هدف ما جمع‌آوری پاسخ‌های «انسانی» و «واقعی» هست، پس لطفاً رسمی یا کتابی جواب ندید.

ممنون از وقتی که می‌ذارید. 🙏

https://forms.gle/iUAfLpPmHNYz9Tfj6

✨ یک جای خالی در دیتاک، شاید دقیقا برای تو باشه!

دیتاک جاییه برای یادگیری، رشد و حل مسائل واقعی با داده‌های واقعی.اگر Laravel رو به‌خوبی بلدی، از کدنویسی تمیز و اصولی (OOP و SOLID) لذت می‌بری، و کنجکاوی نسبت به Golang داری، منتظریم تا با هم آشنا بشیم.

🔹 چی کار می‌کنی؟
– توسعه و بهبود سرویس‌های بک‌اند دیتاک با Laravel و Golang
– طراحی و ساخت سرویس‌های مقیاس‌پذیر و ماژولار با معماری Microservice
– کار با MySQL برای طراحی و بهینه‌سازی کوئری‌ها و اسکیمای داده
– استفاده از Redis برای کشینگ و افزایش کارایی
– توسعه سرویس‌های Asynchronous با NATS / RabbitMQ / Redis Pub/Sub
– همکاری نزدیک با تیم‌های داده، طراحی محصول و DevOps
– کار با کلاستر Elasticsearch با بیش از 40 میلیارد داده

🔹 چی ازت می‌خوایم؟
– تجربه‌ی عملی حداقل ۳ سال در توسعه بک‌اند
– تسلط بالا بر PHP و فریم‌ورک Laravel
– آشنایی یا تجربه‌ی عملی با Golang مزیت بزرگه
– درک عمیق از طراحی دیتابیس و بهینه‌سازی کوئری‌ها
– تجربه‌ی کار با Docker و Git
– روحیه‌ی حل مسئله و ساده‌سازی سیستم‌های پیچیده
– علاقه‌مند به یادگیری، رشد و کار در محیط تیمی و Agile

🔹 نکات اضافه اگر داشته باشی عالیه:
– تجربه‌ی کار با Kubernetes (k8s)
– آشنایی با ابزارهای مانیتورینگ و Observability مثل Prometheus، Grafana، Loki

🔹 مزایا:
✅ حقوق رقابتی متناسب با مهارت
✅ بیمه تکمیلی
✅ ساعت کاری شناور و امکان همکاری هیبریدی
✅ تیمی جوان، داده‌محور و مشتاق یادگیری
✅ امکان استفاده از امریه سربازی (در صورت داشتن شرایط)
✅ جلسات آموزشی، تیم‌بیلدینگ و رشد فردی
✅ فضای باز برای تجربه‌ی ابزارهای مدرن و یادگیری فناوری‌های جدید


اگر می‌خواهی بخشی از یک تیم داده‌محور باشی که به رشد و یادگیری اهمیت می‌دهد،
👈 رزومه‌ات رو برای ما بفرست.

📩 منتظر آشنایی با تو هستیم.

کافیه رزومه خودت رو به ایمیل زیر با ذکر عنوان شغلی ارسال کنی:
Talent@dataak.com

#job

🆔 @lifeAsAService