راهاندازی سیستم یادگیری خودکار برای دستهبندی و برچسبگذاری محتوا در وردپرس
مقدمه: چرا یادگیری ماشین برای دستهبندی محتوا در وردپرس؟
بهدنبال راهی هستید که برچسبها و دستهبندیهای مطالب وردپرستان را بهصورت خودکار و دقیق تنظیم کنید؟ یادگیری ماشین (ML) میتواند این امکان را به شما بدهد. با استفاده از مدلهای پیشآموزشدیده و fine‑tuning بر دادههای سایت خود، میتوانید بهسرعت برچسبهای متناسب و دستهبندیهای مرتبط ایجاد کنید. در این مقاله، بهصورت گام به گام بهروزرسانی و اجرای یک سیستم یادگیری خودکار خواهیم پرداخت؛ از یکپارچهسازی با REST API گرفته تا ارزیابی دقیق با معیارهای MRR و NDCG.
۱. طراحی معماری یکپارچهسازی با REST API وردپرس
۱.۱. چرا REST API؟
REST API وردپرس امکان استخراج دادههای پست، برچسب و دستهبندی را بهصورت برنامهنویسیپذیر فراهم میکند. با این امکان میتوانید بهصورت غیرمستقیم و بدون نیاز به افزونههای تملکدار، مدل یادگیری خود را فراخوانی کرده و نتایج را مستقیماً در پایگاه داده وردپرس ذخیره کنید.
۱.۲. ساختار درخواست و پاسخ
برای فراخوانی مدل ML، یک endpoint سفارشی در فایل functions.php یا افزونه اختصاصی بسازید. نمونه کد:
add_action('rest_api_init', function () {
register_rest_route('ml/v1', '/predict', [
'methods' => 'POST',
'callback' => 'ml_predict_callback',
'permission_callback' => '__return_true',
]);
});
function ml_predict_callback(WP_REST_Request $request) {
$body = $request->get_json_params();
$text = $body['content'];
// فراخوانی مدل ML (مثلاً با Python Flask یا FastAPI)
$response = wp_remote_post('https://your-ml-server/predict', [
'body' => json_encode(['text' => $text]),
'headers' => ['Content-Type' => 'application/json'],
]);
return json_decode(wp_remote_retrieve_body($response), true);
}
با این endpoint، میتوانید محتواهای جدید یا ویرایششده را به مدل ارسال کنید و برچسبها یا دستهبندیهای پیشنهادی را دریافت کنید.
۱.۳. ذخیرهسازی نتایج در وردپرس
پس از دریافت پاسخ، میتوانید برچسبها را با استفاده از functions زیر ثبت کنید:
function add_ml_tags_to_post($post_id, $tags) {
if (!empty($tags)) {
wp_set_post_terms($post_id, $tags, 'post_tag', true);
}
}
این کد، برچسبهای پیشنهادی را بهصورت افزوده (append) به برچسبهای موجود اضافه میکند.
۲. انتخاب و fine‑tuning مدلهای طبقهبندی متن
۲.۱. مدلهای پیشآموزشدیده
برای دستهبندی محتوا، مدلهای BERT، RoBERTa، یا DistilBERT بسیار مناسب هستند. نسخههای فارسی مانند ParsBERT را میتوانید استفاده کنید. برای بهترین دقت، مدل را با دادههای واقعی سایت خود fine‑tune کنید.
۲.۲. فرایند fine‑tuning
- دادههای آموزشی: ۳۰۰۰ تا ۵۰۰۰ پست با برچسبهای صحیح.
- تبدیل متن به توکن: استفاده از tokenizer مخصوص مدل.
- آموزش: مدل را روی GPU یا CPU آموزش دهید، پارامترهای learning_rate، batch_size و epochs را تنظیم کنید.
- ارزیابی: دقت (accuracy) و معیارهای MRR و NDCG را محاسبه کنید.
۲.۳. بهینهسازی مدل برای سرعت
برای کاهش زمان پیشبینی، میتوانید از تکنیکهای فشردهسازی مدل مانند pruning یا quantization استفاده کنید. همچنین، استفاده از مدلهای کوچکتر مانند DistilBERT یا TinyBERT باعث کاهش مصرف حافظه میشود.
۳. ارزیابی جامع عملکرد با معیارهای MRR و NDCG
۳.۱. چرا MRR و NDCG؟
معیارهای MRR (Mean Reciprocal Rank) و NDCG (Normalized Discounted Cumulative Gain) دقت برچسبگذاری را از زاویههای مختلف سنجیده و بهجای درصد درستبرچسب، اهمیت ترتیب برچسبها را نیز در نظر میگیرند.
۳.۲. محاسبه MRR و NDCG
۴. مدیریت دادههای آموزشی و پیشپردازش متون فارسی
برای یادگیری ماشین در وردپرس، کیفیت دادههای آموزشی نقش حیاتی دارد. در این بخش، نکات کلیدی برای جمعآوری، پاکسازی، و آمادهسازی متن فارسی را بررسی میکنیم.
۴.۱. استخراج متن از پستهای وردپرس
با استفاده از REST API یا WP-CLI، میتوانید بهصورت برنامهنویسی متنهای پست را استخراج کنید. نمونه کد PHP برای دریافت ۵۰ پست اخیر:
function get_recent_posts_text() {
$args = array(
'numberposts' => 50,
'post_status' => 'publish',
'post_type' => 'post',
);
$posts = wp_get_recent_posts( $args );
$texts = array();
foreach ( $posts as $post ) {
$texts[] = wp_strip_all_tags( $post['post_content'] );
}
return $texts;
}
۴.۲. پاکسازی و نرمالسازی متن
- حذف حروف خاص و علائم نگارشی غیر ضروری.
- تبدیل تمام حروف به حروف کوچک.
- استفاده از کتابخانههای hazm یا farsicol برای توکنسازی و حذف واژههای توقف.
۴.۳. برچسبگذاری دستی برای مجموعه اولیه
برای شروع، یک تیم کوچک میتواند ۱۰۰۰ پست را بهصورت دستی برچسبگذاری کند. این دادههای اولیه به fine‑tuning مدل کمک میکنند و خطای اولیه را کاهش میدهند.
۵. انتخاب فریمورکهای یادگیری ماشین برای توسعه در وردپرس
هرچند مدلهای پیشآموزش دیده میتوانند در سرورهای خارجی آموزش یابند، اما برای ادغام مستقیم در وردپرس، انتخاب فریمورک مناسب ضروری است.
۵.۱. TensorFlow.js برای اجرا در مرورگر
با تبدیل مدل TensorFlow به فرمت .json، میتوانید آن را مستقیماً در مرورگر اجرا کنید و نیاز به سرور خارجی را حذف کنید.
۵.۲. ONNX Runtime و PHP-ONNX
ONNX Runtime امکان اجرای مدلهای ONNX را در سرور PHP فراهم میکند. کتابخانه php-onnx بهصورت ساده میتواند مدل را بارگذاری و پیشبینی کند.
۵.۳. استفاده از REST Microservices با FastAPI
اگر سرور شما از پایتون پشتیبانی میکند، میتوانید یک سرویس میکرو با FastAPI راهاندازی کنید و از طریق wp_remote_post در وردپرس درخواست ارسال کنید.
۶. راهاندازی Pipeline اتوماسیون برای دستهبندی جدید پستها
یک pipeline کامل، از استخراج متن تا اعمال برچسب بهصورت خودکار، نیازمند گامهای دقیق است.
- Trigger: هر بار پست جدید ایجاد شد، یک webhook وردپرس فراخوانی میشود.
- Preprocessing: متن توسط یک تابع PHP یا سرویس خارجی پاکسازی میشود.
- Prediction: مدل یادگیری ماشین برچسبهای پیشنهادی را برمیگرداند.
- Approval Layer: مدیر محتوا میتواند برچسبهای پیشنهادی را تایید یا اصلاح کند.
- Apply Tags: برچسبهای نهایی به پست افزوده میشوند.
۶.۱. مثال کد برای webhook در functions.php
add_action( 'rest_api_init', function () {
register_rest_route( 'ml/v1', '/classify', array(
'methods' => 'POST',
'callback' => 'handle_ml_classify',
));
});
function handle_ml_classify( WP_REST_Request $request ) {
$post_id = $request->get_param( 'post_id' );
$content = get_post_field( 'post_content', $post_id );
// Preprocess & send to ML service...
$tags = call_ml_service( $content );
wp_set_post_terms( $post_id, $tags, 'post_tag' );
return rest_ensure_response( array( 'status' => 'ok', 'tags' => $tags ) );
}
۷. مقایسه پلتفرمهای استقرار مدل و انتخاب بهترین گزینه
| پلتفرم | مزایا | معایب |
|---|---|---|
| Google Cloud AI Platform | پشتیبانی کامل از TensorFlow و AutoML، مقیاسپذیری بالا | هزینههای بالا برای حجم زیاد، نیاز به اتصال اینترنت |
| AWS SageMaker | یکپارچهسازی با سایر سرویسهای AWS، ابزارهای آموزش و استقرار سریع | سیاست قیمتگذاری پیچیده، محدودیت در برخی زبانهای پیشپردازش |
| Microsoft Azure ML | پشتیبانی از ONNX و PyTorch، ادغام با Azure Functions | محدودیت در تعداد رایگان آزمایشی، هزینههای پردازش GPU |
| Serve locally با ONNX Runtime | بدون هزینه سرور خارجی، کنترل کامل بر دادهها | نیاز به سرور قدرتمند، زمانبر در آموزش مدل |
۸. نکات عملی برای تضمین حریم خصوصی و امنیت دادهها
بهخصوص در ایران، رعایت قوانین حریم خصوصی و محافظت از دادههای کاربران ضروری است. در این بخش، نکات عملی را بررسی میکنیم.
۸
۹. پیادهسازی سیستم یادگیری در زمان واقعی با Webhooks وردپرس
برای اینکه دستهبندی و برچسبگذاری بهصورت لحظهای روی پستهای تازه ایجادشده اعمال شود، میتوان از Webhookهای وردپرس استفاده کرد. در این بخش، یک راهنمای عملی برای تنظیم این جریان آورده شده است.
آمادهسازی سرویس Webhook
۱. در فایل functions.php یا یک افزونه سفارشی، یک endpoint ایجاد کنید:
add_action('rest_api_init', function () {
register_rest_route('ml/v1', '/classify', [
'methods' => 'POST',
'callback' => 'ml_classify_callback',
'permission_callback' => '__return_true',
]);
});
۲. در callback، متن پست را دریافت و به سرویس ML ارسال کنید.
پیادهسازی در سرویس بیرونی (مثلاً FastAPI)
یک سرویس ساده با FastAPI بنویسید که مدل را بارگذاری کرده و پیشبینی را برمیگرداند.
from fastapi import FastAPI
from pydantic import BaseModel
import joblib
app = FastAPI()
model = joblib.load('model.pkl')
class TextIn(BaseModel):
content: str
@app.post("/predict")
def predict(text: TextIn):
preds = model.predict([text.content])
return {"labels": preds.tolist()}
۳. از وردپرس، با استفاده از wp_remote_post، متن را به این endpoint ارسال کنید و برچسبها را در پاسخ دریافت کنید.
نکتهٔ متخصص: برای جلوگیری از تداخل در زمانهای بارگذاری بالا، درخواستها را در صف (queue) قرار دهید و در صورت امکان از Redis Queue یا BullMQ استفاده کنید.
۱۰. بهینهسازی مدل با تکنیکهای Active Learning
Active Learning به شما اجازه میدهد تا مدل را بر اساس نمونههای پرتوجهتر بهبود دهید. در این بخش، یک چرخه عملی برای انتخاب نمونههای برچسبگذاری دستی آورده شده است.
- مجموعهای از پستهای تازه را بدون برچسب در دیتابیس ذخیره کنید.
- سرویس ML بر روی این نمونهها پیشبینی میکند و میزان عدم قطعیت (entropy) را محاسبه میکند.
- سرویس برچسبهای پیشنهادی را به همراه مقدار عدم قطعیت برمیگرداند.
- کاربر (مدیر سایت) نمونههای با بالاترین عدم قطعیت را انتخاب و برچسبهای صحیح را وارد میکند.
- این نمونههای برچسبگذاری شده را به دیتاست آموزشی اضافه کرده و مدل را بازآموزی میکنید.
این چرخه را هر هفته یا هر بار که ۵۰ پست جدید ایجاد میشود، اجرا کنید تا مدل همواره با دادههای جدید بهروز بماند.
۱۱. یکپارچهسازی با سرویسهای ابری: AWS SageMaker و Azure ML
استفاده از پلتفرمهای ابری میتواند زمان توسعه و نگهداری مدل را کاهش دهد. در این بخش، دو روش مقایسهای برای استقرار مدل آورده شده است.
| ویژگی | AWS SageMaker | Azure Machine Learning |
|---|---|---|
| مدیریت مدل | پایگاهسنجی، نسخهبندی، تخمین | مدیریت مدل، سرورهای بدون سرور، تجزیه و تحلیل |
| یکپارچهسازی با WordPress | REST API، Lambda، API Gateway | Webhooks، Azure Functions، API Management |
| هزینه (برآورد ماهیانه) | $۵۰–$۲۰۰ برای مدل متوسط | $۴۰–$۱۸۰ برای مدل متوسط |
هر دو سرویس امکان استقرار مدل با قابلیت مقیاسپذیری خودکار را فراهم میکنند. انتخاب نهایی باید بر اساس تجربه تیم و هزینههای جاری باشد.
۱۲. مدیریت برچسبهای چندزبانه و چنددستهای در وردپرس
با توجه به زبان فارسی و نیاز به برچسبهای چنددستهای، میتوانید از افزونههای Taxonomy API و WPML برای مدیریت چندزبانه استفاده کنید. در این بخش، یک راهنمای عملی برای ایجاد برچسبهای چنددستهای آورده شده است.
ایجاد Taxonomy سفارشی
function register_farsi_taxonomy() {
register_taxonomy(
'farsi_category',
'post',
array(
'label' => 'دستهبندی فارسی',
'hierarchical' => true,
'rewrite' => array('slug' => 'farsi-category'),
)
);
}
add_action('init', 'register_farsi_taxonomy');
انتقال برچسبها از مدل به Taxonomy
زمانی که مدل برچسبهای پیشنهادی را برمیگرداند، با استفاده از wp_set_post_terms آنها را به پست متصل کنید:
wp_set_post_terms( $post_id, $labels, 'farsi_category', false );
در صورت نیاز به ترجمه، از توابع icl_translate یا pll_translate استفاده کنید.
۱۳. پایش و گزارشگیری از عملکرد سیستم در زمان واقعی
برای اطمینان از اینکه مدل در حال حاضر بهترین عملکرد را دارد، باید یک داشبورد ساده در وردپرس ایجاد کنید. در این بخش، یک مثال ساده با استفاده از Chart.js آورده شده است.
جمعآوری دادههای عملکرد
۱۰. آموزش دادهسازی و افزایشیسازی (Augmentation) برای متون فارسییکی از چالشهای اصلی در یادگیری ماشین فارسی، کمبود دادههای برچسبخورده و تنوع کافی در متون است. برای مقابله با این محدودیت، میتوان از تکنیکهای augmenting استفاده کرد که با تغییرات کوچک در متن، مجموعهی آموزشی را گسترش میدهند. در این بخش به سه روش معمول اشاره میکنیم و مثالهای کد را در قالب پایتون و کتابخانه
nltkوtransformersارائه میدهیم.
۱. جایگزینی هممعنای (Synonym Replacement)
با استفاده از فرهنگ لغت فارسی یا مدلهای embedding، کلمات کلیدی را با هممعنای خود جایگزین میکنیم.
from nltk.corpus import wordnet as wn
def replace_synonyms(text):
words = text.split()
new_words = []
for w in words:
syns = wn.synsets(w, lang='fas')
if syns:
new_words.append(syns[0].lemmas()[0].name())
else:
new_words.append(w)
return ' '.join(new_words)
۲. حذف یا تغییر ترتیب کلمات (Word Shuffle)
برای حفظ معنی، فقط کلمات غیرکلیدی را به صورت تصادفی جابهجا میکنیم.
import random
def shuffle_non_critical(text, critical_words):
words = text.split()
non_crit = [w for w in words if w not in critical_words]
random.shuffle(non_crit)
return ' '.join(non_crit)
۳. اضافه کردن نویز (Noise Injection)
با وارد کردن حروف اشتباه، خطای تایپی شبیهسازی میشود تا مدل به خطاهای واقعی در سایت حساس شود.
def add_noise(text, rate=0.05):
import random, string
words = text.split()
noisy = []
for w in words:
if random.random() < rate:
pos = random.randint(0, len(w)-1)
noisy.append(w[:pos] + random.choice(string.ascii_letters) + w[pos+1:])
else:
noisy.append(w)
return ' '.join(noisy)
این تکنیکها را میتوان در یک pipeline ترکیب کرد تا نمونههای جدیدی از هر پست تولید شود و تنوع مدل افزایش یابد.
۱۱. بهروزرسانی مدل با یادگیری مستمر (Online Learning)
مدلهای پیشآموزشدیده معمولاً در یک زمان ثابت آموزش میگیرند. در وردپرس، محتوای جدید و برچسبهای تصحیحشده توسط مدیر سایت، فرصت خوبی برای online learning فراهم میکند. در این بخش یک روش ساده با استفاده از scikit-learn و partial_fit را نشان میدهیم.
- آمادهسازی دادههای جدید: پستهای جدید یا تصحیحشده را استخراج کنید و برچسبهای نهایی را ثبت کنید.
- پیشپردازش: همان Pipeline قبلی را اجرا کنید (tokenization, stemming).
- استفاده از
partial_fitروی مدل: این تابع برای مدلهای SGDClassifier و PassiveAggressiveClassifier در دسترس است. - تست فوری: پس از بهروزرسانی، چند نمونه آزمایشی را برای اطمینان از عدم افت کیفیت اجرا کنید.
- جدول زمانبندی: هر ساعت یا هر ۵۰۰ پست جدید، یک round از بهروزرسانی انجام دهید.
این رویکرد باعث میشود مدل همواره با تغییرات محتوا هماهنگ بماند و عملکرد آن در طول زمان بهبود یابد.
۱۲. استقرار مدل در وردپرس با استفاده از Hugging Face Spaces
بهجای راهاندازی سرور مستقل، میتوانید مدل خود را در Hugging Face Spaces مستقر کنید و از طریق API در وردپرس فراخوانی کنید. این به شما امکان میدهد تا بهسریعترین شکل، مدلهای بزرگ را بدون نیاز به زیرساخت محلی اجرا کنید.
۱. ایجاد Space و بارگذاری مدل
در Hugging Face، یک Space جدید با انتخاب “Gradio” ایجاد کنید. سپس فایل app.py را مطابق مثال زیر بنویسید:
import gradio as gr
from transformers import pipeline
classifier = pipeline('text-classification', model='your-model-name')
def classify(text):
return classifier(text)[0]['label']
gr.Interface(fn=classify, inputs="text", outputs="text").launch()
۲. فراخوانی از وردپرس
در قالب افزونه یا فایل functions.php، از کتابخانه wp_remote_post برای ارسال درخواست به Space استفاده کنید.
function wpml_predict($text) {
$response = wp_remote_post('https://your-space-name.hf.space/classify', [
'body' => json_encode(['text' => $text]),
'headers' => ['Content-Type' => 'application/json']
]);
return json_decode(wp_remote_retrieve_body($response), true)['label'];
}
این روش
دیدگاه
دیدگاه ها غیر فعال است