تولید محتوا در سئو: آشنایی با مراحل و نکات لازم

تولید محتوا یکی از مهم ترین بخش های سئوی داخلی به شمار می آید. تنها با نوشتن مطالب نمی توانید رتبه ی وب سایت خود را افزایش دهید. تولید محتوا در سئو تنها به معنای ارائه ی بهترین مطلب نیست. بلکه شما باید مطالبی را ارائه دهید که بتواند نسبت به بقیه ی رقبا بهتر باشد. یکی از ویژگی های دنیای اینترنت این است که حتی اگر کسب و کاری کوچکی داشته باشید و یا تازه وب سایت خود را راه اندازی کرده باشید، باز هم می توانید به وسیله ی تولید محتوایی آموزنده و منحصر به فرد، با کسب و کار ها و وب سایت های بزرگ و معروف رقابت کنید. اگر می خواهید در این عرصه موفق باشید تنها نوشتن مطلب در صفحات کافی نخواهد بود. برای موفقیت باید برخی نکات را در نظر بگیرید:

خواسته ی کاربران چیست؟

برای تولید محتوا در قدم اول باید از خواسته ها و نیاز کاربران آگاه باشید. کاربران نیاز ها و خواسته های متعددی دارند و با توجه به آن به جستجو می پردازند. هر کسب و کار یا وب سایتی به دنبال جذب کاربران مخصوص به خود است. زمانی که بتوانید نیاز کاربران خود را بشناسید خواهید فهمید که آن ها به دنبال چه مطالبی هستند. در نتیجه می توانید این مطالب را برای آن ها فراهم کنید و آن ها را به سوی خود جذب کنید. این خواسته ها به چندین دسته تقسیم می شوند:

کسب اطلاعات:

بسیاری از کاربران سوالاتی در ذهن دارند و به دنبال جوابی برای آن ها هستند. به عنوان مثال فردی ممکن است بخواهد تاریخ امروز را بداند و یا در مورد چگونگی ساخت یک ماشین اطلاعاتی به دست بیاورد. فراهم کردن اطلاعاتی که کاربران به دنبال آن هستند، به دلیل گستردگی اطلاعات دشوار است. به همین دلیل گوگل از knowledge graph برای این کار استفاده می کند و اطلاعات مختصری را در مورد کلماتی که مخاطبان جستجو می کنند، ارائه می دهد. برای اینکه بتوان به سوالاتی که مخاطبان دارند پاسخ داد، باید بتوان اطلاعات معتبر و مفیدی برای آن ها فراهم کرد. به عنوان مثال می توانید وب سایت ویکیپدیا را در نظر بگیرید. این وب سایت تقریبا برای نصفی از جستجو هایی که کاربران انجام می دهند، در صفحه نتایج جستجو نشان داده می شود. با وجود ایراداتی که دارد، توانسته اطلاعات قابل قبولی برای بسیاری از سوالات کاربران فراهم کند.

انتقال به سایت های دیگر:

برخی از کاربران ممکن است اسم وب سایت های مورد نظر خود را در موتور های جستجو سرچ کنند. به عنوان مثال زمانی که یک کاربر کلمه ی اینستاگرام را در گوگل سرچ می کند، مسلما می خواهد وارد این سایت شود. هدف این گونه جستجو ها بسیار واضح است. یک کاربر به دنبال یک وب سایت است و نام آن را جستجو می کند. شاید نتوان این گونه جستجو ها را مورد هدف قرار داد، مگر اینکه برند یا وب سایت شما همان چیزی باشد که کاربران به دنبال آن هستند. البته در برخی واقع ممکن است کاربری که کلمه ی Instagram را جستجو می کند، قصد وارد شدن به این سایت را نداشته باشید و تنها بخواهد اطلاعاتی در مورد این کمپانی به دست بیاورد. اما به هر حال می توانید مطمئن شوید که افراد با جستجوی نام وب سایت یا برند شما به راحتی می توانند به آن دسترسی داشته باشند.

خرید:

بسیاری از کاربران در سطح اینترنت به دنبال خرید محصولات یا خدمات مورد نظر خود هستند. بنابراین از طریق موتور های جستجو سعی دارند تا بهترین محل را برای خرید خود بیابند. برخی  از کاربران ممکن است اسم برند یک محصول خاص را جستجو کنند مانند آیفون x و یا ممکن است به طور کلی قصد خرید وسیله ای را داشته باشند مانند گوشی های همراه. کاربران در این جستجو ها کلماتی مانند خرید یا فروش را جستجو می کنند. با جستجوی این عبارات می توان فهمید که این گونه کاربران قصد خرید دارند. جستجوی های محلی هم در این دسته از خواسته ها قرار می گیرند. برخی از کاربران به دنبال یافتن محلی برای خرید هستند. این محل می تواند یک کتاب فروشی و یا یک رستوران باشد. چنین کاربرانی نیز به دنبال خدمات و محصولات مورد نیاز خود هستند.

کلمات کلیدی:

یکی از مراحل اولیه در تولید محتوا، انتخاب کلمات کلیدی است. پس از آشنایی با خواسته ی کاربران، در قدم بعدی برای محتوای خود کلمات کلیدی مناسبی پیدا کنید. اگر کلمات کلیدی مناسبی برای سایت خود نداشته باشید، کاربران نمی توانند وب سایت شما را پیدا کنند. بنابراین بهینه سازی محتوا با کلمات کلیدی از اهمیت بالایی برخوردار است.

بهتر است در ابتدا کلمات کلیدی را پیدا کنید و بعد طبق آن مطالبی بنویسید. اما با این حال اگر ابتدا مطالبی را برای وب سایت خود در نظر گرفته اید که از لحاظ شما برای وب سایتتان ضروری است، می توانید پس از تهیه ی محتوا کلمات کلیدی مناسبی برای آن در نظر بگیرید. در بخش قبلی با خواسته های کاربران آشنا شدید. این کار در انتخاب کلمات کلیدی مناسب به شما کمک می کند. کاربران شما با توجه به نوع فعالیتتان متفاوت خواهند بود و در نتیجه نوع خواسته های آن ها با هم فرق خواهد داشت. کاربران کلمات متفاوتی را بر حسب نیازشان جستجو می کنند. زمانی که از کلماتی که بین آن ها رواج دارد، آگاه باشید، می توانید کلمات مناسبی انتخاب کنید و احتمال موفقیت خود را بالا ببرید.

میزان سرچ کلمات کلیدی یکی از مراحل مهم در یافتن کلمات کلیدی مناسب است. پس از اینکه کلمات خود را انتخاب کردید، باید از میزان جستجوی آن ها با خبر شوید و سطح رقابت در آن ها را بررسی کنید. این گونه می توانید کلماتی را انتخاب کنید که با وضعیت فعلی وب سایت شما هم خوانی دارد و می تواند باعث افزایش ترافیک و در نهایت باعث افزایش رتبه ی شما شود.

تولید محتوای منحصر به فرد:

داشتن محتوای منحصر به فرد و جدید در سئو اهمیت زیادی دارد. پرداختن به موضوعاتی که دیگر وب سایت ها به آن نپرداخته اند، در رتبه بندی وب سایت ها تاثیر به سزایی دارد و تجربه ی کاربری را ارتقا می دهد. زیرا بسیاری از وب سایت ها به موضوعاتی می پردازند که قبلا توسط بیشتر وب سایت ها مورد بررسی قرار گرفته است. تولید محتوای منحصر به فرد، می تواند مخاطبان بیشتری را جذب کند. کاربران از مطالب جدید که بتواند اطلاعات آن ها را افزایش دهد، استقبال خواهند کرد.

تولید محتوای معتبر

تولید محتوای معتبر تجربه کاربری را ارتقا می دهد. محتوایی که جزییات بیشتری داشته باشد و بتواند نیاز کاربران را رفع کند، از دید آنها معتبرتر خواهد بود. به علاوه محتوایی که منبع درستی ندارد و صرفا نظر شخصی یک فرد باشد، از نظر مخاطبان قابل اعتماد نیست. معتبر بودن یک محتوا به دقت بالا و صحت آن بستگی دارد. برخی از وب سایت ها اطلاعات غلطی در اختیار مخاطبان می گذارند و نسبت به اصلاح آن اقدامی نمی کنند. به همین دلیل بسیاری از کاربران به اطلاعاتی که در سطح اینترنت وجود دارد نمی توانند تا حدود زیادی اعتماد کنند. برخی از کاربران ممکن است مطالب وب سایت های مختلف را با هم مقایسه کنند و متوجه شوند که هر کدام از وب سایت ها در مورد موضوعی واحد حرفای متناقضی می زنند. این باعث سردرگمی آن ها می شود. زیرا کاربر نمی تواند تشخیص دهد که کدام یک از مطالب صحیح است. اما با فراهم کردن منابع معتبر می توانید آن ها را از صحت اطلاعات خود مطمئن سازید.

خوانا بودن مطالب:

تولید محتوا باید با هدف ارائه به مخاطبان و رضایت آن ها صورت بگیرد. اگر برای مخاطبان خود مقالاتی فراهم می کنید، باید از خوانا بودن آن مطمئن شوید. زمانی که مطالب شما خوانا و روان باشد، کاربران به خواندن مطالب ادامه می دهند و زمانی بیشتری در وب سایت شما سپری می کنند. هرچه کاربران زمان بیشتری در وب سایت شما سپری کنند، به نفع شما خواهد بود. زیرا گوگل به وب سایت هایی که کاربران در آن زمان بیشتری را سپری می کنند، امتیاز بیشتری می دهد و این مسئله در آخر باعث می شود تا بتوانند رتبه ی بهتری دریافت کنند.

زبان مطالب وب سایت ها، باید ساده و قابل فهم باشد. مطالبی که زبانی ثقیل و غیر قابل فهم دارند کاربران را فراری می دهد. بهترین مقاله، مقاله ای است که از سه بخش تشکیل شده باشد. در قسمت اول معرفی، قسمت دوم متن اصلی و در آخر نتیجه گیری قرار داشته باشد. وجود این سه بخش در یک مقاله به فهم موضوع توسط مخاطبان کمک بسیاری می کند.

داشتن متنی ساده با پاراگراف های بلند برای کاربران خسته کننده خواهد بود. بنابراین با رعایت برخی نکات در متن، می توانید کاربران را به خواندن مطالب و سپری کردن وقت بیشتری در وب سایت خود ترغیب کنید.

نکاتی در رابطه با خوانا بودن مطالب:

• تمام متن باید بیش از ۳۰۰ کلمه باشد. مقالات کمتر از ۳۰۰ کلمه ارزش انتشار کردن را ندارند. داشتن مقالات طولانی و جامع احتمال کسب رتبه را بالا می برد.
• متن سایت باید از پاراگراف های کوتاه و جملات کوتاه تشکیل شده باشد. هر جمله می تواند تا سقف ۲۰ کلمه داشته باشد. البته داشتن جملاتی با بیش از ۲۰ کلمه به معنای خراب شدن سئوی سایت شما نیست. اما جملات کوتاه، خواندن را برای کاربران آسان می کند و تجربه ی کاربری را ارتقا می دهد.
• بهتر است پاراگراف های یک مقاله بیش از ۳۰۰ کلمه نداشته باشد. پاراگراف های طولانی کاربران را خسته می کند و جامعیت موضوع را از بین می برد. برای راحتی در خواندن، در بین پاراگراف ها فاصله ایجاد کنید و اگر موضوع پاراگراف تا حد زیادی تغییر کرد، از تیتر جدید استفاده کنید.
• می توانید از bullet point برای جداسازی برخی نکات مهم استفاده کنید و البته خواندن آن را برای کاربران آسان کنید. bullet point ها می توانند به شکل دایره، عدد یا حروف باشند. از آن ها برای ذکر نکات و موارد خاص استفاده می شود.
• سایز فونت و رنگ متن شما باید به نحوی باشد که برای کاربران خوانا باشد و چشمان آن ها را اذیت نکند. از فونت های بسیار ریز با رنگ های زننده استفاده نکنید. برخی قسمت های متن را می توانید به منظور تاکید بلد یا ایتالیک کنید.
• در برخی قسمت ها در صورتی که نیاز است از ویدیو، عکس یا ویجت استفاده کنید تا هم وب سایت شما را زیبا کند و هم به فهم بهتر کاربران کمک کند.

تولید محتوا برای فروشگاه های اینترنتی

تولید محتوا برای فروشگاه های اینترنتی می تواند کمی متفاوت باشد. زیرا این گونه وب سایت ها به کاربران خدمات و محصولات ارائه می دهند. بنابراین صفحات آن ها به شکل متفاوتی خواهد. تولید محتوا در فروشگاه های اینترنتی به معنای در نظر گرفتن توضیحات محصول، مشخصات فنی هر محصول و یا نحوه ی استفاده از هر محصول، چگونگی ارسال محصول در صورت خرید مشتریان و غیره است.

• در صفحه ی محصولات، عنوان هر محصول باید به درستی بتواند آن را معرفی کند.
• همان طور که در قسمت بالا گفتیم برای تولید محتوا در وب سایت ها باید مطالبی با بیش از ۳۰۰ کلمه نوشت. اما شاید این مطلب در رابطه با صفحات فروشگاه اینترنتی کاملا درست نباشد. زیرا این صفحات محصولات نمی تواند مطالب بسیار طولانی داشته باشد. مطالب باید به اندازه ای باشد که بتواند محصول را معرفی کند و باعث خستگی کاربران نشود.
• علاوه بر تولید محتوا برای محصولات، در فروشگاه های اینترنتی می توان مقالاتی در رابطه با فعالیت فروشگاه فراهم کرد. این مقالات به فروشگاه کمک می کند تا بتواند مشتریان بیشتری به دست بیاورد. کاربران معمولا زمان بیشتری را برای خواندن مقاله می گذارند تا خرید یک محصول. به همین دلیل با فراهم کردن مقالات می توانید کاربران علاقه مند را با نوع فعالیت خود آشنا کنید و آن ها را به خرید از فروشگاه خود تشویق کنید.
• دسته بندی درست از محصولات، نمایش ویژگی های محصولات و مشخصات فنی آن ها می تواند از جمله بخش های مهم در تولید محتوا برای یک فروشگاه اینترنتی باشد.

از تولید چه محتوایی بپرهیزیم؟

همان طور که به روش های صحیح در تولید محتوا پرداختیم، در اینجا قصد داریم در مورد روش های غلط  آن که می تواند تاثیر منفی در سئو داشته باشد، صحبت کنیم.

محتوای ضعیف (Thin content): به محتوایی که برای کاربران مفید نباشد و نتواند نیاز آن ها را برآورده کند، محتوای ضعیف یا thin content می گویند. تولید محتوای ضعیف، می تواند باعث جریمه شدن وب سایت ها شود. گوگل این گونه فعالیت ها را جریمه می کند. از زمان به وجود آمدن الگوریتم panda گوگل در تشخیص محتوای ضعیف از محتوایی با کیفیت پیشرفت بسیاری کرده است. محتوای ضعیف به شکل های مختلفی وجود دارد:

متن های بسیار کوتاه:

برخی از وب سایت ها تنها چند سطری در هر صفحه قرار می دهند با هدف اینکه رتبه ی خود را افزایش دهند. البته برخی وب سایت ها مانند فروشگاه های اینترنتی به ناچار مطالب کمی خواهند داشت. همان طور که گفتیم صفحه ی محصولات نمی تواند توضیحات زیادی داشته باشد. در بسیاری موارد ممکن است یک مقاله ی کوتاه رتبه ی خوبی بیاورد. اما همیشه این چنین نیست. بررسی ها نشان می دهد که مقاله های بلند و مفید احتمال دریافت رتبه ی بالاتری را دارند. گوگل بر این باور است که مقالات طولانی بهتر می توانند سوالات کاربران را پاسخ دهند، به همین دلیل رتبه ی بهتری به آن ها می دهد.

استفاده ی بیش از حد از کلمات کلیدی(Keyword stuffing):

در گذشته وب سایت ها برای کسب رتبه، کلمات کلیدی مورد نظر خود را در طول متن دائما تکرار می کردند. در گذشته این روش برای کسب رتبه موثر واقع می شد زیرا موتور های جستجو به اندازه ی الان هوشمند نبودند. اما امروزه مطالبی که کلمات کلیدی بیش از اندازه در آن تکرار شده باشد، از جمله مطالب ضعیف به شمار می آید و توسط موتور های جستجو جریمه می شوند.

محتوای تکراری (duplicate content):

صفحات مشابه وب سایت ها محتوای تکراری محسوب می شود. محتوای تکراری می تواند بر سئوی شما اثر منفی داشته باشد. برخی از وب سایت ها ممکن است یک مطلب را در صفحات مختلف سایت خود بیاورند و یا ممکن است چندین وب سایت داشته باشند و مقالات مشابهی را در تمامی وب سایت های خود منتشر کنند. به این نوع محتوا duplicate یا همان محتوای تکراری می گویند. بنابراین برخی از   duplicate content  در درون یک سایت ایجاد می شوند و برخی دیگر خارج از سایت. برخی از محتواها کاملا باهم یکسان نیستند اما تشابه بسیاری زیادی با یکدیگر دارند. این نوع محتوا near duplicate گفته می شود.

گوگل وب سایت هایی که به تولید این گونه محتوا دست می زنند را جریمه نمی کند، اما صفحات تکراری را در صفحه ی نتایج جستجو نمایش نمی دهد. زمانی که گوگل با duplicate content  مواجه می شود، نمی داند که کدام یک از صفحات را به عنوان صفحه ی اصلی نمایش دهد. بنابراین به انتخاب خود یکی از صفحات را صفحه ی اصلی در نظر می گیرد و آن را نمایش می دهد. با توجه به این مسئله،   duplicate content با وجود اینکه باعث جریمه شدن وب سایت ها نمی شود اما با این حال می تواند بر سئوی آن ها تاثیر منفی بگذارد.

علاوه بر محتوای تکراری محتوایی که بدون ذکر منبع، عینا از سایر سایت ها برداشته شده باشد و یا با کمی تغییرات اصلاح شده باشد را scarped content می گویند. اگر از سایت های دیگر مطالب خود را بر می دارید یا آن ها را ترجمه می کنید، بهتر است منبع آن ها را نیز قید کنید. با این کار به گوگل نشان می دهید که محتوای شما از وب سایت های دیگر گرفته شده است.

auto generated content:

به محتوایی که توسط برنامه ها و نرم افزار ها ایجاد می شود،auto generated content می گویند. این گونه محتوا توسط ربات ها و تنها با هدف کسب رتبه تولید می شوند. این گونه محتوا نگارش ضعیفی دارد و خواندن آن برای کاربران دشوار است. به عنوان مثال برخی از وب سایت ها ممکن است مطالب وب سایت های خارجی را با استفاده از برخی نرم افزار ها ترجمه کنند. این ابزارها اغلب نمی توانند به درستی مطالب را ترجمه کنند. ترجمه های آن ها اغلب اشتباه است و هیچ مفهومی ندارد. به ویژه زمانی که هیچ اصلاحاتی در آن صورت نگرفته باشد. به همین دلیل موتور های جستجو این گونه مطالب را auto generated content  می دانند و از آنجایی که اطلاعات مفیدی برای کاربران فراهم نمی کنند، رتبه ی خوبی به آن ها تعلق نمی گیرد.

استفاده از تگ ها برای پنهان سازی یا نمایش محتوا

زمانی که وب سایت ها به تولید محتوا می پردازند، ممکن است به اشتباه چندین صفحه کپی از یک صفحه ی واحد ایجاد کنند و یا تمایل داشته باشند تا برخی صفحات را به دلایلی از دید موتور های جستجو پنهان کنند. به علاوه در هر وب سایت برخی صفحات از اهمیت ویژه ای برخوردار است و وب مستران در تلاش اند تا این صفحات را هر چه بیشتر در معرض نمایش بگذارند. به همین خاطر دستورات بسیاری وجود دارد که با استفاده از آن ها می توانید به موتور های جستجو نشان دهید که کدام صفحات، فایل ها و یا لینک ها را نمایش دهند و کدام یک از آن ها را نادیده بگیرند. در اینجا به بررسی پر کاربرد ترین دستورات می پردازیم.

تگ کانولیکالیزیشن (canonicalization)

همان طور که پیش از این گفتیم، محتوای تکرای از جمله محتوا ضعیف است و می تواند مشکلاتی را برای سئوی وب سایت شما به وجود بیاورد. اگر در سایت خود چندین صفحه با محتوای یکسان دارید، با استفاده از تگ کانولیکال، می توانید به موتور های جستجو اعلام کنید که کدام صفحه را صفحه ی اصلی و کدام را به عنوان کپی در نظر بگیرند. این تگ یکی از تگ های HTML است و در هد هر صفحه قرار می گیرد. محتوای تکراری باعث جریمه شدن وب سایت ها نمی شود اما می تواند بر سئوی سایت ها اثر منفی بگذارد. زمانی که گوگل با صفحات تکراری رو به رو شود در رتبه دهی به آن دچار مشکل می شود. کاربران صفحات تکراری را تشخیص می دهند اما موتور های جستجو هر url را مربوط به یک صفحه ی جداگانه می بینند. اگر یک صفحه را به عنوان صفحه ی اصلی خود مشخص نکنید، موتور های جستجو به اشتباه ممکن است یکی از این صفحات را به عنوان صفحه ی اصلی انتخاب کنند و به آن رتبه ی بیشتری بدهند.

ممکن است شما چندین سایت داشته باشید و یک مقاله را در تمامی آن ها منتشر می کنید. در این صورت شما می توانید یکی از سایت ها را به عنوان سایت اصلی خود در نظر بگیرید. با این کار ممکن است رتبه ی سایت اصلی شما بالا برود، در صورتی که سایت های دیگر را از رتبه گرفتن محروم می کنید. بنابراین به هنگام استفاده از این تگ باید تمام جوانب را در نظر بگیرید.

برخی تصور می کنند از این تگ تنها می توان در رابطه با صفحاتی که کاملا یکسان است استفاده کرد. اما همان طور که گفتیم برخی صفحات وب سایت ها محتوای مشابهی دارند که می توان برای آن ها هم از این تگ استفاده کرد. برخی از فروشگاه های اینترنتی صفحاتی برای محصولات خود دارند که تنها تفاوتشان، قیمت محصولات یا ویژگی آن ها است. البته با روش های مختلفی می توان برای صفحات محصولات با محتوای تکراری رتبه به دست آورد. البته این موضوع تنها در مورد فروشگاه های اینترنتی صدق می کند.

Index/noindex:

زمانی که موتور های جستجو با سایت شما برخورد می کند به طور پیش فرض تمامی صفحات آن را ذخیره می کند و در صفحه ی نتایج جستجو نمایش می دهند. اما با استفاده از این تگ به موتور های جستجو اطلاع می دهید که چه صفحاتی را برای نمایش دادن در صفحات جستجو ذخیره کنند و چه صفحاتی را ذخیره نکنند. بنابراین اگر می خواهید برخی از صفحات شما ذخیره نشوند، حتما از تگ noindex استفاده کنید، در غیر این صورت موتور های جستجو آن را ذخیره می کنند و به هنگام جستجوی کاربران آن ها را نمایش می دهند.

به عنوان مثال اگر صفحاتی دارید که تنها می خواهید برای کاربران قابل دسترس باشند اما از دید موتور های جستجو پنهان بمانند، می توانید از این تگ استفاده کنید. برای برخی صفحات مانند بخش فروم سایت ها می توانید از این تگ استفاده کنید.

Follow/nofollow:

با استفاده از این تگ ها برای لینک صفحات مختلف، به موتور های جستجو نشان می دهید که کدام صفحات را دنبال کنند و کدام صفحات را نادیده بگیرند. زمانی که یک لینک، تگ نوفالو داشته باشد، نمی تواند اعتبار خود را به صفحه ی مقصد انتقال دهد اما باز هم توسط موتور های جستجو دنبال می شود. برای مطالعه ی بیشتر در این زمینه می توانید به مقاله ی بک لینک ها مراجعه کنید و در مورد انواع تگ ها اطلاعات بیشتری کسب کنید.

Noarchive:

همان طور که گفتیم، موتور های جستجو به صورت پیش فرض تمامی صفحاتی را که از وب سایت ها ذخیره کرده اند، در صفحه نتایج جستجو نمایش می دهند. با استفاده از این تگ می توانید به موتور های جستجو نشان دهید که برخی از صفحاتی را که دیگر برای شما کارای ندارد در صفحه ی نتایج جستجو نمایش ندهند. به عنوان مثال اگر یک فروشگاه اینترنتی دارید و نمی خواهید مشتریان قیمت های قدیمی محصولات را مشاهده کنند، می توانید از این تگ برای این گونه صفحات استفاده کنید.

فایل robots txt

بسیاری از وب سایت ها دارای فایل robots txt هستند. وب سایت ها با استفاده از این فایل، به موتور های جستجو اعلام می کنند که چه صفحات و یا فولدر هایی را دنبال کنند و چه صفحات و فایل هایی را نادیده بگیرند. با این کار بخش های مهم یک وب سایت درمعرض دیده شدن قرار می گیرد و از بخش هایی که نمایش آن برای وب سایت سودی ندارد، صرف نظر می شود.

موتور های جستجو زمانی که وارد یک سایت می شوند ابتدا به دنبال فایل robots txt می گردند. اگر این فایل را پیدا نکنند به جستجو در سایت شما ادامه می دهند. اما اگر این فایل را پیدا کنند، ابتدا به جستجوی آن می پردازند. شما با این فایل در واقع به موتور های جستجو دستوراتی می دهید که باید طبق آن عمل کند. وب مستر ها در این فایل مشخص می کنند که موتور های جستجو چه صفحاتی را بررسی کنند وچه صفحاتی را نادیده بگیرند. فرمت اصلی این فایل یکسان است اما دستورات آن با توجه به نیاز شما می تواند متفاوت باشد:

User-agent: [اسم ربات موتورهای جستجو] Disallow: [آدرس صفحه]

User agent در واقع همان ربات مورد نظر شما است که می خواهید صفحات شما را نبیند. بنابراین نام ربات مورد نظر خود را پس کلمه ی user agent قرار می دهید. Disallow هم از جمله دستوراتی است که می توانید به ربات ها بدهید. دستوراتی که به ربات ها می دهید، انواع مختلفی دارد مانند:

disallows, allows, crawl-delays

اگر می خواهید کل سایت خود را از دید ربات ها پنهان کنید، می توانید با گذاشتن اسلش بعد از کلمه ی  disallow این کار را انجام دهید:

User-agent: * Disallow: /

با این فرمت، به موتور های جستجو اجازه ی دسترسی به تمامی صفحات خود را می دهید:

User-agent: * Disallow:

اگر تنها یک موتور جستجو را در نظر دارید و می خواهید تنها یک فایل یا یک صفحه از دید آن پنهان بماند، از فرمت زیر استفاده می کنید:

User-agent: اسم ربات مورد نظر Disallow: /اسم سایت-اسم فولدر/

نکاتی در رابطه با فایل robots txt

• با استفاده از این فایل، در صورت داشتن صفحات تکراری، می توانید آن ها از دیده شدن پنهان کنید. علاوه بر صفحات تکراری با استفاده از این فایل می توان برخی از صفحاتی چون صفحه ی log in و یا صفحه ی مدیریت را از دید موتور های جستجو پنهان کرد.
• همه ی این کاربران امکان دسترسی به این فایل را دارند. بنابراین بهتر است این گونه صفحات را noindex کنید زیرا url این صفحات برای همه قابل مشاهده است و ممکن است برخی افراد از قابل دسترس بودن url آن ها سوء استفاده کنند.
• در این فایل امکان پنهان کردن عکس و ویدیو نیز وجود دارد.
• در این فایل می توانید محل سایت مپ خود را نیز مشخص کنید.

در آخر باید گفت اگر مطمئن نیستید که وب سایت شما فایل robot txt دارد، با اضافه کردن robots txt file به آخر url وب سایت خود می توانید از وجود آن با خبر شوید.

تولید محتوا از جمله مسائل اولیه و ضروری در هر وب سایتی است. با تولید محتوایی منحصر به فرد و رعایت نکات آن می توانید مخاطبان خاص خود را داشته باشید و کسب و کار خود را رونق ببخشید.