אתה יכול להפעיל AI גנרטיבי באופן מקומי במחשב שלך

ייתכן שכבר בדקתם מנועי AI גנרטיביים כגוןChatGPT ו-Google Bard. אבל למרות שזה פופולרי לגשת לכלים האלה בענן, אתה יכול גם להתקין אותם באופן מקומי במחשב שלך. יש כמה יתרונות אמיתיים לעשות זאת: זה יותר פרטי, כמובן, ולא תפגע באזהרה כלשהי לגבי קיבולת ה-AI או לא זמינה. כמו כן, זה פשוט די מגניב.

כדי להתחיל, תזדקק לתוכנית להפעלת ה-AI, ותזדקק למודל שפה גדול (או LLM) כדי ליצור את התגובות. LLMs אלה עומדים בבסיס מחוללי טקסט בינה מלאכותית. GPT-4 הוא האחרון שמפעיל את ChatGPT, וגוגל דחקה כעת החוצהמַזַל תְאוּמִיםבתור LLM חדש ומשופר לרוץ מאחורי Google Bard.

אם מעולם לא שמעתם את המונח LLM לפני כן, ברור שלא קראתם את המונח שלנומילון מונחים אולטימטיבי של AI. כדי להבין אותם במלואם נדרשת רמה מסוימת של ידע מדעי ומתמטי, אך במונחים בסיסיים, לימודי LLM מאומנים על כמויות אדירות של נתונים לדוגמה, והם לומדים לזהות קשרים בין מילים ומשפטים (כלומר אילו מילים בדרך כלל הולכות זו אחר זו).

במילים פשוטות ככל האפשר, LLMs הם מנועי תיקון אוטומטי מוגדשים. הם לא באמת "יודעים" שום דבר, אבל הם מזהים כיצד מילים צריכות להשתלב כדי להישמע טבעיות ולהיות הגיוניות. ברמה מספיק גבוהה, זה מתחיל להיראות כאילו אתה מדבר עם בן אדם אמיתי. יש בזה הרבה יותר מזה, אבל אתה מבין את העיקר.

כשמדובר בניהול LLMs משלך, אינך צריך להיות חברה ענקית או ארגון מחקר כדי לגשת אליהם: ישנם כמה זמינים לציבור, כולל אחד ששוחרר על ידי Meta בשםלָאמָה; אחרים פותחו על ידי חוקרים ומתנדבים. הרעיון הכללי הוא שלימודי LLM זמינים לציבור יסייעו לטפח חדשנות ולשפר את השקיפות.

למטרות מדריך זה, אנו הולכים להשתמשסטודיו LMכדי להראות לך כיצד להתקין LLM באופן מקומי. זו אחת האפשרויות הטובות ביותר עבור העבודה (אם כי יש לא מעט אחרות). זה בחינם לשימוש, ואתה יכול להגדיר אותו במערכות Windows, macOS ו-Linux.

כיצד להתקין LLM מקומי

הצעד הראשון הוא להוריד את LM Studio מהאתר הרשמי, תוך שימת לב לדרישות המערכת המינימליות: פעולת LLM היא די תובענית, אז אתה צריך מחשב חזק למדי כדי לעשות זאת. מחשבי Windows או Linux התומכים ב-AVX2 (בדרך כלל במכונות חדשות יותר) ומחשבי Apple Silicon Mac עם macOS 13.6 ומעלה יעבדו, ומומלץ לפחות 16GB של זיכרון RAM. במחשבים אישיים, מומלץ גם 6GB של VRAM לפחות.

כאשר התוכנה פועלת, אתה צריך למצוא LLM להורדה ולהשתמש בה - אתה לא תוכל לעשות הרבה בלי אחד. חלק מהמשיכה של LM Studio הוא שהוא ממליץ על LLMs "חדשים וראויים לציון" במסך הקדמי של האפליקציה, כך שאם אין לך מושג איזה LLM אתה רוצה, אתה יכול לבחור אחד מכאן.

תגלו ש-LLM משתנים לפי גודל, לפי מורכבות, לפי מקורות נתונים, לפי מטרה ולפי מהירות: אין תשובה נכונה או לא נכונה באיזה מהם להשתמש, אבל יש הרבה מידע באתרים כגוןRedditופנים מחבקותאם אתה רוצה לעשות קצת מחקר. כפי שניתן לצפות, LLMs יכולים לפעול בגודל של מספר גיגה-בייט, כך שתוכל לבצע קריאת רקע בזמן שאתה מחכה להורדה.

אם אתה רואה LLM שאתה אוהב במסך הקדמי, פשוט לחץ על הורד. אחרת, תוכל להריץ חיפוש או להדביק כתובת URL בתיבה שלמעלה. תוכל לראות את הגודל של כל LLM כך שתוכל להעריך את זמני ההורדה, כמו גם את התאריך שבו הוא עודכן לאחרונה. אפשר גם לסנן את התוצאות כדי לראות את הדגמים שהורידו הכי הרבה.

אתה יכול להתקין כמה LLMs שתרצה (כל עוד יש לך מקום), אבל אם יש לפחות אחד במערכת שלך, הם יופיעו בחלונית המודלים שלי. (לחץ על סמל התיקיה משמאל כדי להגיע אליו.) מכאן תוכל לראות מידע על כל דגם שהתקנת, לבדוק אם קיימים עדכונים ולהסיר דגמים.

כדי להתחיל לבצע הנחיות, פתח את חלונית AI Chat באמצעות סמל בועת הדיבור בצד שמאל. בחר את הדגם שבו ברצונך להשתמש בחלק העליון, ולאחר מכן הקלד את ההנחיה שלך בתיבת הודעת המשתמש בתחתית ולחץ על Enter. סוג הפלט שתקבל בחזרה יהיה מוכר אם השתמשת בעבר ב-LLM כגון ChatGPT.

בצד ימין, אתה יכול לשלוט בהגדרות שונות הקשורות ל-LLM, כולל אופן הטיפול בתגובות ארוכות יותר וכמה מעבודת העיבוד מוריד ל-GPU של המערכת שלך. יש גם תיבה ל"הנחיה מוקדמת:" אתה יכול להגיד ל-LLM להגיב תמיד בטון או בסגנון שפה מסוים, למשל.

לחץ עלצ'אט חדשלחצן בצד שמאל אם ברצונך להתחיל שיחה חדשה, והצ'אטים הקודמים שלך נרשמים מתחת למקרה שתצטרך לחזור אליהם. בכל פעם שתשובה מסוימת הסתיימה ליצור, ניתנות לך אפשרויות לצלם צילום מסך, להעתיק את הטקסט או ליצור מחדש תשובה אחרת מאותה הנחיה.

זהו! אתה פעיל עם מוסדות LLM מקומיים. יש כל מיני אפיקים שאתה יכול לחקור במונחים של פיתוח LLM והנחיה אם אתה רוצה לחפור עמוק יותר, אבל היסודות לא קשים לתפיסה, ו-LM Studio הופך את תהליך ההתקנה לפשוט מאוד גם אם אתה מתחיל לגמרי .