வரையறை:
பெரிய தரவு என்பது பாரம்பரிய தரவு செயலாக்க முறைகளைப் பயன்படுத்தி திறமையாக செயலாக்கவோ, சேமிக்கவோ அல்லது பகுப்பாய்வு செய்யவோ முடியாத மிகப் பெரிய மற்றும் சிக்கலான தரவுத் தொகுப்புகளைக் குறிக்கிறது. இந்தத் தரவு அதன் அளவு, வேகம் மற்றும் பன்முகத்தன்மையால் வகைப்படுத்தப்படுகிறது, மதிப்பு மற்றும் அர்த்தமுள்ள நுண்ணறிவுகளைப் பிரித்தெடுக்க மேம்பட்ட தொழில்நுட்பங்கள் மற்றும் பகுப்பாய்வு முறைகள் தேவைப்படுகின்றன.
முக்கிய கருத்து:
பெரிய அளவிலான மூலத் தரவை பயனுள்ள தகவல்களாக மாற்றுவதே பெரிய தரவுகளின் நோக்கமாகும், இது மிகவும் தகவலறிந்த முடிவுகளை எடுக்கவும், வடிவங்கள் மற்றும் போக்குகளை அடையாளம் காணவும், புதிய வணிக வாய்ப்புகளை உருவாக்கவும் பயன்படுகிறது.
முக்கிய அம்சங்கள் (பிக் டேட்டாவின் "5 Vs"):
1. தொகுதி:
- பெருமளவிலான தரவு உருவாக்கப்பட்டு சேகரிக்கப்படுகிறது.
2. வேகம்:
- தரவு உருவாக்கப்பட்டு செயலாக்கப்படும் வேகம்.
3. வகை:
- தரவு வகைகள் மற்றும் மூலங்களின் பன்முகத்தன்மை.
4. உண்மைத்தன்மை:
- தரவின் நம்பகத்தன்மை மற்றும் துல்லியம்.
5. மதிப்பு:
- தரவுகளிலிருந்து பயனுள்ள நுண்ணறிவுகளைப் பிரித்தெடுக்கும் திறன்.
பெரிய தரவு ஆதாரங்கள்:
1. சமூக ஊடகங்கள்:
– பதிவுகள், கருத்துகள், விருப்பங்கள், பகிர்வுகள்.
2. விஷயங்களின் இணையம் (IoT):
- சென்சார்கள் மற்றும் இணைக்கப்பட்ட சாதனங்களிலிருந்து தரவு.
3. வணிக பரிவர்த்தனைகள்:
- விற்பனை, கொள்முதல், கொடுப்பனவுகள் பற்றிய பதிவுகள்.
4. அறிவியல் தரவு:
– பரிசோதனை முடிவுகள், காலநிலை அவதானிப்புகள்.
5. கணினி பதிவுகள்:
– ஐடி அமைப்புகளில் செயல்பாட்டு பதிவுகள்.
தொழில்நுட்பங்கள் மற்றும் கருவிகள்:
1. ஹடூப்:
- பரவலாக்கப்பட்ட செயலாக்கத்திற்கான திறந்த மூல கட்டமைப்பு.
2. அப்பாச்சி ஸ்பார்க்:
– நினைவகத்தில் உள்ள தரவு செயலாக்க இயந்திரம்.
3. NoSQL தரவுத்தளங்கள்:
- கட்டமைக்கப்படாத தரவுகளுக்கான தொடர்பற்ற தரவுத்தளங்கள்.
4. இயந்திர கற்றல்:
- முன்கணிப்பு பகுப்பாய்வு மற்றும் வடிவ அங்கீகாரத்திற்கான வழிமுறைகள்.
5. தரவு காட்சிப்படுத்தல்:
- தரவை காட்சி ரீதியாகவும் புரிந்துகொள்ளக்கூடிய வகையிலும் பிரதிநிதித்துவப்படுத்துவதற்கான கருவிகள்.
பெரிய தரவு பயன்பாடுகள்:
1. சந்தை பகுப்பாய்வு:
- நுகர்வோர் நடத்தை மற்றும் சந்தைப் போக்குகளைப் புரிந்துகொள்வது.
2. செயல்பாடுகளை மேம்படுத்துதல்:
- செயல்முறைகள் மற்றும் செயல்பாட்டுத் திறனை மேம்படுத்துதல்.
3. மோசடி கண்டறிதல்:
- நிதி பரிவர்த்தனைகளில் சந்தேகத்திற்கிடமான வடிவங்களை அடையாளம் காணுதல்.
4. தனிப்பயனாக்கப்பட்ட ஆரோக்கியம்:
- தனிப்பயனாக்கப்பட்ட சிகிச்சைகளுக்கான மரபணு தரவு மற்றும் மருத்துவ வரலாறுகளின் பகுப்பாய்வு.
5. ஸ்மார்ட் நகரங்கள்:
- போக்குவரத்து, ஆற்றல் மற்றும் நகர்ப்புற வளங்களை நிர்வகித்தல்.
நன்மைகள்:
1. தரவு சார்ந்த முடிவெடுத்தல்:
- மேலும் தகவலறிந்த மற்றும் துல்லியமான முடிவுகள்.
2. தயாரிப்பு மற்றும் சேவை புதுமை:
- சந்தைத் தேவைகளுக்கு ஏற்ப சலுகைகளை உருவாக்குதல்.
3. செயல்பாட்டுத் திறன்:
- செயல்முறை மேம்படுத்தல் மற்றும் செலவு குறைப்பு.
4. போக்கு முன்னறிவிப்பு:
- சந்தை மற்றும் நுகர்வோர் நடத்தையில் ஏற்படும் மாற்றங்களை எதிர்பார்த்தல்.
5. தனிப்பயனாக்கம்:
- வாடிக்கையாளர்களுக்கு மேலும் தனிப்பயனாக்கப்பட்ட அனுபவங்கள் மற்றும் சலுகைகள்.
சவால்கள் மற்றும் பரிசீலனைகள்:
1. தனியுரிமை மற்றும் பாதுகாப்பு:
- முக்கியமான தரவுகளின் பாதுகாப்பு மற்றும் விதிமுறைகளுக்கு இணங்குதல்.
2. தரவு தரம்:
- சேகரிக்கப்பட்ட தரவின் துல்லியம் மற்றும் நம்பகத்தன்மைக்கான உத்தரவாதம்.
3. தொழில்நுட்ப சிக்கலானது:
- உள்கட்டமைப்பு மற்றும் சிறப்புத் திறன்களுக்கான தேவை.
4. தரவு ஒருங்கிணைப்பு:
- வெவ்வேறு மூலங்கள் மற்றும் வடிவங்களிலிருந்து தரவை இணைத்தல்.
5. முடிவுகளின் விளக்கம்:
- பகுப்பாய்வுகளை சரியாக விளக்குவதற்கு நிபுணத்துவம் தேவை.
சிறந்த நடைமுறைகள்:
1. தெளிவான இலக்குகளை அமைக்கவும்:
- பெரிய தரவு முயற்சிகளுக்கு குறிப்பிட்ட இலக்குகளை அமைக்கவும்.
2. தரவு தரத்தை உறுதி செய்யவும்:
- தரவு சுத்தம் செய்தல் மற்றும் சரிபார்ப்பு செயல்முறைகளை செயல்படுத்தவும்.
3. பாதுகாப்பில் முதலீடு செய்யுங்கள்:
- வலுவான பாதுகாப்பு மற்றும் தனியுரிமை நடவடிக்கைகளை ஏற்றுக்கொள்ளுங்கள்.
4. தரவு கலாச்சாரத்தை வளர்ப்பது:
- நிறுவனம் முழுவதும் தரவு கல்வியறிவை ஊக்குவித்தல்.
5. பைலட் திட்டங்களுடன் தொடங்குங்கள்:
- மதிப்பைச் சரிபார்த்து அனுபவத்தைப் பெற சிறிய திட்டங்களுடன் தொடங்குங்கள்.
எதிர்கால போக்குகள்:
1. எட்ஜ் கம்ப்யூட்டிங்:
- மூலத்திற்கு அருகில் தரவு செயலாக்கம்.
2. மேம்பட்ட AI மற்றும் இயந்திர கற்றல்:
- மிகவும் நுட்பமான மற்றும் தானியங்கி பகுப்பாய்வுகள்.
3. பெரிய தரவுகளுக்கான பிளாக்செயின்:
- தரவு பகிர்வில் அதிக பாதுகாப்பு மற்றும் வெளிப்படைத்தன்மை.
4. பெரிய தரவுகளின் ஜனநாயகமயமாக்கல்:
- தரவு பகுப்பாய்விற்கான மேலும் அணுகக்கூடிய கருவிகள்.
5. நெறிமுறைகள் மற்றும் தரவு நிர்வாகம்:
- தரவின் நெறிமுறை மற்றும் பொறுப்பான பயன்பாட்டில் கவனம் செலுத்துதல்.
நிறுவனங்கள் மற்றும் தனிநபர்கள் தங்களைச் சுற்றியுள்ள உலகத்தைப் புரிந்துகொண்டு தொடர்பு கொள்ளும் விதத்தில் பிக் டேட்டா புரட்சியை ஏற்படுத்தியுள்ளது. ஆழமான நுண்ணறிவுகள் மற்றும் முன்கணிப்பு திறன்களை வழங்குவதன் மூலம், பிக் டேட்டா பொருளாதாரத்தின் கிட்டத்தட்ட ஒவ்வொரு துறையிலும் ஒரு முக்கியமான சொத்தாக மாறியுள்ளது. உருவாக்கப்படும் தரவுகளின் அளவு தொடர்ந்து அதிவேகமாக வளர்ந்து வருவதால், பிக் டேட்டா மற்றும் தொடர்புடைய தொழில்நுட்பங்களின் முக்கியத்துவம் அதிகரிக்கும், இது உலக அளவில் முடிவெடுக்கும் மற்றும் புதுமையின் எதிர்காலத்தை வடிவமைக்கும்.
